Ús d'eines verificablement segur per a agents de LLM: STPA es troba amb MCP
STPA més un MCP amb capacitats ampliades dona especificacions formals de seguretat per a eines LLM, i Alloy prova que no hi ha fluxos insegurs en un cas de calendari.
#security
Seguretat
Recerca en seguretat, protecció i barreres per a agents d'IA en contextos financers
AGrail: Guardrails de seguretat adaptatius per a agents LLM que aprenen a través de tasques
La barrera de dos LLM d'AGrail redueix l'èxit dels atacs d'injecció de prompts a un 0%, tot preservant el 95,6% d'accions benignes d'agents a Safe-OS.
ShieldAgent: Raonament de polítiques de seguretat verificables per a agents LLM
ShieldAgent assoleix un 90,4% de precisió en atacs d'agents amb un 64,7% menys de crides a l'API gràcies a circuits de regles probabilístics en lloc de guardrails LLM.
GuardAgent: Aplicació determinista de la seguretat per a agents LLM mitjançant l'execució de codi
GuardAgent aplica polítiques d'agents LLM executant codi Python: 98.7% de precisió sense fallades de tasca, davant el 81% i fins al 71% de fallades amb regles de prompt.