Overiteľne bezpečné používanie nástrojov pre LLM agentov: STPA sa stretáva s MCP
STPA a MCP s rozšírenými schopnosťami prinášajú formálne bezpečnostné špecifikácie pre nástroje LLM; Alloy v štúdii kalendára dokazuje, že neexistujú nebezpečné toky.
#security
Bezpečnosť
Výskum bezpečnosti, zabezpečenia a guardrails pre AI agentov vo finančných kontextoch
AGrail: Adaptívne bezpečnostné mantinely pre LLM agentov, ktorí sa učia naprieč úlohami
Dvoj-LLM ochranný mantinel AGrail znižuje úspešnosť útokov prompt injection na 0 % a zároveň zachováva 95,6 % neškodných akcií agenta na Safe-OS.
ShieldAgent: Overiteľné zdôvodňovanie bezpečnostných pravidiel pre LLM agentov
ShieldAgent dosahuje 90,4 % presnosť pri útokoch na agentov s o 64,7 % menším počtom volaní API vďaka pravdepodobnostným pravidlovým obvodom namiesto LLM ochranných mantinelov.
GuardAgent: Deterministické presadzovanie bezpečnosti pre LLM agentov prostredníctvom vykonávania kódu
GuardAgent presadzuje pravidlá LLM agentov spúšťaním kódu v Pythone, dosahuje 98,7 % presnosť bez zlyhaní úloh, oproti 81 % a až 71 % zlyhaní pri pravidlách v prompte.