Перевірено безпечне використання інструментів для агентів LLM: STPA зустрічає MCP
STPA разом із розширеним MCP дає формальні специфікації безпеки для інструментів LLM, а Alloy доводить відсутність небезпечних потоків у кейсі з календарем.
#security
Безпека
Дослідження безпеки та обмежень для ШІ-агентів у фінансових контекстах
AGrail: Адаптивні захисні бар'єри для LLM-агентів, що навчаються в ході виконання завдань
Охорона AGrail з двох LLM знижує успішність атак через ін'єкцію підказок до 0%, зберігаючи 95.6% доброякісних дій агента на Safe-OS.
ShieldAgent: Верифіковане міркування щодо політики безпеки для агентів LLM
ShieldAgent дає 90,4% точності на атаках агентів і на 64,7% менше викликів API завдяки ймовірнісним схемам правил замість LLM-огорож.
GuardAgent: Deterministic Safety Enforcement for LLM Agents via Code Execution
GuardAgent enforces LLM agent policies by running Python code, hitting 98.7% accuracy with no task failures, versus 81% and up to 71% failure for prompt rules.