Уверенность и калибровка LLM: обзор того, что на самом деле показывают исследования
Вербализованная уверенность GPT-4 даёт лишь ~62,7% AUROC — едва выше случайности. Финансовым агентам нужна лучшая калибровка.
#trust
Доверие
Надёжность, калибровка и галлюцинации в финансовых ИИ-системах
Учёт неопределенности при делегировании задач LLM-агентами: когда переходить от малых моделей к большим
ReDAct переходит от малой модели к большой только когда перплексия сигнализирует о неопределённости, снижая затраты на 64% при той же точности для рабочих процессов агентов.
Верифицируемо безопасное использование инструментов LLM-агентами: STPA встречает MCP
STPA вместе с расширенным MCP даёт формальные спецификации безопасности для инструментов LLM, а Alloy доказывает отсутствие небезопасных потоков в примере с календарём.
AGrail: адаптивные защитные барьеры для LLM-агентов с обучением на разных задачах
Ограждение AGrail на двух LLM снижает успех атак через промпт-инъекции до 0%, сохраняя 95.6% доброкачественных действий агента на Safe-OS.
ShieldAgent: Верифицируемое обоснование политик безопасности для LLM-агентов
ShieldAgent достигает 90.4% точности на атаках агентов при 64.7% меньшем числе вызовов API, используя вероятностные схемы правил вместо LLM-ограждений.
GuardAgent: детерминированное обеспечение безопасности LLM-агентов через выполнение кода
GuardAgent обеспечивает соблюдение политик LLM-агентов, исполняя код на Python, достигая 98.7% точности без сбоев задач, против 81% и до 71% сбоев у правил в промптах.
Самокоррекция: GPT-4 падает с 95,5% до 91,5% на GSM8K
Huang et al. (ICLR 2024): внутренняя самокоррекция снижает результат GPT-4 с 95,5% до 91,5% на GSM8K — агентам для учёта нужны внешние валидаторы, а не саморецензирование.
PHANTOM (NeurIPS 2025): Измерение обнаружения галлюцинаций LLM в финансовых документах
PHANTOM (NeurIPS 2025) измеряет обнаружение галлюцинаций LLM на реальных отчётах SEC. Qwen3-30B лидирует с F1=0,882, но модели на 7B угадывают почти случайно.