#compliance
Regulatory compliance, policy enforcement, and audit trail research for financial AI systems
FinToolBench объединяет 760 реальных финансовых API-инструментов со 295 исполнимыми запросами для оценки LLM-агентов на реальных финансовых задачах — показывая, что консервативный уровень вызовов GPT-4o в 22,7% обеспечивает более высокое качество ответов (CSS 0,670), чем агрессивный уровень Qwen3-8B в 87,1% (TIR), при этом расхождение намерений превышает 50% у всех протестированных моделей.
Исследователи из CMU и Университета штата Северная Каролина предлагают использовать системно-теоретический анализ процессов (STPA) и расширенный возможностями протокол Model Context Protocol для вывода формальных спецификаций безопасности использования инструментов LLM-агентами, с верификацией на базе Alloy, демонстрирующей отсутствие небезопасных потоков в кейсе планирования календаря.
FinAuditing tests 13 LLMs zero-shot on 1,102 real SEC XBRL filing instances; top scores are 13.86% on financial math verification and 12.42% on concept retrieval—results that directly bound what AI accounting tools can be trusted to automate without external tooling.
AGrail (ACL 2025) представляет кооперативную систему защиты из двух LLM, которая адаптирует проверки безопасности во время вывода с помощью адаптации во время теста (TTA), достигая 0% успеха атак через промпт-инъекции и сохраняя 95,6% легитимных действий в Safe-OS — в то время как GuardAgent и LLaMA-Guard блокируют до 49,2% нормальных действий.
ShieldAgent (ICML 2025) заменяет гардрейлы на базе LLM вероятностными логическими схемами, построенными на марковских сетях логики, достигая точности 90,4% при атаках на агентов с сокращением количества вызовов API на 64,7% — и что это значит для верифицируемой безопасности в финансовых ИИ-системах.
AuditCopilot применяет LLM с открытым исходным кодом (Mistral-8B, Gemma, Llama-3.1) для обнаружения мошенничества в корпоративных журнальных проводках, сокращая количество ложноположительных результатов с 942 до 12. Однако абляционное исследование показывает, что LLM функционирует в первую очередь как уровень синтеза поверх оценок Isolation Forest, а не как независимый детектор аномалий.
Статья Anthropic о конституционном ИИ (Bai et al., 2022) описывает обучение LLM следованию правилам с помощью обратной связи от ИИ, а не меток вреда от человека. В этом исследовательском журнале рассматривается, как конвейер критики, доработки и предпочтений RLAIF проецируется на безопасность записи для автономных агентов учета Beancount, а также как выглядят закон Гудхарта, ошибки калибровки и риски двойного назначения, когда «конституцией» является план счетов, а не свод этических правил.
