FinToolBench: Valutare gli Agenti LLM sull'Uso Reale di Strumenti Finanziari
FinToolBench rileva disallineamento di intento oltre il 50% per ogni LLM testato: chiamare più strumenti non significa risposte migliori sui task finanziari.
#compliance
Conformità
Conformità normativa, applicazione delle policy e audit trail per sistemi di IA finanziaria
Uso Sicuro e Verificabile degli Strumenti per Agenti LLM: STPA incontra MCP
STPA con MCP potenziato produce specifiche di sicurezza formali per l'uso di strumenti LLM: Alloy prova l'assenza di flussi non sicuri in un caso di calendario.
FinAuditing: i LLM ottengono meno del 14% su compiti reali di revisione XBRL della SEC
FinAuditing mostra che i top LLM raggiungono solo il 13,86% nella verifica matematica di bilanci SEC XBRL reali, limitando ciò che l'AI contabile automatizza da sola.
AGrail: Barriere di Sicurezza Adattive per Agenti LLM che Imparano tra Attività Diverse
Il guardrail a due LLM di AGrail riduce al 0% il successo degli attacchi di prompt injection preservando il 95,6% delle azioni benefiche degli agenti su Safe-OS.
ShieldAgent: Ragionamento Verificabile sulla Sicurezza delle Policy per Agenti LLM
ShieldAgent raggiunge il 90,4% di accuratezza sugli attacchi agli agenti con il 64,7% di chiamate API in meno usando circuiti di regole probabilistiche invece di guardrail LLM.
AuditCopilot: LLM per il Rilevamento di Frodi nella Contabilità in Partita Doppia
AuditCopilot riduce i falsi positivi nella frode sulle scritture contabili da 942 a 12, ma l'ablation mostra che l'LLM sintetizza soprattutto i punteggi di Isolation Forest.
Intelligenza Artificiale Costituzionale per Agenti Contabili: RLAIF, Regole Politiche e Rischi di Goodharting
Constitutional AI sostituisce i dati sui danni etichettati a mano con il feedback AI: gli agenti contabili applicano le regole del ledger senza un revisore per transazione.