#trust

Trust

Reliability, calibration, and hallucination in financial AI systems

8 entradesVeure totes les etiquetes Retorna a Totes les Publicacions

9 de juliol del 2026

Confiança i calibratge en LLM: una enquesta sobre el que realment mostra la recerca

Una enquesta sistemàtica sobre els mètodes d'estimació de la confiança i el calibratge dels LLM —enfocaments logit de caixa blanca, SelfCheckGPT basat en la consistència i entropia semàntica— revela que les puntuacions de confiança verbalitzades del GPT-4 només assoleixen un AUROC del ~62,7%, a penes per sobre de l'atzar, amb implicacions directes per al desplegament d'agents conscients de la incertesa en les finances i la comptabilitat.

mike

llmaimachine-learning

1 de juliol del 2026

Transferència basada en la incertesa per a agents LLM: quan escalar de models petits a grans

ReDAct executa un model petit per defecte i escala a un model car només quan la perplexitat a nivell de tòquens indica incertesa, aconseguint un estalvi de costos del 64% respecte a l'ús exclusiu de GPT-5.2 mentre iguala o supera la seva precisió — un patró aplicable directament als agents de categorització de transaccions de Beancount.

mike

aillmautomation

5 de juny del 2026

Ús d'eines verificablement segur per a agents de LLM: STPA es troba amb MCP

Investigadors de la CMU i de la NC State proposen l'ús de l'Anàlisi de Processos Teòric del Sistema (STPA) i un Model Context Protocol millorat amb capacitats per derivar especificacions de seguretat formals per a l'ús d'eines d'agents de LLM, amb una verificació basada en Alloy que demostra l'absència de fluxos insegurs en un estudi de cas de programació de calendaris.

mike

aillmsecurity

29 de maig del 2026

AGrail: Guardrails de seguretat adaptatius per a agents LLM que aprenen a través de tasques

AGrail (ACL 2025) introdueix un guardrail cooperatiu de dos LLM que adapta les comprovacions de seguretat en temps d'inferència mitjançant l'adaptació en temps de prova, aconseguint un 0% d'èxit en atacs d'injecció de prompts i un 95,6% de preservació d'accions benignes a Safe-OS — en comparació amb GuardAgent i LLaMA-Guard que bloquegen fins al 49,2% de les accions legítimes.

mike

aillmsecurity

28 de maig del 2026

ShieldAgent: Raonament de polítiques de seguretat verificables per a agents LLM

ShieldAgent (ICML 2025) substitueix les barreres de seguretat basades en LLM per circuits de regles probabilístics construïts sobre xarxes lògiques de Markov, aconseguint una precisió del 90,4% en atacs contra agents amb un 64,7% menys de crides a l'API — i què significa això per a la seguretat verificable en sistemes d'IA financera.

mike

aillmmachine-learning

25 de maig del 2026

GuardAgent: Aplicació determinista de la seguretat per a agents LLM mitjançant l'execució de codi

GuardAgent (ICML 2025) situa un agent LLM independent entre un agent objectiu i el seu entorn, verificant cada acció proposada mitjançant la generació i execució de codi Python — aconseguint una precisió del 98,7% en l'aplicació de polítiques mentre preserva el 100% de la finalització de tasques, enfront del 81% de precisió i el 29–71% de fracàs en les tasques per a regles de seguretat integrades en el prompt.

mike

aillmautomation

28 d’abril del 2026

Auto-correcció: GPT-4 cau del 95,5% al 91,5% en GSM8K

Huang et al. (ICLR 2024): l'auto-correcció intrínseca redueix GPT-4 del 95,5% al 91,5% en GSM8K—els agents de llibre major necessiten validadors externs, no auto-revisió.

mike

llmaimachine-learning

19 d’abril del 2026

PHANTOM (NeurIPS 2025): Mesurant la detecció d'al·lucinacions d'LLM en documents financers

PHANTOM (NeurIPS 2025) és el primer banc de proves per mesurar la detecció d'al·lucinacions d'LLM en presentacions reals a la SEC amb longituds de context de fins a 30.000 tokens. Qwen3-30B-A3B-Thinking lidera amb un F1=0,882; els models de 7B puntuen a prop de l'atzar — amb implicacions directes per als agents de comptabilitat autònoms.

mike

llmaimachine-learning

Comença gratis→Documentació