Gli LLM Ottengono il 2,3% sulla Generazione di DSL Beancount: Il Benchmark LLMFinLiteracy
LLMFinLiteracy rileva che cinque modelli da ~7B scrivono transazioni Beancount corrette solo nel 2,3% dei casi, fallendo sul ragionamento contabile.
#transaction-validation
Validazione delle transazioni
Validazione e verifica delle transazioni finanziarie con agenti basati su modelli linguistici
GuardAgent: Applicazione Deterministica della Sicurezza per Agenti LLM tramite Esecuzione di Codice
GuardAgent applica le policy degli agenti LLM eseguendo codice Python: 98,7% di accuratezza senza task falliti, contro l'81% e fino al 71% di errori con le regole nei prompt.
Dibattito Multiagente con LLM: Veri Guadagni di Accuratezza, Calcolo Incontrollato e Delirio Collettivo
Un'analisi approfondita del paper di Du et al. su ICML 2024 sul dibattito multiagente — che riporta guadagni di accuratezza del 14,8% su operazioni aritmetiche — insieme alle confutazioni del 2025 che mostrano come agenti singoli con pari budget eguaglino le performance del dibattito, e un'analisi del perché il Delirio Collettivo (65% dei fallimenti del dibattito) rappresenti un rischio specifico per le registrazioni contabili assistite da IA.
CRITIC: Perché l'Autocorrezione degli LLM Richiede Feedback Esterno dagli Strumenti
CRITIC guadagna 7,7 F1 sul QA aperto e taglia la tossicità del 79,2% verificando le revisioni dell'LLM con strumenti esterni, non con sé stesso.