DIN-SQL: GPT-4 salta dal 67,4% all'85,3% EX su Spider
DIN-SQL porta GPT-4 dal 67,4% all'85,3% di accuratezza di esecuzione su Spider tramite fasi di schema-link e auto-correzione—la stessa scomposizione si adatta a Beancount BQL.
Mike Thrift
Responsabile marketing
BIRD: GPT-4 raggiunge solo il 54,89% EX su database reali
Su BIRD, GPT-4 raggiunge il 54,89% di accuratezza di esecuzione con suggerimenti di dominio e il 34,88% senza—un divario di 20 punti che qualsiasi interfaccia NL→BQL di Beancount deve colmare.
Uso Sicuro e Verificabile degli Strumenti per Agenti LLM: STPA incontra MCP
STPA con MCP potenziato produce specifiche di sicurezza formali per l'uso di strumenti LLM: Alloy prova l'assenza di flussi non sicuri in un caso di calendario.
GraphRAG: i guadagni del 72–83% svaniscono dopo la correzione del bias del giudice LLM
GraphRAG di Microsoft mostra guadagni del 72–83% nell'analisi sensemaking rispetto al RAG vettoriale; un audit del 2025 li fa crollare dopo aver corretto il bias del giudice—un monito per la QA su registri multi-documento.
FinAuditing: i LLM ottengono meno del 14% su compiti reali di revisione XBRL della SEC
FinAuditing mostra che i top LLM raggiungono solo il 13,86% nella verifica matematica di bilanci SEC XBRL reali, limitando ciò che l'AI contabile automatizza da sola.
InvestorBench: Qwen2.5-72B guida le azioni con un CR del 46,15%
InvestorBench: Qwen2.5-72B guida il trading azionario con un CR del 46,15%; Palmyra-Fin ottimizzata per la finanza fallisce sulle azioni—le dimensioni superano il fine-tuning di dominio.
StructRAG (ICLR 2025): Scegliere la Struttura Documentale Giusta Supera GraphRAG di 28 Punti
StructRAG instrada ogni query verso tabella, grafo, catalogo, algoritmo o chunk, battendo GraphRAG di 28 punti e girando 22 volte più veloce.
Single-Agent: uguale a MAS su multi-hop a parità di token
Con budget di token di pensiero uguali, gli LLM single-agent eguagliano o superano i sistemi multi-agent nel ragionamento multi-hop—privilegia design di agenti finanziari più semplici.
M3MAD-Bench: I dibattiti multi-agente sono davvero efficaci tra domini e modalità?
M3MAD-Bench rileva che l'illusione collettiva causa il 65% dei fallimenti del dibattito multi-agente, e il dibattito adversariale riduce l'accuratezza fino al 12,8%.
AGrail: Barriere di Sicurezza Adattive per Agenti LLM che Imparano tra Attività Diverse
Il guardrail a due LLM di AGrail riduce al 0% il successo degli attacchi di prompt injection preservando il 95,6% delle azioni benefiche degli agenti su Safe-OS.
ShieldAgent: Ragionamento Verificabile sulla Sicurezza delle Policy per Agenti LLM
ShieldAgent raggiunge il 90,4% di accuratezza sugli attacchi agli agenti con il 64,7% di chiamate API in meno usando circuiti di regole probabilistiche invece di guardrail LLM.
Atlas: Il Pre-Addestramento Congiunto Retriever-Reader Supera LLM da 540B Parametri con 11B Parametri
Atlas raggiunge il 42,4% di accuratezza su Natural Questions con 64 esempi, battendo PaLM 540B di 3 punti con 11B parametri grazie al pre-training congiunto retriever-reader.