DIN-SQL: GPT-4 salta de 67,4% a 85,3% EX en Spider
DIN-SQL eleva GPT-4 de 67,4% a 85,3% d'exactitud d'execució Spider mitjançant etapes d'enllaç d'esquema i auto-correcció—la mateixa descomposició s'aplica a Beancount BQL.
Mike Thrift
Responsable de màrqueting
BIRD: GPT-4 només aconsegueix un 54,89% d'EX en bases de dades reals
A BIRD, GPT-4 arriba al 54,89% de precisió d'execució amb pistes de domini i al 34,88% sense—una diferència de 20 punts que qualsevol interfície NL→BQL de Beancount ha de tancar.
Ús d'eines verificablement segur per a agents de LLM: STPA es troba amb MCP
STPA més un MCP amb capacitats ampliades dona especificacions formals de seguretat per a eines LLM, i Alloy prova que no hi ha fluxos insegurs en un cas de calendari.
GraphRAG: les victòries del 72–83% desapareixen després de corregir el biaix del jutge LLM
El GraphRAG de Microsoft publica guanys de comprensió del 72–83% sobre el RAG vectorial; una auditoria del 2025 els esfondra després de corregir el biaix del jutge—advertència per a la QA de llibres multi-doc.
FinAuditing: els LLM puntuen per sota del 14% en tasques reals d'auditoria SEC XBRL
FinAuditing mostra que els millors LLM només arriben al 13,86% en verificar càlculs de registres XBRL reals de la SEC, cosa que limita l'automatització sense ajuda.
InvestorBench: Qwen2.5-72B supera les accions amb un 46,15% de CR
InvestorBench: Qwen2.5-72B lidera la negociació d'accions amb un 46,15% de CR; la Palmyra-Fin ajustada a finances falla en rendes variables—la mida supera l'ajust finetuning al domini.
StructRAG (ICLR 2025): Escollir l'estructura de document correcta supera GraphRAG per 28 punts
StructRAG encamina cada consulta a una estructura de taula, graf, catàleg, algoritme o fragment, superant GraphRAG per 28 punts i executant-se 22× més ràpid.
Agent únic: iguala MAS en raonament multi-salt amb tokens iguals
Amb pressupostos iguals de tokens de reflexió, els LLM d'agent únic igualen o superen els sistemes multi-agent en raonament multi-salt—afavoriu dissenys d'agents financers més simples.
M3MAD-Bench: Són realment eficaços els debats multiagent en diferents dominis i modalitats?
M3MAD-Bench troba que la il·lusió col·lectiva causa el 65% de les fallades del debat multiagent, i el debat adversarial retalla la precisió fins a un 12,8%.
AGrail: Guardrails de seguretat adaptatius per a agents LLM que aprenen a través de tasques
La barrera de dos LLM d'AGrail redueix l'èxit dels atacs d'injecció de prompts a un 0%, tot preservant el 95,6% d'accions benignes d'agents a Safe-OS.
ShieldAgent: Raonament de polítiques de seguretat verificables per a agents LLM
ShieldAgent assoleix un 90,4% de precisió en atacs d'agents amb un 64,7% menys de crides a l'API gràcies a circuits de regles probabilístics en lloc de guardrails LLM.
Atlas: El pre-entrenament conjunt de recuperador i lector supera els LLM de 540 mil milions de paràmetres amb 11 mil milions de paràmetres
Atlas assoleix un 42,4% de precisió a Natural Questions amb 64 exemples i supera PaLM 540B per 3 punts amb 11B paràmetres gràcies al preentrenament conjunt retriever-reader.