DIN-SQL: GPT-4 stijgt van 67,4% naar 85,3% EX op Spider
DIN-SQL tilt GPT-4 van 67,4% naar 85,3% Spider-uitvoeringsnauwkeurigheid via schema-link en zelfcorrectiefasen—dezelfde decompositie past op Beancount BQL.
Mike Thrift
Marketingmanager
BIRD: GPT-4 haalt slechts 54,89% EX op echte databases
Op BIRD bereikt GPT-4 54,89% uitvoeringsnauwkeurigheid met domeinhints en 34,88% zonder—een kloof van 20 punten die elke Beancount NL→BQL-interface moet dichten.
Verifieerbaar Veilig Toolgebruik voor LLM-agenten: STPA ontmoet MCP
STPA plus capability-enhanced MCP levert formele veiligheidsspecificaties voor LLM-toolgebruik; Alloy bewijst geen onveilige flows in een kalender-casestudy.
GraphRAG: 72–83% overwinningen verdwijnen na correctie van LLM-beoordelaarsbias
Microsofts GraphRAG boekt 72–83% winst in begripsvorming ten opzichte van vector-RAG; een audit uit 2025 doet die in elkaar storten na correctie van beoordelaarsbias—een waarschuwing voor multi-document grootboek-QA.
FinAuditing: LLM's scoren onder de 14% op echte SEC XBRL-audittaken
FinAuditing toont dat top-LLM's slechts 13,86% halen op financiële wiskundeverificatie van echte SEC XBRL-documenten, wat AI-boekhoudtools zelfstandig aankunnen.
InvestorBench: Qwen2.5-72B presteert het beste op aandelen met 46,15% CR
InvestorBench: Qwen2.5-72B leidt in aandelenhandel met 46,15% CR; op financiën afgestemde Palmyra-Fin werkt averechts op aandelen—grootte verslaat domein-finetuning.
StructRAG (ICLR 2025): De juiste documentstructuur kiezen verslaat GraphRAG met 28 punten
StructRAG routeert elke query naar een tabel-, graaf-, catalogus-, algoritme- of chunkstructuur, verslaat GraphRAG met 28 punten en werkt 22× sneller.
Single-Agent: even goed als MAS bij multi-hop met gelijke tokens
Bij gelijke budgets voor denk-tokens presteren single-agent LLM's even goed als of beter dan multi-agent-systemen bij multi-hop-redenering—kies voor eenvoudigere financiële agentontwerpen.
M3MAD-Bench: Zijn debatten tussen meerdere agenten echt effectief over verschillende domeinen en modaliteiten?
M3MAD-Bench stelt vast dat Collective Delusion 65% van de mislukkingen bij multi-agent-debat veroorzaakt, en adversarieel debat verlaagt de nauwkeurigheid met tot 12,8%.
AGrail: Adaptieve Veiligheidswaarborgen voor LLM-agenten die Leren Over Meerdere Taken
De twee-LLM-guardrail van AGrail verlaagt het succes van prompt-injectieaanvallen naar 0% terwijl 95,6% van goedaardige agentacties op Safe-OS behouden blijft.
ShieldAgent: Verifieerbare veiligheidsbeleid-redenering voor LLM-agents
ShieldAgent bereikt 90,4% nauwkeurigheid bij agent-aanvallen met 64,7% minder API-calls door probabilistische regelcircuits te gebruiken in plaats van LLM-guardrails.
Atlas: Gezamenlijke Retriever-Reader Pre-Training Verslaat LLM's met 540 Miljard Parameters met Slechts 11 Miljard Parameters
Atlas behaalt 42,4% nauwkeurigheid op Natural Questions met 64 voorbeelden en verslaat PaLM 540B met 3 punten bij 11B parameters via gezamenlijke retriever-reader-pretraining.