DIN-SQL: GPT-4 skočí z 67,4% na 85,3% EX na Spideri
DIN-SQL posúva GPT-4 z 67,4% na 85,3% presnosti vykonávania na Spideri cez fázy schema-link a self-correct — rovnaký rozklad sa hodí aj na Beancount BQL.
Mike Thrift
Marketingový manažér
BIRD: GPT-4 dosahuje na reálnych databázach iba 54,89 % EX
Na BIRD dosahuje GPT-4 presnosť vykonávania 54,89 % s doménovými nápoveďami a 34,88 % bez nich – rozdiel 20 bodov, ktorý musí každé rozhranie NL→BQL v Beancount preklenúť.
Overiteľne bezpečné používanie nástrojov pre LLM agentov: STPA sa stretáva s MCP
STPA a MCP s rozšírenými schopnosťami prinášajú formálne bezpečnostné špecifikácie pre nástroje LLM; Alloy v štúdii kalendára dokazuje, že neexistujú nebezpečné toky.
GraphRAG: 72–83% výhier zmizne po oprave zaujatosti LLM sudcu
GraphRAG od Microsoftu hlási 72–83% výhier v porozumení nad vektorovým RAG; audit z roku 2025 ich po oprave zaujatosti sudcu znižuje – varovanie pre QA vo viacdokumentových účtovných knihách.
FinAuditing: LLM dosahujú menej ako 14 % pri reálnych úlohách auditu SEC XBRL
FinAuditing ukazuje, že špičkové LLM dosahujú len 13,86 % pri overovaní finančnej matematiky podaní SEC XBRL, čo obmedzuje automatizáciu AI účtovných nástrojov.
InvestorBench: Qwen2.5-72B vedie akcie s 46,15% CR
InvestorBench: Qwen2.5-72B vedie obchodovanie s akciami s 46,15% CR; finančne vyladený Palmyra-Fin zlyháva na akciách – veľkosť prekonáva doménové doladenie.
StructRAG (ICLR 2025): Výber správnej štruktúry dokumentu poráža GraphRAG o 28 bodov
StructRAG smeruje každú otázku do štruktúry tabuľky, grafu, katalógu, algoritmu alebo chunku, čím prekonáva GraphRAG o 28 bodov a beží 22× rýchlejšie.
Single-Agent: rovná sa MAS na viacstupňových úlohách pri rovnakých tokenoch
Pri rovnakých rozpočtoch myšlienkových tokenov dosahujú single-agent LLM rovnaké alebo lepšie výsledky ako multi-agent systémy pri viacstupňovom uvažovaní — uprednostnite jednoduchšie návrhy finančných agentov.
M3MAD-Bench: Sú debaty viacerých agentov skutočne efektívne naprieč doménami a modalitami?
M3MAD-Bench zisťuje, že Collective Delusion spôsobuje 65 % zlyhaní debát viacerých agentov a adversariálna debata znižuje presnosť až o 12,8 %.
AGrail: Adaptívne bezpečnostné mantinely pre LLM agentov, ktorí sa učia naprieč úlohami
Dvoj-LLM ochranný mantinel AGrail znižuje úspešnosť útokov prompt injection na 0 % a zároveň zachováva 95,6 % neškodných akcií agenta na Safe-OS.
ShieldAgent: Overiteľné zdôvodňovanie bezpečnostných pravidiel pre LLM agentov
ShieldAgent dosahuje 90,4 % presnosť pri útokoch na agentov s o 64,7 % menším počtom volaní API vďaka pravdepodobnostným pravidlovým obvodom namiesto LLM ochranných mantinelov.
Atlas: Spoločný tréning retrievera a readera prekonáva 540B-parametrové LLM modely s 11B parametrami
Atlas dosahuje 42,4 % presnosť na Natural Questions so 64 príkladmi a s 11B parametrami prekonáva PaLM 540B o 3 body vďaka spoločnému predtrénovaniu retrievera a čítača.