#technology
Výskum technológií a softvérového inžinierstva relevantný pre finančné AI systémy
WildToolBench: žiadne LLM neprekročí 15 % presnosti relácie na 1 024 úlohách reálnych používateľov, pričom skrytý zámer a prechody inštrukcií sú najostrejšie zlyhania.
LLM skórujú až o 20 bodov horšie, keď odpoveď leží uprostred kontextu, preto by finančné RAG pipeline mali umiestňovať najlepšie pasáže na začiatok alebo koniec.
OSWorld finds desktop AI agents succeed on 12.24% of real tasks versus 72.36% for humans, with 75% of failures from visuomotor grounding, not reasoning.
StructRAG smeruje každú otázku do štruktúry tabuľky, grafu, katalógu, algoritmu alebo chunku, čím prekonáva GraphRAG o 28 bodov a beží 22× rýchlejšie.
Pri rovnakých rozpočtoch myšlienkových tokenov dosahujú single-agent LLM rovnaké alebo lepšie výsledky ako multi-agent systémy pri viacstupňovom uvažovaní — uprednostnite jednoduchšie návrhy finančných agentov.
Self-RAG trénuje LLM, aby rozhodol, kedy vyhľadávať, a sám ohodnotil výsledky, dosahujúc 55,8 % na PopQA a 80,2 FactScore — čím prekonáva ChatGPT v piatich benchmarkoch.
AgentBench ohodnotil GPT-4 na 4,01 oproti 0,96 pre najlepší open-source LLM. Práve tie zlyhania lámu Beancount write-back agenta na živom ledgeri.
MemGPT pamäťové vrstvy v štýle OS zvyšujú presnosť viacsedeníového chatu GPT-4 na 92,5% oproti 32,1% pri pevnom kontexte – potrebné pre viacročných ledger agentov.
