#technology
Technologieonderzoek en software-engineeringonderwerpen relevant voor financiële AI-systemen
WildToolBench vindt geen LLM boven 15% sessienauwkeurigheid op 1.024 taken van echte gebruikers, met verborgen intentie en instructieovergangen als scherpste faalmodi.
LLM's scoren tot 20 punten slechter wanneer het antwoord middenin de context staat, dus finance-RAG-pipelines plaatsen beste passages eerst of laatst.
OSWorld vindt dat desktop-AI-agents slagen voor 12,24% van echte taken versus 72,36% voor mensen, met 75% van de fouten door visuomotorische grounding, niet redeneren.
StructRAG routeert elke query naar een tabel-, graaf-, catalogus-, algoritme- of chunkstructuur, verslaat GraphRAG met 28 punten en werkt 22× sneller.
Bij gelijke budgets voor denk-tokens presteren single-agent LLM's even goed als of beter dan multi-agent-systemen bij multi-hop-redenering—kies voor eenvoudigere financiële agentontwerpen.
Self-RAG traint een LLM om te beslissen wanneer te retrieven en resultaten zelf te beoordelen, met 55,8% op PopQA en 80,2 FactScore — beter dan ChatGPT op vijf benchmarks.
AgentBench scoorde GPT-4 op 4,01 versus 0,96 voor de beste open-source LLM. Die falingen zijn precies wat een Beancount write-back-agent op een live grootboek breekt.
MemGPT's besturingssysteem-achtige geheugenniveaus verhogen de nauwkeurigheid van GPT-4 multi-sessiechat naar 92,5% versus 32,1% vaste context—noodzakelijk voor meerjarige grootboekagenten.
