De meeste financiële AI-benchmarks testen of een model een document kan lezen. FinToolBench test of een model iets kan doen — een live API aanroepen, actuele marktdata ophalen en een correct antwoord retourneren. Dat is de kloof die ertoe doet voor elk systeem dat echt financieel werk probeert te automatiseren, en het is de kloof waarvan ik heb gewacht tot die rigoureus wordt gedicht.
Het paper
Jiaxuan Lu en collega's introduceren FinToolBench (arXiv:2603.08262, maart 2026) als wat zij claimen de eerste real-world uitvoerbare benchmark te zijn voor het evalueren van agenten die leren financiële tools te gebruiken. De framing is direct: bestaande financiële AI-evaluaties richten zich op statische document-Q&A, terwijl algemene toolgebruik-benchmarks zoals ToolLLM financiën behandelen als slechts een andere API-categorie zonder domeinspecifieke compliance-beperkingen. FinToolBench probeert de ruimte tussen die twee faalwijzen op te vullen.
De benchmark koppelt 760 uitvoerbare financiële tools — 261 live endpoints van RapidAPI en 499 interfaces van AkShare — aan 295 zorgvuldig samengestelde evaluatie-queries, verdeeld over 166 single-tool- en 129 multi-tool-cases. De tools bestrijken aandelen, obligaties, fondsen, forex, derivaten, macro-economie en crypto. Cruciaal is dat dit echte aanroepbare API's zijn, geen gemockte stubs. De auteurs introduceren ook FATR (Finance-Aware Tool Routing), een basisagent die gebruikmaakt van BGE-M3-retrieval (top-20-kandidaten), toolkaarten met financiële kenmerken, en een constraint-aware ReAct-planner die beperkt is tot vijf stappen.
Kernideeën
- Uitvoering is niet de bottleneck — redeneren over outputs wel. GPT-4o heeft de hoogste Conditional Soft Score (CSS = 0,670), wat betekent dat het correcte antwoorden geeft wanneer het succesvol een tool aanroept, maar het roept slechts 22,7% van de tijd tools aan (TIR = 0,227). Qwen3-8B roept 87,1% van de tijd tools aan, maar geeft slechts 40,4% van de tijd het juiste antwoord wanneer de aanroep slaagt.
- Intentie-mismatch is de dominante compliance-fout. Het Intentie-Mismatch-percentage (IMR) ligt bij de meeste modellen boven de 50%, wat betekent dat agenten routinematig transactionele aanroepen doen terwijl de query alleen om informatieretrieval vraagt. Dat is een ernstig probleem in gereguleerde financiële contexten.
- Het injecteren van financiële kenmerken helpt compliance zonder capaciteit te schaden. FATR's basis-toolkaarten — waarbij elke tool wordt geannoteerd met versheid, intentietype en regelgevingsdomein — verminderen stale-data-aanroepen (TMR) en domeinovertredingen (DMR) zonder de aanroeppercentage significant te verlagen.
- Multi-tool-queries leggen de betrouwbaarheidskloof bloot. De 129 multi-tool-queries vereisen het ketenen van aanroepen en het doorgeven van outputs tussen stappen; de prestaties dalen aanzienlijk ten opzichte van single-tool-cases, consistent met bevindingen uit FinTrace en TheAgentCompany.
- Kleine modellen kunnen grote modellen overtreffen in aanroeppercentage, maar niet in redeneervermogen. Qwen3-8B's TIR van 0,871 versus GPT-4o's 0,227 toont dat kleinere modellen trigger-happy zijn, maar CER (Conditional Execution Rate, d.w.z. TESR/TIR) van 0,339 voor Qwen3-8B versus 0,618 voor GPT-4o onthult dat GPT-4o veel preciezer is wanneer het besluit een tool aan te roepen.
Wat standhoudt — en wat niet
De keuze van de benchmark om echt live, uitvoerbare API's te gebruiken is de primaire bijdrage, en die is substantieel. Gemockte API's waren het vuile geheim van toolgebruik-benchmarks: ToolLLM's 16.000 API's klinken indrukwekkend totdat je beseft dat de evaluatie een LLM als beoordelaar gebruikt om te bepalen of een aanroep "zou hebben" gewerkt. FinToolBench vermijdt dat.
De compliance-metrics (TMR, IMR, DMR) zijn conceptueel juist — financiële agenten moeten het verschil kennen tussen het ophalen van de slotkoers van gisteren en het initiëren van een transactie — maar de beschrijving in het paper van hoe die classificaties worden afgedwongen is dun. Het is onduidelijk of de ground-truth-labels voor het intentietype (informatief vs. transactioneel) zijn geverifieerd door juridische of compliance-experts, of simpelweg zijn toegewezen door de auteurs van de dataset. Dat doet er in de praktijk veel toe.
De modellenlijst is ook opvallend smal: Doubao-Seed-1.6, Qwen3-8B, GLM-4.7-Flash en GPT-4o. Geen Claude Sonnet of Gemini 2.5, wat natuurlijke vergelijkingen zouden zijn geweest. De resultatentabel toont GPT-4o als een high-precision, low-coverage-uitschieter; ik zou graag willen weten of Claude's toolgebruiksgedrag dichter bij GPT-4o's conservatieve patroon ligt of bij Qwen3-8B's agressieve.
De evaluatieset van 295 queries is klein naar moderne benchmarknormen. Bij 760 tools betekent een dekkingsgraad van 295 queries dat de meeste tools nooit worden getest. Het paper biedt geen statistieken per domein, wat betekent dat de kopcijfers kunnen worden gedreven door een subset van goed gedekte domeinen zoals aandelen en macro-economie.
Waarom dit ertoe doet voor financiële AI
Beancount-write-back-agenten — elke agent die bean-add aanroept, een grootboekbestand patcht, of beanquery bevraagt — worden geconfronteerd met precies de faalwijzen die FinToolBench blootlegt. Het intentie-mismatch-probleem is direct overdraagbaar: een Beancount-agent die een schrijfactie uitvoert terwijl de gebruiker een leesvraag stelde, heeft dezelfde faalsignatuur als een IMR-overtreding. De versheidsdimensie is te vertalen naar het aanroepen van een verouderde gecachte grootboekstatus terwijl de gebruiker het actuele saldo verwacht.
De spanning tussen precisie en dekking (GPT-4o vs. Qwen3-8B) is ook direct relevant. Voor Beancount-write-back zou ik sterk de voorkeur geven aan GPT-4o's conservatieve aanroepgedrag — lage TIR, hoge CER en CSS — boven een hoog-aanroepend model dat vaak de verkeerde tool uitvoert. Verkeerde writes kosten veel meer dan no-ops.
FATR's aanpak om tools te annoteren met compliance-kenmerken, in plaats van te vertrouwen op het model om die zelf af te leiden, is een ontwerppatroon dat het waard is om over te nemen. Het verpakken van Beancount-CLI-tools met expliciete metadata over of een aanroep read-only of muterend is, en of deze betrekking heeft op de huidige of gearchiveerde grootboekstatus, is hetzelfde idee op kleinere schaal.
Wat nu te lezen
- FinTrace (arXiv:2604.10015) — trajectniveau-evaluatie over 34 financiële taakcategorieën met 9 metrics; breidt FinToolBench's single-call-evaluatie direct uit naar meerstapssequenties en verfijnt Qwen-3.5-9B met DPO om tussentijds redeneren te verbeteren.
- FinMCP-Bench (arXiv:2603.24943) — 613 samples over 65 MCP-gebaseerde financiële tools, met tests van single-tool-, multi-tool- en multi-turn-aanroepen; de MCP-framing is direct relevant voor Beancount-toolinterfaces.
- ToolLLM (arXiv:2307.16789, ICLR 2024) — het ToolBench-paper waartegen FinToolBench zich expliciet positioneert; begrijpen wat de mock-API-baseline wel en niet kan meten, verduidelijkt hoeveel de echte uitvoerbaarheid van FinToolBench waard is.
