FinMCP-Bench: Benchmarking van LLM-agenten voor financieel toolgebruik in de praktijk onder MCP

MCP is de de facto standaard geworden voor LLM-gereedschapsgebruik — Anthropic introduceerde het eind 2024, en tegen begin 2026 hadden alle grote modelleveranciers het overgenomen. FinMCP-Bench (arXiv:2603.24943, ICASSP 2026) is de eerste benchmark die is gebouwd op echte MCP-gereedschapsservers specifiek voor financiële agenten, en het kwam op precies het juiste moment om ons te vertellen of die gestandaardiseerde infrastructuur agenten daadwerkelijk helpt om nuttig financieel werk te verrichten.

Het artikel

Jie Zhu, Yimin Tian en collega's van het Alibaba Cloud Qwen DianJin-team, YINGMI Wealth Management en Soochow University presenteren FinMCP-Bench, een evaluatiepakket met 613 samples dat 10 categorieën van financiële scenario's en 33 subscenario's beslaat. De tools zijn niet gesimuleerd — 65 echte MCP-conforme financiële tool-servers ondersteunen de benchmark, afgeleid van daadwerkelijke productielogs van de Qieman APP financiële assistent. De auteurs categoriseren samples in drie types: 145 single-tool, 249 multi-tool en 219 multi-turn. Ze testen zes modellen: de Qwen3-familie met 4B, 30B en 235B parameters (allemaal met uitgebreid redeneren), plus DeepSeek-R1, GPT-OSS-20B en Seed-OSS-36B. De belangrijkste evaluatiemetrieken zijn Tool Precision, Tool Recall, Tool F1 en een Exact Match Rate (EMR) die vereist dat elke tool-aanroep in een reeks exact correct is.

Kernideeën

• MCP als evaluatie-substraat: het gebruik van echte MCP-serverdefinities in plaats van synthetische API-schema's overbrugt een grote kloof tussen benchmark-evaluatie en waar agenten daadwerkelijk mee te maken krijgen in geïmplementeerde financiële systemen.
• Driedeling in moeilijkheidsgraad: single-tool, multi-tool en multi-turn samples zijn niet alleen kwantitatieve verschillen — ze leggen kwalitatief verschillende foutmodi bloot.
• Multi-turn instorting: het beste model (Qwen3-235B) behaalt 60% EMR op single-tool, 10,62% EMR op multi-tool en 3,08% EMR op multi-turn. De daling van single naar multi-turn is 20×.
• Tool F1 is vergevingsgezinder: hetzelfde model scoort 66,85%, 69,42% en 41,56% TF1 over de drie instellingen — wat aantoont dat modellen vaak de juiste tools kiezen, maar fouten maken bij de volgorde, parameterinstelling of het bijhouden van het gesprek.
• Recall wint van precisie bij single-tool: modellen hebben de neiging om tools vaker aan te roepen dan nodig bij onzekerheid, in plaats van te weinig, wat de veiligere foutmodus is voor financiële taken, maar nog steeds verspilde API-aanroepen en ruis in het redeneerspoor betekent.
• Niet-monotone schaling: Qwen3-30B presteert niet consistent beter dan Qwen3-4B over alle subscenario's, wat de aanname doorbreekt dat groter altijd wint voor multi-staps toolgebruik.

Wat standhoudt — en wat niet

Het gebruik van echte productielogs als bron voor single-tool voorbeelden is de sterkste methodologische keuze hier. Het verankert de benchmark in daadwerkelijk gebruikersgedrag in plaats van door onderzoekers bedachte scenario's, wat zeldzaam is in de literatuur over financiële AI. De multi-tool en multi-turn samples zijn synthetisch uitgebreid met behulp van afhankelijkheidsgrafieken en rollenspel-prompts, wat redelijk is gezien de kosten van labeling, maar het introduceert een risico: het syntheseproces heeft de neiging om schonere, meer voorspelbare queries te produceren dan echte gebruikers schrijven. De 3,08% EMR op multi-turn is alarmerend, maar moet voorzichtig worden geïnterpreteerd — EMR vereist dat de volledige reeks exact correct is, dus één verkeerde tussenliggende tool-aanroep laat de hele taak mislukken. Dat is een strikte en aantoonbaar onrealistische productiestandaard; metrieken voor gedeeltelijke score zoals TF1 vertellen een genuanceerder verhaal.

Wat het artikel niet behandelt: er is geen analyse of de prestatiekloof primair een probleem is van input-begrip (het model interpreteert verkeerd wat de gebruiker wil), een probleem met de output-formattering (juiste intentie maar verkeerd geformuleerde tool-aanroep), of een redeneerprobleem (verkeerde tussenconclusies). Zonder die uitsplitsing is het moeilijk te weten waar technische inspanningen moeten worden geïnvesteerd. Het artikel evalueert modellen ook in isolatie; er is geen test of het toevoegen van een verificatie- of reflectiestap het multi-turn beeld verandert.

De benchmark is ook sterk verbonden met de specifieke 65 tools van Qieman, wat de overdraagbaarheid van resultaten naar andere financiële platforms met andere tools beperkt.

Waarom dit belangrijk is voor financiële AI

FinMCP-Bench is de meest relevante gepubliceerde evaluatie voor wat een Beancount write-back agent daadwerkelijk zou doen: een verzoek van een gebruiker ontvangen, identificeren welke tool (of keten van tools) van toepassing is, deze in volgorde aanroepen en vervolgstappen afhandelen. De multi-turn EMR van 3,08% is een harde realiteitscheck. Een Beancount-agent die een meerstaps grootboekcorrectie beheert — bijvoorbeeld het herclassificeren van een set transacties over accounts binnen een datumbereik, vervolgens afstemmen en daarna een rapport genereren — is precies het soort multi-turn, multi-tool taak waar huidige modellen bijna universeel op falen volgens de standaarden van exacte overeenkomst.

De MCP-benadering is direct relevant: de Python-API van Beancount, de beanquery-interface en de REST-laag van Fava zouden allemaal als MCP-servers kunnen worden ingekapseld. FinMCP-Bench vertelt ons dat het protocol niet de bottleneck is — het redeneren over reeksen van tool-aanroepen is dat wel.

De bevinding dat tool-recall hoger is dan precisie (modellen roepen te veel aan) is ook belangrijk voor de veiligheid van write-backs: een agent die de tool voor grootboekmutatie aanroept wanneer alleen een leesactie nodig was, zou het grootboek geruisloos kunnen corrumperen. Evaluatiemetrieken met een focus op precisie, en niet op recall, zouden het primaire veiligheidssignaal moeten zijn voor write-back agenten.

Wat nu te lezen

• JSONSchemaBench (arXiv:2501.10868) — evalueert de betrouwbaarheid van gestructureerde output over 10.000 JSON-schema's; behandelt direct of de fouten in de formattering van tool-aanroepen in FinMCP-Bench een probleem zijn van beperkt decoderen.
• ToolLLM (arXiv:2307.16789, ICLR 2024) — het fundamentele trainingsframework voor toolgebruik waartegen FinMCP-Bench zich positioneert; het begrijpen van de diepte-eerst zoekboom-exploratie verduidelijkt wat de productielog-methodologie van FinMCP-Bench toevoegt.
• WildToolBench (arXiv:2604.06185) — evalueert toolgebruik op echte gebruikersvragen in de praktijk; de bevinding dat geen enkel model een nauwkeurigheid van 15% overschrijdt bij onvoorspelbaar gebruikersgedrag vormt een aanvulling op de productielog-benadering van FinMCP-Bench.