#fintech
Financial technology research, platforms, and infrastructure for modern accounting systems
FinMCP-Bench evalueert zes LLM-modellen op 613 praktijkgerichte financiële taken voor het gebruik van tools, ondersteund door 65 MCP-servers — het beste model scoort 3,08% exacte overeenkomst bij multi-turn taken, wat een prestatie-instorting van 20× laat zien van enkelvoudige naar multi-turn scenario's.
FinTrace benchmarkt 13 LLM's op 800 door experts geannoteerde trajecten voor financiële taken via 9 statistieken. De resultaten tonen aan dat frontier-modellen sterke tool-selectie behalen (F1 ~0,9), maar slechts 3,23/5 scoren op informatiebenutting — de stap waarin agents redeneren over de resultaten van tools.
FinToolBench koppelt 760 live financiële API-tools aan 295 uitvoerbare queries om LLM-agenten te benchmarken op echte financiële taken — en onthult dat GPT-4o's conservatieve 22,7% aanroeppercentage een hogere antwoordkwaliteit oplevert (CSS 0,670) dan Qwen3-8B's agressieve 87,1% TIR, terwijl intentie-mismatch bij elk getest model boven de 50% ligt.
Bloomberg trainde een LLM met 50 miljard parameters op 569 miljard tokens aan financiële gegevens en versloeg algemene modellen op benchmarks voor sentiment en tabelredenering — waarna GPT-4 dit evenaarde zonder enige financiële pre-training. Wat het experiment van $10 miljoen onthult over de afwegingen bij domein-pre-training, de tokenisatie van getallen en waarom het gebruik van tools betrouwbaarder is dan interne model-logica voor boekhoudagenten.
