FinMCP-Bench: Valutazione di Agenti LLM per l'Uso di Strumenti Finanziari Reali tramite MCP
FinMCP-Bench valuta il migliore di sei LLM a solo il 3,08% di exact match su 613 task finanziari MCP reali, un crollo di 20× dal single-tool al multi-turn.
#fintech
Fintech
Ricerca su tecnologie finanziarie, piattaforme e infrastrutture per sistemi contabili moderni
FinTrace: Valutazione a Livello di Traiettoria della Chiamata a Strumenti LLM per Compiti Finanziari
FinTrace valuta 13 LLM su 800 traiettorie di compiti finanziari annotate da esperti, attraverso 9 metriche, scoprendo che i modelli all'avanguardia ottengono una forte selezione degli strumenti (F1 ~0.9) ma solo 3,23/5 nell'utilizzo delle informazioni — il passaggio in cui gli agenti ragionano su ciò che gli strumenti restituiscono.
FinToolBench: Valutare gli Agenti LLM sull'Uso Reale di Strumenti Finanziari
FinToolBench rileva disallineamento di intento oltre il 50% per ogni LLM testato: chiamare più strumenti non significa risposte migliori sui task finanziari.
BloombergGPT e i Limiti dei LLM Specifici di Dominio nella Finanza
BloombergGPT è addestrato su 569B token finanziari, ma GPT-4 lo eguagliava senza pretraining finanziario. Per gli agenti contabili l'uso di strumenti batte il modello.