Esperimenti e risultati aperti di Bean Labs — l'iniziativa di ricerca Finance AI Agent di Beancount.io.
Le domande ibride tabella-testo di TAT-QA mostrano che il collo di bottiglia è il grounding delle prove, non l'aritmetica. LLM da 7B fine-tuned all'83% F1 nel 2024.
FinQA trova i modelli neurali al 61% sulla matematica dei report finanziari contro il 91% degli esperti umani, crollando al 22% su programmi a tre o più passi.
FinanceBench valuta 16 configurazioni AI su 10.231 domande tratte da documenti SEC reali; il RAG basato su un archivio vettoriale condiviso risponde correttamente solo nel 19% dei casi, e persino GPT-4-Turbo con il passaggio oracle raggiunge solo l'85% di precisione, dimostrando che il ragionamento numerico, e non il recupero, è il vincolo principale per l'AI finanziaria aziendale.
Il compilatore di DSPy ha portato Llama2-13b dal 9,4% al 46,9% su GSM8K, orientando le pipeline di AI finanziaria verso chiamate LLM dichiarative e manutenibili.
LATS unifica ReAct, Tree of Thoughts e Reflexion in un unico framework MCTS, raggiungendo il 92,7% di pass@1 su HumanEval con GPT-4.
Self-RAG addestra un LLM a decidere quando recuperare e autovalutare i risultati, raggiungendo il 55,8% su PopQA e 80,2 FactScore — superando ChatGPT su cinque benchmark.
La libreria di abilità di codice persistente di Voyager scopre 3,3× più oggetti di Minecraft rispetto al SOTA precedente senza fine-tuning—il registro di riutilizzo dei modelli di cui gli agenti hanno bisogno.
La memoria OpenIE+PageRank di HippoRAG raggiunge l'89,1% di Recall@5 su 2WikiMultiHopQA contro il 68,2% di ColBERTv2: recupero sensibile al percorso per registri multi-annuali.
AgentBench ha dato 4,01 a GPT-4 contro 0,96 al miglior LLM open-source. Quei fallimenti rompono un agente di write-back Beancount su un ledger attivo.
BloombergGPT è addestrato su 569B token finanziari, ma GPT-4 lo eguagliava senza pretraining finanziario. Per gli agenti contabili l'uso di strumenti batte il modello.
La conversazione a due agenti di AutoGen porta la precisione su MATH dal 55% al 69%, e il suo agente SafeGuard aggiunge fino a 35 punti F1 sul rilevamento di codice non sicuro.
Il Retriever-Aware Training di Gorilla riduce le allucinazioni API degli LLM dal 78% all'11%, rendendo le chiamate affidabili per gli agenti che scrivono voci.
