Marketingový manažér
TAT-QA je benchmark so 16 552 otázkami nad hybridnými kontextmi finančných správ (tabuľky plus text), ktorý ukázal, že hlavným úzkym hrdlom finančnej AI je ukotvenie dôkazov (evidence grounding), nie aritmetika. Do roku 2024 dosiahli vyladené 7B LLM modely F1 skóre 83 %, čím takmer uzavreli stratu voči 91 % ľudskému maximu.
FinQA (EMNLP 2021) vytvoril 8 281 párov otázok a odpovedí z výkazov ziskov a strát spoločností z indexu S&P 500, ktoré vyžadujú viacstupňové aritmetické programy. Neurónové modely dosiahli pri vydaní skóre 61 % v porovnaní s 91 % u ľudských expertov; presnosť klesá na 22 % pri programoch s tromi a viacerými krokmi. Chybové režimy — doménové konštanty, prepojenie naprieč modalitami, dĺžka reťazca — priamo zodpovedajú výzvam, ktorým dnes čelia agenti Beancount.
FinanceBench vyhodnocuje 16 konfigurácií AI voči 10 231 otázkam z reálnych výkazov SEC; RAG so zdieľaným vektorovým úložiskom odpovedá správne len v 19 % prípadov a dokonca aj GPT-4-Turbo s ideálnym textovým úryvkom (oracle passage) dosahuje len 85 % presnosť — čo ukazuje, že numerické uvažovanie, nie vyhľadávanie, je hlavným obmedzením pre podnikovú finančnú AI.
DSPy nahrádza ručne písané reťazce promptov deklaratívnymi signatúrami a kompilátorom riadeným metrikami – zvyšuje výkon Llama2-13b z 9,4 % na 46,9 % v matematickom uvažovaní GSM8K a ponúka udržateľnejšiu cestu pre produkčné finančné AI pipeline-y.
LATS (Language Agent Tree Search, ICML 2024) spája ReAct, Tree of Thoughts a Reflexion do jedného MCTS frameworku, dosahujúc 92,7% pass@1 na HumanEval s GPT-4. Pre git-backed Beancount účtovné knihy je požiadavka na reverziu stavu, ktorá obmedzuje LATS v produkcii, triviálne splnená.
Self-RAG (ICLR 2024 Oral) trénuje jazykový model, aby sa rozhodol, kedy vyhľadávať, a následne ohodnotil svoje vlastné výsledky pomocou štyroch reflexných tokenov — dosiahol 55,8 % v PopQA a 80,2 FactScore v biografiách, čím prekonal ChatGPT v piatich benchmarkoch. Analýza pokrýva mechanizmus, výsledky ablácie, limity reprodukovateľnosti a dôsledky pre finančných AI agentov nad Beancount účtovnými knihami.
Pretrvávajúca knižnica zručností Voyageru objavuje 3,3× viac predmetov z Minecraftu ako predchádzajúci SOTA bez doladenia — vzor, ktorý účtovní agenti potrebujú.
Pamäť HippoRAG s OpenIE+PageRank dosahuje 89,1% Recall@5 na 2WikiMultiHopQA oproti 68,2% ColBERTv2—retrieval zohľadňujúci cesty pre viacročné účtovné knihy.
AgentBench (Liu et al., ICLR 2024) benchmarkuje 27 LLM v 8 interaktívnych prostrediach — GPT-4 dosiahlo celkové skóre 4,01 oproti 0,96 pre najlepší open-source model. Tri dominantné spôsoby zlyhania (prekročený limit úloh v 67,9 % zlyhaní znalostného grafu, chyby formátu v 53,3 % zlyhaní databázy a neplatné akcie) priamo zodpovedajú rizikám nasadenia Beancount write-back agenta na reálnej účtovnej knihe.
Spoločnosť Bloomberg vytrénovala 50-miliardový LLM model na 569 miliardách tokenov finančných údajov a prekonala všeobecné modely v benchmarkoch sentimentu a uvažovania nad tabuľkami – potom ho GPT-4 vyrovnala bez akéhokoľvek špecifického finančného tréningu. Čo tento experiment za 10 miliónov dolárov prezrádza o kompromisoch doménového predtrénovania, tokenizácii čísel a o tom, prečo je používanie nástrojov pre účtovníckych agentov spoľahlivejšie než interné mechanizmy modelov.
AutoGen (Wu et al., 2023) predstavuje viacagentový konverzačný rámec, v ktorom agenti s podporou LLM odosielajú správy na dokončenie úloh; nastavenie s dvoma agentmi zvyšuje presnosť MATH benchmarku z 55 % na 69 % a vyhradený agent SafeGuard zlepšuje detekciu nebezpečného kódu až o 35 bodov F1 – tieto zistenia sú priamo použiteľné na budovanie bezpečných, modulárnych automatizačných liniek pre Beancount.
Gorilla (Patil et al., NeurIPS 2024) fine-tunes a 7B LLaMA model with Retriever-Aware Training on retrieved API documentation, cutting hallucination rates from 78% to 11% versus GPT-4 zero-shot — with direct implications for finance AI write-back agents where wrong account names or inverted signs are correctness failures, not annoyances.
