Marketingový manažér
Hybridné otázky tabuliek a textu v TAT-QA ukázali, že úzkym hrdlom finančnej AI je ukotvenie dôkazov, nie aritmetika. Doladené 7B LLM dosiahli do roku 2024 83 % F1.
FinQA zistila, že neurónové modely dosiahli 61 % v matematike finančných správ oproti 91 % u ľudských expertov, pri programoch s tromi a viac krokmi klesli na 22 %.
FinanceBench testuje 16 AI zostáv na 10 231 otázkach z podaní SEC: RAG so zdieľaným vektorovým úložiskom odpovie správne len v 19 %, takže vyhľadávanie nie je úzkym hrdlom.
Kompilátor DSPy posunul Llama2-13b z 9,4 % na 46,9 % na GSM8K, čo nasmerúva finance AI pipelines k udržiavateľným deklaratívnym volaniam LLM.
LATS spája ReAct, Tree of Thoughts a Reflexion do jedného rámca MCTS a dosahuje 92,7 % pass@1 na HumanEval s GPT-4.
Self-RAG trénuje LLM, aby rozhodol, kedy vyhľadávať, a sám ohodnotil výsledky, dosahujúc 55,8 % na PopQA a 80,2 FactScore — čím prekonáva ChatGPT v piatich benchmarkoch.
Pretrvávajúca knižnica zručností Voyageru objavuje 3,3× viac predmetov z Minecraftu ako predchádzajúci SOTA bez doladenia — vzor, ktorý účtovní agenti potrebujú.
Pamäť HippoRAG s OpenIE+PageRank dosahuje 89,1% Recall@5 na 2WikiMultiHopQA oproti 68,2% ColBERTv2—retrieval zohľadňujúci cesty pre viacročné účtovné knihy.
AgentBench ohodnotil GPT-4 na 4,01 oproti 0,96 pre najlepší open-source LLM. Práve tie zlyhania lámu Beancount write-back agenta na živom ledgeri.
BloombergGPT trénovaný na 569B finančných tokenoch, no GPT-4 ho vyrovnal bez finančného pretrénovania. Pre účtovných agentov použitie nástrojov prekonáva vnútro modelu.
Dvojagentová konverzácia AutoGen zvyšuje presnosť MATH z 55 % na 69 % a jeho SafeGuard agent pridáva až 35 F1 bodov pri detekcii nebezpečného kódu.
Gorilla's Retriever-Aware Training cuts LLM API hallucination rates from 78% to 11%, making tool calls reliable enough for finance agents that write entries.
