Менеджер з маркетингу
Гібридні таблично-текстові питання TAT-QA показали, що вузьким місцем фінансового ШІ є прив'язка до доказів, а не арифметика. Доопрацьовані 7B LLM сягнули 83% F1 до 2024 року.
FinQA виявив, що нейромережі набрали 61% у математиці за фінансовими звітами проти 91% у людей-експертів, падаючи до 22% на програмах із трьох і більше кроків.
FinanceBench тестує 16 AI-конфігурацій на 10 231 реальному питанні до звітів SEC: RAG зі спільним векторним сховищем дає лише 19% правильних, тож пошук не є вузьким місцем.
Компілятор DSPy підняв Llama2-13b з 9,4% до 46,9% на GSM8K, вказуючи фінансовим AI-конвеєрам шлях до підтримуваних декларативних викликів LLM.
LATS об'єднує ReAct, Tree of Thoughts і Reflexion в одному фреймворку MCTS, досягаючи 92.7% pass@1 на HumanEval з GPT-4.
Self-RAG навчає LLM вирішувати, коли шукати, і самооцінювати результати, досягаючи 55.8% на PopQA та 80.2 FactScore — перевершуючи ChatGPT на п'яти бенчмарках.
Постійна бібліотека коду навичок Voyager виявляє у 3,3 раза більше предметів Minecraft, ніж попередні SOTA без тонкого налаштування—це реєстр патернів повторного використання, необхідний агентам обліку.
Пам'ять HippoRAG на основі OpenIE+PageRank досягає 89.1% Recall@5 на 2WikiMultiHopQA проти 68.2% ColBERTv2 — шлях-залежний пошук для багаторічних бухгалтерських книг.
AgentBench оцінив GPT-4 у 4.01 проти 0.96 у найкращої відкритої LLM. Саме такі збої ламають агента зворотного запису Beancount на робочому реєстрі.
BloombergGPT навчався на 569 млрд фінансових токенів, та GPT-4 зрівнявся з ним без фіннавчання. Для бухгалтерських агентів інструменти важать більше.
Двоагентна розмова AutoGen підвищує точність MATH з 55% до 69%, а його агент SafeGuard додає до 35 балів F1 у виявленні небезпечного коду.
Retriever-Aware Training від Gorilla знижує галюцинації API LLM з 78% до 11%, роблячи виклики інструментів надійними для фінансових агентів.
