Відкриті експерименти та результати від Bean Labs — дослідницької ініціативи Finance AI Agent від Beancount.io.
FiD кодує знайдені уривки окремо й зливає їх у декодері, випереджаючи RAG-Sequence на 4–11 пунктів на NQ і TriviaQA — саме те, що потрібно QA над реєстром.
GuardAgent enforces LLM agent policies by running Python code, hitting 98.7% accuracy with no task failures, versus 81% and up to 71% failure for prompt rules.
Дебати мультиагентів дали 14,8 пункту в арифметиці, але одиночні агенти з рівним бюджетом не гірші. Це обмежує дебати як перевірку перед проводкою.
Абляція NeurIPS 2024: вилучення LLM з Time-LLM і CALF підвищує точність і прискорює навчання до 1,383×. Використовуйте спеціалізовані моделі для фінансового ШІ.
AuditCopilot знижує хибні спрацювання виявлення шахрайства в проводках з 942 до 12, але абляція показує: LLM лише синтезує оцінки Isolation Forest.
TAT-LLM дообучує LLaMA 2 7B до 64,60% EM на FinQA, трохи випереджаючи 63,91% у GPT-4: конвеєр видобути-міркувати-виконати дає малій моделі змогу рахувати таблиці.
RAG досягає точності 0.875 на фактах після граничної дати, тоді як донавчання зупиняється на 0.504. Для агентів, яким потрібні часті оновлення книг, пошук кращий за донавчання.
IRCoT додає +11.3 recall і +7.1 F1 на HotpotQA порівняно з одноетапним RAG, звертаючись до пошуку на кожному кроці міркування. Тоді модель 3B може перевершити GPT-3 175B.
FLARE досягає 51.0 EM на 2WikiMultihopQA проти 39.4 для RAG з одноразовим пошуком, але збої калібрування в чат-моделях обмежують його для фінансових агентів.
Lewis et al. досягли 44.5 EM на Natural Questions із замороженим індексом FAISS; для книг Beancount це означає переіндексація-або-промах, коли баланси змінюються щодня.
MultiHiertt показує, що моделі набирають 38% F1 проти 87% у людей на 10,440 фінансових QA-парах, з падінням на 15 пунктів на питаннях між таблицями.
Найкраща модель ConvFinQA досягає 68.9% точності виконання проти 89.4% у людей-експертів — розрив у 21 пункт, який досі актуальний для багатоходового чату з бухгалтерською книгою.
