#automation
Техніки та інструменти автоматизації для обробки фінансових даних
Лише Qwen3.5-9B витримує 80% із 132 місяців CFO в EnterpriseArena, тоді як GPT-5.4 і DeepSeek-V3.1 дають 0%. Причина збоїв — пропущене звіряння реєстру.
WildToolBench: жодна LLM не перевищує 15% сесійної точності на 1 024 завданнях реальних користувачів, а найгостріші збої — прихований намір і переходи інструкцій.
JSONSchemaBench: покриття падає з 86% на простих схемах до 3% на складних, тож структурований вивід LLM може непомітно давати невідповідний JSON.
FinMCP-Bench оцінює найкращу з шести LLM лише в 3,08% точного збігу на 613 реальних фінансових задачах MCP — 20-кратний обвал від одного інструмента до багатокроковості.
FinTrace показує: передові LLM обирають правильні фінансові інструменти (F1 ~0,9), але мають лише 3,23/5 за використання результатів — саме цей крок ламає агентів запису.
FinToolBench виявляє невідповідність намірів понад 50% у кожної протестованої LLM, тож агресивні виклики інструментів не дають кращих відповідей у фінансах.
OmniEval оцінює найкращі RAG-системи лише у 36% числової точності за 5 типами фінансових завдань, тож агентам для леджерів потрібна валідація перед записом проводок.
Віднімання позиційного зсуву з ваг уваги LLM повертає до 15 пунктів точності RAG, коли доказ лежить у середині контексту, допомагаючи конвеєрам фінансових агентів.
ReDAct делегує від малої моделі до великої лише коли перплексія сигналізує про невизначеність, скорочуючи витрати на 64% за тієї ж точності для агентних робочих процесів.
Агент CodeAct від OpenHands набирає 26% на SWE-Bench Lite, показуючи, що AI-агенти надійно роблять сьогодні. Фінансову автоматизацію варто починати вузько, не з автономії.
TableMaster досягає 78,13% на WikiTQ з GPT-4o-mini, на 13 балів більше за Chain-of-Table, через table-of-focus та адаптивне міркування для агентів над журналами Beancount.
GPT-4 досягає 74.1 середнього AUROC на ODDS zero-shot, близько до базової лінії ECOD 75.5, але зазнає невдачі на даних із високою дисперсією. Аудит реєстру ще не розв'язано.
