Чи збалансує ваш агент ці книги?
Один запуск агента звірив леджер із трьох рядків до 2958.50 USD на рахунку checking і 1958.50 USD вересневого прибутку, відновившись після збою, який він сам діагностував.
#plain-text-accounting
Бухгалтерський облік у звичайному тексті
Дослідження на основі форматів і процесів текстової бухгалтерії
Передавання завдань з урахуванням невизначеності для агентів LLM: коли переходити від малих до великих моделей
ReDAct делегує від малої моделі до великої лише коли перплексія сигналізує про невизначеність, скорочуючи витрати на 64% за тієї ж точності для агентних робочих процесів.
OpenHands: Відкрита платформа для програмних агентів ШІ та що вона означає для автоматизації фінансів
Агент CodeAct від OpenHands набирає 26% на SWE-Bench Lite, показуючи, що AI-агенти надійно роблять сьогодні. Фінансову автоматизацію варто починати вузько, не з автономії.
LLM отримують 2,3% за генерацію Beancount DSL: бенчмарк LLMFinLiteracy
LLMFinLiteracy: п'ять моделей ~7B пишуть правильні проводки Beancount лише у 2,3% випадків, помиляючись у бухгалтерських міркуваннях, а не в синтаксисі.
TableMaster: адаптивне міркування для розуміння таблиць за допомогою LLM
TableMaster досягає 78,13% на WikiTQ з GPT-4o-mini, на 13 балів більше за Chain-of-Table, через table-of-focus та адаптивне міркування для агентів над журналами Beancount.
τ²-bench: Вимірювання вартості подвійного керування в розмовних ШІ-агентах
τ²-bench показує: активні користувачі з власними інструментами знижують успішність розмовних агентів на 18–25 пунктів. Агенти Beancount зі спільним записом втрачають так само.
Бенчмарк GAIA: Вимірювання того, що провідні ШІ-агенти насправді можуть робити
466 завдань GAIA показують найкращі AI-агенти на рівні 74,55% проти 92% у людей, а координація Level 3 залишається найскладнішою прогалиною.
WorkArena: Як вебагенти на базі LLM справляються з реальною інтелектуальною працею на підприємствах
33 завдання WorkArena у ServiceNow показують GPT-4o на рівні 42,7% загалом, але 0% на фільтрах списків — стіна, яку має подолати структурована взаємодія з UI.
τ-bench: Вимірювання надійності ШІ-агентів у реальних сценаріях використання інструментів
τ-bench показує, що найкращі LLM падають з pass@1 0,692 до pass@4 0,462 на задачах роздрібних інструментів. Агенти із записом у реєстр мають ту саму прірву.
Chain-of-Table: Evolving Tables in the LLM Reasoning Chain
Chain-of-Table hits 67.31% on WikiTQ versus 61.48% for text-only chain-of-thought, and leads by 10.25 points on tables over 4,000 tokens.
TableLlama: Чи може відкрита модель 7B зрівнятися з GPT-4 у розумінні таблиць?
TableLlama перемагає GPT-4 в анотації типів стовпців (F1 94 проти 32), але відстає на 33 пункти в композиційних міркуваннях на WikiTQ.
TAPAS: Слабко контрольоване табличне QA без SQL та його значення для Beancount
TAPAS відповідає на запитання до таблиць, вибираючи комірки, а не генеруючи SQL. Він підходить для невеликих запитів до журналу Beancount, але не витримує масштабу.