TableMaster: адаптивне міркування для розуміння таблиць за допомогою LLM
TableMaster досягає 78,13% на WikiTQ з GPT-4o-mini, на 13 балів більше за Chain-of-Table, через table-of-focus та адаптивне міркування для агентів над журналами Beancount.
#queries
Запити
Генерація запитів, міркування над таблицями та структурований пошук даних
Chain-of-Table: Evolving Tables in the LLM Reasoning Chain
Chain-of-Table hits 67.31% on WikiTQ versus 61.48% for text-only chain-of-thought, and leads by 10.25 points on tables over 4,000 tokens.
TableLlama: Чи може відкрита модель 7B зрівнятися з GPT-4 у розумінні таблиць?
TableLlama перемагає GPT-4 в анотації типів стовпців (F1 94 проти 32), але відстає на 33 пункти в композиційних міркуваннях на WikiTQ.
TAPAS: Слабко контрольоване табличне QA без SQL та його значення для Beancount
TAPAS відповідає на запитання до таблиць, вибираючи комірки, а не генеруючи SQL. Він підходить для невеликих запитів до журналу Beancount, але не витримує масштабу.
MAC-SQL: Багатоагентна спільна робота для перетворення тексту в SQL
Триагентна архітектура MAC-SQL досягає 59,59% точності виконання на BIRD, а Refiner додає +4,63 бала — шаблон для генерації запитів до журналу Beancount.
DIN-SQL: GPT-4 стрибає з 67,4% до 85,3% EX на Spider
DIN-SQL підвищує точність виконання GPT-4 на Spider з 67,4% до 85,3% через етапи зв'язування схеми та самокорекції — таке ж розкладання підходить для BQL у Beancount.
BIRD: GPT-4 досягає лише 54,89% точності виконання на реальних базах даних
На BIRD, GPT-4 досягає 54,89% точності виконання з підказками домену та 34,88% без них — розрив у 20 пунктів, який будь-який інтерфейс Beancount NL→BQL має подолати.
GraphRAG: 72–83% переваг зникають після виправлення упередженості LLM-судді
GraphRAG від Microsoft фіксує 72–83% переваг у sensemaking над векторним RAG; аудит 2025 року зводить їх нанівець після виправлення упередженості судді — застереження для QA в багатодокументних бухгалтерських книгах.