MemGPT: 92.5% multi-session recall vs 32.1% baseline
MemGPT's OS-style memory tiers push GPT-4 multi-session chat accuracy to 92.5% versus 32.1% fixed-context—needed for multi-year ledger agents.
Mike Thrift
Маркетинг мениджър
SWE-agent: How Interface Design Unlocks Automated Software Engineering
SWE-agent's Agent-Computer Interfaces lifted GPT-4 Turbo from raw shell to 12.47% on SWE-bench, a 10.7-point gain from interface design alone.
SWE-bench: Can Language Models Resolve Real-World GitHub Issues?
SWE-bench tests language models on 2,294 real GitHub issues; at publication Claude 2 resolved only 1.96%. Retrieval and patch-length limits shape coding agents.
CodeAct: Why Executable Python Code Makes LLM Agents 20% More Accurate
CodeAct replaces JSON tool calls with executable Python, lifting GPT-4 agent success by ~20 points and cutting turns 30%.
Self-Correction: GPT-4 falls 95.5%→91.5% on GSM8K
Huang et al. (ICLR 2024): intrinsic self-correction drops GPT-4 from 95.5% to 91.5% on GSM8K—ledger agents need external validators, not self-review.
Tree of Thoughts: Deliberate Problem Solving with LLM Search
Tree of Thoughts hits 74% on Game of 24 where GPT-4 chain-of-thought gets 4%, by searching and backtracking over steps, a pattern finance agents can borrow.
CRITIC: Why LLM Self-Correction Requires External Tool Feedback
CRITIC lifts open-domain QA by 7.7 F1 and cuts toxicity 79.2% by verifying LLM revisions against external tools, not itself.
Рефлексия: Езикови агенти, които се учат от грешки без преобучване
Reflexion постига 91% на HumanEval с GPT-4 без актуализации на теглата, но се проваля на WebShop. Словесното подсилване изисква ясен сигнал от оценител.
Самосъгласуваност: Извадково гласуване с мнозинство подобрява точността на веригата на мисълта
Self-consistency гласува по мнозинство сред много избрани пътища на разсъждение вместо едно алчно декодиране, добавяйки 17.9 точки на GSM8K без допълнително обучение.
PAL: +38pp при тежка математика чрез прехвърляне на аритметиката към Python
PAL постига +38.1pp над веригата на разсъждение при GSM-hard, като изпълнява аритметиката чрез Python — правилното разделение за надеждни изчисления в Beancount счетоводната книга.
Могат ли LLM да разсъждават върху таблични данни? Какво ни казват четири бенчмарка за финансовия ИИ
Четири бенчмарка показват GPT-4 при 42% на таблични въпроси срещу 86% при хора и 19.6% при сложни агрегации, така че финансовите агенти се нуждаят от чисти таблици.
Конституционен ИИ за счетоводни агенти: RLAIF, правила за политиките и рискове от Гудхартинг
Constitutional AI заменя ръчно етикетираните данни за вреди с AI обратна връзка, така че счетоводните агенти налагат правила без проверяващ за всяка транзакция.