MemGPT: 92,5% viacsedeníová vybaviteľnosť oproti 32,1% základnej úrovni
MemGPT pamäťové vrstvy v štýle OS zvyšujú presnosť viacsedeníového chatu GPT-4 na 92,5% oproti 32,1% pri pevnom kontexte – potrebné pre viacročných ledger agentov.
Mike Thrift
Marketingový manažér
SWE-agent: Ako dizajn rozhrania odomyká automatizované softvérové inžinierstvo
Agent-Computer Interfaces SWE-agent posunuli GPT-4 Turbo zo surového shellu na 12,47 % na SWE-bench, čo je zisk 10,7 bodu len z dizajnu rozhrania.
SWE-bench: Dokážu jazykové modely riešiť skutočné problémy na GitHub-e?
SWE-bench testuje jazykové modely na 2 294 reálnych GitHub issues; v čase publikácie Claude 2 vyriešil len 1,96 %. Limity retrieval a dĺžky patchu formujú kódovacích agentov.
CodeAct: Prečo spustiteľný Python kód robí LLM agentov o 20 % presnejšími
CodeAct nahrádza JSON volania nástrojov spustiteľným Pythonom, čím zvyšuje úspešnosť GPT-4 agenta o ~20 bodov a znižuje počet krokov o 30 %.
Samokorekcia: GPT-4 klesá z 95,5 % na 91,5 % v GSM8K
Huang et al. (ICLR 2024): intrinsická samokorekcia znižuje GPT-4 z 95,5 % na 91,5 % v GSM8K — účtovné agenty potrebujú externé validátory, nie vlastnú revíziu.
Strom myšlienok: Premyslené riešenie problémov s vyhľadávaním pomocou LLM
Tree of Thoughts dosahuje 74 % na Game of 24, kde GPT-4 chain-of-thought získava 4 %, a to prehľadávaním a návratom cez kroky, vzor, ktorý môžu finanční agenti prevziať.
CRITIC: Prečo samooprava LLM vyžaduje spätnú väzbu od externých nástrojov
CRITIC zvyšuje open-domain QA o 7,7 F1 a znižuje toxicitu o 79,2 % overovaním revízií LLM voči externým nástrojom, nie voči sebe samému.
Reflexion: Jazykoví agenti, ktorí sa učia z chýb bez opätovného trénovania
Reflexion dosahuje 91 % na HumanEval s GPT-4 bez aktualizácie váh, ale zlyháva na WebShop. Verbálne posilňovanie potrebuje jasný signál hodnotiteľa.
Sekvenčná konzistentnosť: Väčšinové hlasovanie pri vzorkovaní zlepšuje presnosť reťazca myšlienok
Self-consistency hlasovaním väčšiny spomedzi mnohých vzorkovaných ciest uvažovania namiesto jedného greedy dekódovania pridáva 17,9 bodu na GSM8K bez dodatočného trénovania.
PAL: +38pp na náročnej matematike tým, že aritmetiku prenechá Pythonu
PAL získava +38,1 pp oproti reťazcu myšlienok na GSM-hard spustením Pythonu pre aritmetiku – správne rozdelenie pre spoľahlivé výpočty v účtovníctve Beancount.
Dokážu LLM uvažovať nad tabuľkovými údajmi? Čo nám hovoria štyri benchmarky o finančnej AI
Štyri benchmarky: GPT-4 zvládne 42 % otázok nad tabuľkami z praxe, ľudia 86 %, a 19,6 % pri komplexných agregáciách — agenti pre financie potrebujú čistý vstup.
Konštitučná AI pre účtovných agentov: RLAIF, pravidlá politiky a riziká Goodhartovho zákona
Constitutional AI nahrádza ručne označené dáta o škodlivosti spätnou väzbou AI, takže účtovné agenti môžu vynucovať pravidlá ledgera bez recenzenta pre každú transakciu.