Responsabile marketing
I livelli di memoria in stile OS di MemGPT portano l'accuratezza delle chat multi-sessione di GPT-4 al 92,5% contro il 32,1% del contesto fisso—necessario per agenti contabili pluriennali.
Le Agent-Computer Interface di SWE-agent hanno portato GPT-4 Turbo dalla shell grezza al 12,47% su SWE-bench, un guadagno di 10,7 punti solo dal design dell'interfaccia.
SWE-bench testa gli LLM su 2.294 issue GitHub reali; alla pubblicazione Claude 2 ne risolveva solo l'1,96%. Retrieval e lunghezza patch limitano gli agenti di coding.
CodeAct sostituisce le chiamate agli strumenti in JSON con Python eseguibile, aumentando il successo degli agenti GPT-4 di circa 20 punti e riducendo i turni del 30%.
Huang et al. (ICLR 2024): l'autocorrezione intrinseca fa scendere GPT-4 dal 95,5% al 91,5% su GSM8K—gli agenti contabili necessitano di validatori esterni, non di auto-revisione.
Tree of Thoughts raggiunge il 74% su Game of 24 dove la catena di pensiero di GPT-4 ottiene il 4%, con ricerca e backtracking: un pattern utile agli agenti finanziari.
CRITIC guadagna 7,7 F1 sul QA aperto e taglia la tossicità del 79,2% verificando le revisioni dell'LLM con strumenti esterni, non con sé stesso.
Reflexion raggiunge il 91% su HumanEval con GPT-4 senza aggiornamenti dei pesi, ma fallisce su WebShop. Il rinforzo verbale richiede un segnale di valutazione netto.
L'auto-coerenza vota a maggioranza molti percorsi di ragionamento campionati invece di una sola decodifica greedy, aggiungendo 17,9 punti su GSM8K senza training aggiuntivo.
PAL guadagna +38,1pp rispetto alla catena di pensiero su GSM-hard eseguendo Python per l'aritmetica—la ripartizione giusta per calcoli affidabili del registro Beancount.
Quattro benchmark danno GPT-4 al 42% sul QA tabellare reale contro l'86% umano, e al 19,6% su aggregazioni complesse: servono tabelle pulite.
Constitutional AI sostituisce i dati sui danni etichettati a mano con il feedback AI: gli agenti contabili applicano le regole del ledger senza un revisore per transazione.
