Responsable de màrqueting
Les preguntes híbrides taula-text de TAT-QA van mostrar que l'ancoratge d'evidència, no l'aritmètica, és el coll d'ampolla. Els LLM de 7B ajustats arribaven al 83% F1 el 2024.
FinQA va trobar que els models neuronals puntuaven 61% en càlculs d'informes financers davant el 91% d'experts humans, caient al 22% en programes de tres o més passos.
FinanceBench prova 16 configuracions d'IA amb 10.231 preguntes reals de la SEC: el RAG amb vector-store compartit encerta el 19%, la recuperació no és el coll d'ampolla.
El compilador de DSPy va elevar Llama2-13b del 9,4% al 46,9% a GSM8K, orientant els pipelines d'IA financera cap a crides LLM declaratives i mantenibles.
LATS unifica ReAct, Tree of Thoughts i Reflexion en un sol marc MCTS, assolint un 92,7% de pass@1 a HumanEval amb GPT-4.
Self-RAG entrena un LLM per decidir quan recuperar i autoqualificar resultats, assolint el 55,8% a PopQA i 80,2 de FactScore — superant ChatGPT en cinc benchmarks.
La biblioteca persistent de skills de codi de Voyager descobreix 3,3× més ítems de Minecraft que l'SOTA anterior sense fine-tuning—el patró de reutilització que necessiten els agents de llibres majors.
La memòria OpenIE+PageRank d'HippoRAG arriba al 89,1% de Recall@5 en 2WikiMultiHopQA davant del 68,2% de ColBERTv2: recuperació sensible al camí per a llibres de comptes plurianuals.
AgentBench va puntuar GPT-4 amb 4.01 davant 0.96 del millor LLM obert. Aquestes fallades són les que trenquen un agent que escriu a Beancount en un llibre real.
BloombergGPT es va entrenar amb 569B tokens financers, però GPT-4 el va igualar sense pretraining financer. Per als agents comptables, les eines superen l'interior del model.
La conversa de dos agents d'AutoGen eleva la precisió en MATH del 55% al 69%, i el seu agent SafeGuard afegeix fins a 35 punts F1 en la detecció de codi insegur.
El Retriever-Aware Training de Gorilla baixa les al·lucinacions d'API dels LLM del 78% a l'11%, fent les crides prou fiables per a agents que escriuen assentaments.
