Fusion-in-Decoder: Cómo la recuperación de múltiples pasajes mejora el QA generativo
FiD codifica pasajes recuperados por separado y los fusiona en el decodificador, superando a RAG-Sequence por 4–11 puntos en NQ y TriviaQA.
Mike Thrift
Gerente de marketing
GuardAgent: Cumplimiento de seguridad determinista para agentes de LLM mediante ejecución de código
GuardAgent aplica políticas de agentes LLM ejecutando código Python, con 98.7% de exactitud y sin fallos de tarea, frente a 81% y hasta 71% de fallos con reglas en el prompt.
Debate de LLM multiagente: Ganancias reales de precisión, cómputo no controlado y delusión colectiva
El debate multiagente ganó 14.8 puntos en aritmética, pero agentes únicos con igual presupuesto lo igualan. Eso limita el debate como verificación segura antes de un asiento.
Los LLM no son útiles para el pronóstico de series temporales: lo que NeurIPS 2024 significa para la IA financiera
Ablación de NeurIPS 2024: quitar el LLM de Time-LLM y CALF mejora la precisión, con un entrenamiento hasta 1.383× más rápido. Use modelos específicos para la IA financiera.
AuditCopilot: LLMs para la detección de fraude en contabilidad de partida doble
AuditCopilot baja los falsos positivos de fraude en asientos de 942 a 12, pero la ablación muestra que el LLM sobre todo sintetiza puntuaciones de Isolation Forest.
TAT-LLM: un LLaMA 2 7B ajustado supera a GPT-4
TAT-LLM ajusta LLaMA 2 7B al 64,60% EM en FinQA, superando el 63,91% de GPT-4: un pipeline extraer-razonar-ejecutar permite aritmética de tablas a un modelo pequeño.
Ajuste fino (Fine-Tuning) vs. RAG: Por qué la recuperación gana al inyectar nuevo conocimiento en LLMs
RAG logra 0.875 de precisión en hechos posteriores al corte y el ajuste fino se estanca en 0.504. Para agentes con actualizaciones frecuentes, RAG gana.
IRCoT: Entrelazando la Recuperación con Cadena de Pensamiento para QA de Múltiples Pasos
IRCoT suma +11.3 de exhaustividad y +7.1 F1 en HotpotQA sobre el RAG de un paso al consultar la recuperación en cada paso. Un modelo de 3B puede superar a GPT-3 175B.
FLARE: Generación Aumentada por Recuperación Activa
FLARE alcanza 51,0 EM en 2WikiMultihopQA frente a 39,4 de RAG de recuperación única, pero los fallos de calibración en modelos de chat lo limitan para agentes financieros.
RAG: 44.5 EM en NQ — y por qué los índices de contabilidad se vuelven obsoletos
Lewis et al. logran 44.5 EM en Natural Questions con un índice FAISS congelado; para los libros de Beancount, eso significa reindexar o fallar cuando los saldos cambian a diario.
MultiHiertt: Evaluación del razonamiento numérico en tablas financieras multi-jerárquicas
MultiHiertt muestra que los modelos logran 38% F1 frente al 87% de los humanos en 10.440 pares de QA financiero, con una caída de 15 puntos en preguntas entre tablas.
ConvFinQA: los modelos superan a los expertos por 21 puntos (68,9%)
El mejor modelo de ConvFinQA obtiene una precisión de ejecución del 68,9% frente al 89,4% de los expertos humanos: una brecha de 21 puntos que el chat de contabilidad multi-turno aún debe superar.