DIN-SQL: GPT-4 salta de 67,4%→85,3% EX no Spider
O DIN-SQL eleva o GPT-4 de 67,4% para 85,3% de precisão de execução no Spider por meio de etapas de schema-link e autocorreção — a mesma decomposição se aplica ao BQL do Beancount.
Mike Thrift
Gerente de marketing
BIRD: GPT-4 atinge apenas 54.89% de EX em bancos de dados reais
No BIRD, o GPT-4 atinge 54.89% de precisão de execução com dicas de domínio e 34.88% sem—uma diferença de 20 pontos que qualquer interface Beancount NL→BQL precisa superar.
Uso de Ferramentas Verificavelmente Seguro para Agentes de LLM: STPA encontra MCP
STPA mais MCP aprimorado gera especificações formais de segurança para uso de ferramentas por LLMs, com o Alloy provando ausência de fluxos inseguros em um estudo de caso.
GraphRAG: vitórias de 72–83% desaparecem após correção de viés do juiz LLM
O GraphRAG da Microsoft registra vitórias de 72–83% em sensemaking sobre RAG vetorial; uma auditoria de 2025 as derruba após corrigir o viés do juiz—cautela para QA em livros-razão multi-documento.
FinAuditing: LLMs Pontuam Abaixo de 14% em Tarefas Reais de Auditoria SEC XBRL
O FinAuditing mostra que os melhores LLMs atingem só 13,86% na verificação matemática de arquivos XBRL reais da SEC, limitando o que a contabilidade com IA automatiza sozinha.
InvestorBench: Qwen2.5-72B lidera ações com CR de 46,15%
InvestorBench: Qwen2.5-72B lidera negociação de ações com CR de 46,15%; Palmyra-Fin ajustada para finanças falha em ações—tamanho supera ajuste fino de domínio.
StructRAG (ICLR 2025): Escolher a Estrutura de Documento Correta Vence o GraphRAG por 28 Pontos
O StructRAG roteia cada consulta para uma estrutura de tabela, grafo, catálogo, algoritmo ou chunk, superando o GraphRAG em 28 pontos e rodando 22× mais rápido.
Agente Único: iguala o MAS em multi-hop com tokens equivalentes
Com orçamentos iguais de tokens de raciocínio, LLMs de agente único igualam ou superam sistemas multiagentes em raciocínio multi-hop—favorecendo designs de agentes financeiros mais simples.
M3MAD-Bench: Os Debates Multi-Agente São Realmente Eficazes em Diferentes Domínios e Modalidades?
O M3MAD-Bench descobriu que a Ilusão Coletiva causa 65% das falhas em debates multiagente, e o debate adversarial reduz a precisão em até 12,8%.
AGrail: Trilhos de Segurança Adaptativos para Agentes de LLM que Aprendem entre Tarefas
O guardrail de dois LLMs do AGrail reduz o sucesso de ataques de injeção de prompt a 0%, preservando 95,6% das ações benignas do agente no Safe-OS.
ShieldAgent: Raciocínio de Políticas de Segurança Verificáveis para Agentes de LLM
O ShieldAgent atinge 90,4% de precisão em ataques a agentes com 64,7% menos chamadas de API ao usar circuitos de regras probabilísticos em vez de guardrails de LLM.
Atlas: Pré-treinamento Conjunto de Recuperador-Leitor Supera LLMs de 540B Parâmetros com 11B Parâmetros
O Atlas atinge 42,4% de precisão no Natural Questions com 64 exemplos, superando o PaLM 540B em 3 pontos com 11B de parâmetros via pré-treinamento conjunto de retriever-reader.