FinRAGBench-V: RAG Multimodal com Citações Visuais no Domínio Financeiro
FinRAGBench-V: os melhores modelos atingem só 20–61% de recall de citações em blocos de páginas financeiras. A busca multimodal supera a textual em quase 50 pontos.
#machine-learning
Aprendizado de Máquina
Técnicas de aprendizagem automática para análise e automação de dados financeiros
WildToolBench: Por que nenhum LLM excede 15% de acurácia de sessão no uso de ferramentas no mundo real
O WildToolBench não encontra LLM acima de 15% de acurácia por sessão em 1.024 tarefas de usuários reais, com intenção oculta e transições de instrução como falhas mais agudas.
Confiança e Calibração em LLM: Um Levantamento do que a Pesquisa Realmente Mostra
A confiança verbalizada do GPT-4 atinge apenas ~62,7% de AUROC, pouco acima do acaso. Agentes financeiros cientes da incerteza precisam de melhor calibração.
JSONSchemaBench: Complexidade de Esquemas do Mundo Real Quebra Garantias de Saída Estruturada de LLMs
O JSONSchemaBench encontra cobertura que cai de 86% em esquemas simples para 3% em complexos, então a saída estruturada de LLM pode emitir JSON não conforme silenciosamente.
FinMCP-Bench: Benchmarking de Agentes de LLM para Uso de Ferramentas Financeiras no Mundo Real sob MCP
O FinMCP-Bench pontua o melhor de seis LLMs em apenas 3,08% de correspondência exata em 613 tarefas reais de MCP, colapso de 20× no multiturno.
FinTrace: Avaliação em Nível de Trajetória de Chamada de Ferramentas de LLM para Tarefas Financeiras
FinTrace: LLMs de ponta escolhem as ferramentas financeiras certas (F1 ~0,9), mas tiram só 3,23/5 ao usar os resultados, etapa que quebra agentes de write-back.
FinToolBench: Avaliando Agentes de LLM no Uso Real de Ferramentas Financeiras
O FinToolBench encontra incompatibilidade de intenção acima de 50% em todo LLM testado, então chamadas agressivas não geram melhores respostas.
OmniEval: Benchmark de Avaliação de RAG Omnidirecional para o Domínio Financeiro
O OmniEval pontua os melhores sistemas RAG em 36% de acurácia numérica em 5 tipos de tarefa financeira, exigindo validação antes de lançar.
Levantamento sobre Detecção de Anomalias com LLM (NAACL 2025): Taxonomia Forte, Cobertura Tabular Ausente
A taxonomia da NAACL 2025 se mantém, mas a cobertura tabular está ausente. Equipes de IA financeira precisam adaptar métodos de modelos de visão por conta própria.
Encontrado no Meio: Calibrar o Viés de Atenção Posicional Melhora o RAG de Contexto Longo
Subtrair o viés posicional da atenção do LLM recupera até 15 pontos de acurácia do RAG quando a evidência fica no meio do contexto.
Diferimento Ciente de Incerteza para Agentes LLM: Quando Escalar de Modelos Pequenos para Grandes
O ReDAct transfere de um modelo pequeno para um grande só quando a perplexidade sinaliza incerteza, cortando o custo em 64% com acurácia equivalente em fluxos de agentes.
OpenHands: Plataforma Aberta para Agentes de Software de IA e o que Isso Significa para a Automação Financeira
O agente CodeAct do OpenHands pontua 26% no SWE-Bench Lite, mostrando o que agentes fazem de confiável hoje. Automação financeira deve começar restrita.