FinRAGBench-V: RAG Multimodal com Citações Visuais no Domínio Financeiro
FinRAGBench-V: os melhores modelos atingem só 20–61% de recall de citações em blocos de páginas financeiras. A busca multimodal supera a textual em quase 50 pontos.
#finance
Finanças
Investigação financeira, análise e conhecimento do domínio para IA contabilística
Confiança e Calibração em LLM: Um Levantamento do que a Pesquisa Realmente Mostra
A confiança verbalizada do GPT-4 atinge apenas ~62,7% de AUROC, pouco acima do acaso. Agentes financeiros cientes da incerteza precisam de melhor calibração.
FinTrace: Avaliação em Nível de Trajetória de Chamada de Ferramentas de LLM para Tarefas Financeiras
FinTrace: LLMs de ponta escolhem as ferramentas financeiras certas (F1 ~0,9), mas tiram só 3,23/5 ao usar os resultados, etapa que quebra agentes de write-back.
OmniEval: Benchmark de Avaliação de RAG Omnidirecional para o Domínio Financeiro
O OmniEval pontua os melhores sistemas RAG em 36% de acurácia numérica em 5 tipos de tarefa financeira, exigindo validação antes de lançar.
FinDER: Consultas de Analistas Reais Expõem uma Lacuna de 74% de Recall em RAG Financeiro
As 5.703 consultas reais de analistas do FinDER mostram que o melhor RAG recupera apenas 25,95% da evidência de 10-K. Normalize abreviações antes de trocar embeddings.
Perdido no Meio: Viés de Posição em LLMs e seu Impacto na IA Financeira
LLMs pontuam até 20 pontos pior quando a resposta fica no meio do contexto, então pipelines de RAG financeiro devem colocar os melhores trechos no início ou no fim.
AnoLLM: Ajuste Fino de LLMs para Detecção de Anomalias em Dados Tabulares Financeiros
O AnoLLM supera baselines em fraude de tipos mistos ao pontuar linhas com log-verossimilhança negativa, mas não ganha vantagem em tabelas numéricas.
DocFinQA: Raciocínio Financeiro de Longo Contexto em Arquivos Completos da SEC
O DocFinQA troca trechos de 700 palavras do FinQA por documentos completos da SEC, contexto 175× maior que quase corta a acurácia do GPT-4.
TheAgentCompany: Avaliando Agentes de LLM em Tarefas Empresariais do Mundo Real
O TheAgentCompany avalia 175 tarefas empresariais em uma intranet simulada, e o melhor modelo, Gemini-2.5-Pro, conclui apenas 30% a US$ 4 cada.
InvestorBench: Qwen2.5-72B lidera ações com CR de 46,15%
InvestorBench: Qwen2.5-72B lidera negociação de ações com CR de 46,15%; Palmyra-Fin ajustada para finanças falha em ações—tamanho supera ajuste fino de domínio.
Agente Único: iguala o MAS em multi-hop com tokens equivalentes
Com orçamentos iguais de tokens de raciocínio, LLMs de agente único igualam ou superam sistemas multiagentes em raciocínio multi-hop—favorecendo designs de agentes financeiros mais simples.
M3MAD-Bench: Os Debates Multi-Agente São Realmente Eficazes em Diferentes Domínios e Modalidades?
O M3MAD-Bench descobriu que a Ilusão Coletiva causa 65% das falhas em debates multiagente, e o debate adversarial reduz a precisão em até 12,8%.