Confiança e Calibração em LLM: Um Levantamento do que a Pesquisa Realmente Mostra
A confiança verbalizada do GPT-4 atinge apenas ~62,7% de AUROC, pouco acima do acaso. Agentes financeiros cientes da incerteza precisam de melhor calibração.
#trust
Confiança
Fiabilidade, calibração e alucinações em sistemas de IA financeira
Diferimento Ciente de Incerteza para Agentes LLM: Quando Escalar de Modelos Pequenos para Grandes
O ReDAct transfere de um modelo pequeno para um grande só quando a perplexidade sinaliza incerteza, cortando o custo em 64% com acurácia equivalente em fluxos de agentes.
Uso de Ferramentas Verificavelmente Seguro para Agentes de LLM: STPA encontra MCP
STPA mais MCP aprimorado gera especificações formais de segurança para uso de ferramentas por LLMs, com o Alloy provando ausência de fluxos inseguros em um estudo de caso.
AGrail: Trilhos de Segurança Adaptativos para Agentes de LLM que Aprendem entre Tarefas
O guardrail de dois LLMs do AGrail reduz o sucesso de ataques de injeção de prompt a 0%, preservando 95,6% das ações benignas do agente no Safe-OS.
ShieldAgent: Raciocínio de Políticas de Segurança Verificáveis para Agentes de LLM
O ShieldAgent atinge 90,4% de precisão em ataques a agentes com 64,7% menos chamadas de API ao usar circuitos de regras probabilísticos em vez de guardrails de LLM.
GuardAgent: Execução Determinística de Políticas de Segurança para Agentes LLM via Execução de Código
O GuardAgent aplica políticas de agentes LLM executando código Python, atingindo 98,7% de precisão sem falhas de tarefa, contra 81% e até 71% de falha para regras em prompt.
Autocorreção: GPT-4 cai de 95,5% para 91,5% no GSM8K
Huang et al. (ICLR 2024): a autocorreção intrínseca reduz o GPT-4 de 95,5% para 91,5% no GSM8K—agentes contábeis precisam de validadores externos, não de auto-revisão.
PHANTOM (NeurIPS 2025): Medindo a Detecção de Alucinações de LLMs em Documentos Financeiros
O PHANTOM (NeurIPS 2025) mede a detecção de alucinação em LLMs em documentos reais da SEC. O Qwen3-30B lidera com F1=0,882, mas modelos de 7B chutam quase aleatoriamente.