# Confiança

Fiabilidade, calibração e alucinações em sistemas de IA financeira

8 publicações [Ver todas as etiquetas](https://beancount.io/pt/bean-labs/research-logs/tags) [Voltar para Todos os Posts](https://beancount.io/pt/bean-labs/research-logs)

9 de julho de 2026 6 min para ler

## [Confiança e Calibração em LLM: Um Levantamento do que a Pesquisa Realmente Mostra](https://beancount.io/pt/bean-labs/research-logs/2026/07/09/confidence-estimation-calibration-llms-survey)

A confiança verbalizada do GPT-4 atinge apenas \~62,7% de AUROC, pouco acima do acaso. Agentes financeiros cientes da incerteza precisam de melhor calibração.

Mike Thrift

llm ai machine-learning

1 de julho de 2026 7 min para ler

## [Diferimento Ciente de Incerteza para Agentes LLM: Quando Escalar de Modelos Pequenos para Grandes](https://beancount.io/pt/bean-labs/research-logs/2026/07/01/redact-uncertainty-aware-deferral-llm-agents)

O ReDAct transfere de um modelo pequeno para um grande só quando a perplexidade sinaliza incerteza, cortando o custo em 64% com acurácia equivalente em fluxos de agentes.

Mike Thrift

ai llm automation

5 de junho de 2026 7 min para ler

## [Uso de Ferramentas Verificavelmente Seguro para Agentes de LLM: STPA encontra MCP](https://beancount.io/pt/bean-labs/research-logs/2026/06/05/verifiably-safe-tool-use-llm-agents-stpa-mcp)

STPA mais MCP aprimorado gera especificações formais de segurança para uso de ferramentas por LLMs, com o Alloy provando ausência de fluxos inseguros em um estudo de caso.

Mike Thrift

ai llm security

29 de maio de 2026 7 min para ler

## [AGrail: Trilhos de Segurança Adaptativos para Agentes de LLM que Aprendem entre Tarefas](https://beancount.io/pt/bean-labs/research-logs/2026/05/29/agrail-lifelong-agent-guardrail-adaptive-safety-detection)

O guardrail de dois LLMs do AGrail reduz o sucesso de ataques de injeção de prompt a 0%, preservando 95,6% das ações benignas do agente no Safe-OS.

Mike Thrift

ai llm security

28 de maio de 2026 7 min para ler

## [ShieldAgent: Raciocínio de Políticas de Segurança Verificáveis para Agentes de LLM](https://beancount.io/pt/bean-labs/research-logs/2026/05/28/shieldagent-verifiable-safety-policy-reasoning-llm-agents)

O ShieldAgent atinge 90,4% de precisão em ataques a agentes com 64,7% menos chamadas de API ao usar circuitos de regras probabilísticos em vez de guardrails de LLM.

Mike Thrift

ai llm machine-learning

25 de maio de 2026 7 min para ler

## [GuardAgent: Execução Determinística de Políticas de Segurança para Agentes LLM via Execução de Código](https://beancount.io/pt/bean-labs/research-logs/2026/05/25/guardagent-safeguard-llm-agents-guard-agent-knowledge-enabled-reasoning)

O GuardAgent aplica políticas de agentes LLM executando código Python, atingindo 98,7% de precisão sem falhas de tarefa, contra 81% e até 71% de falha para regras em prompt.

Mike Thrift

ai llm automation

28 de abril de 2026 6 min para ler

## [Autocorreção: GPT-4 cai de 95,5% para 91,5% no GSM8K](https://beancount.io/pt/bean-labs/research-logs/2026/04/28/llms-cannot-self-correct-reasoning-yet)

Huang et al. (ICLR 2024): a autocorreção intrínseca reduz o GPT-4 de 95,5% para 91,5% no GSM8K—agentes contábeis precisam de validadores externos, não de auto-revisão.

Mike Thrift

llm ai machine-learning

19 de abril de 2026 6 min para ler

## [PHANTOM (NeurIPS 2025): Medindo a Detecção de Alucinações de LLMs em Documentos Financeiros](https://beancount.io/pt/bean-labs/research-logs/2026/04/19/phantom-hallucination-detection-financial-long-context)

O PHANTOM (NeurIPS 2025) mede a detecção de alucinação em LLMs em documentos reais da SEC. O Qwen3-30B lidera com F1=0,882, mas modelos de 7B chutam quase aleatoriamente.

Mike Thrift

llm ai machine-learning

[Comece Grátis→](https://beancount.io/sign-up/?next=%2Fledger%2F) [Documentação](https://beancount.io/pt/docs)

## Where to look next

- [Sitemap](https://beancount.io/sitemap.xml) - all pages with hreflang alternates
- [LLMs index](https://beancount.io/llms.txt) - curated links for AI agents (also /llms-full.txt for full docs)
- [Documentation](https://beancount.io/docs) - every doc is also available as text/markdown via .md suffix or Accept negotiation
- [REST API reference](https://beancount.io/docs/api-reference) - interactive endpoints, schemas, authentication, and code samples
- [OpenAPI spec](https://beancount.io/openapi.json) - OpenAPI 3.1 spec for this website's public content endpoints; the product contract for ledger operations is at https://beancount.io/api-gateway/v1/openapi.json
- [GraphQL](https://beancount.io/graphql) - public, read-only content API over the blog and research logs (no credentials, no ledger data): 12 query fields over 23 types
- [MCP server](https://beancount.io/mcp) - Model Context Protocol at https://beancount.io/api-gateway/mcp
