Pular para o conteúdo principal

#compliance

Compliance

Regulatory compliance, policy enforcement, and audit trail research for financial AI systems

FinToolBench: Avaliando Agentes de LLM no Uso Real de Ferramentas Financeiras

O FinToolBench combina 760 ferramentas de API financeiras ao vivo com 295 consultas executáveis para avaliar agentes de LLM em tarefas financeiras reais — revelando que a taxa de invocação conservadora de 22,7% do GPT-4o produz maior qualidade de resposta (CSS 0,670) do que o TIR agressivo de 87,1% do Qwen3-8B, enquanto a incompatibilidade de intenção excede 50% em todos os modelos testados.

Uso de Ferramentas Verificavelmente Seguro para Agentes de LLM: STPA encontra MCP

Pesquisadores da CMU e NC State propõem o uso da Análise de Processos Teórico-Sistêmica (STPA) e um Protocolo de Contexto de Modelo aprimorado por recursos para derivar especificações formais de segurança para o uso de ferramentas por agentes de LLM, com verificação baseada em Alloy demonstrando a ausência de fluxos inseguros em um estudo de caso de agendamento de calendário.

AGrail: Trilhos de Segurança Adaptativos para Agentes de LLM que Aprendem entre Tarefas

O AGrail (ACL 2025) apresenta um trilho de segurança cooperativo de dois LLMs que adapta verificações de segurança no momento da inferência via adaptação em tempo de teste, alcançando 0% de taxa de sucesso em ataques de injeção de prompt e 95,6% de preservação de ações benignas no Safe-OS — em comparação com o GuardAgent e o LLaMA-Guard, que bloqueiam até 49,2% das ações legítimas.

IA Constitucional para Agentes Contábeis: RLAIF, Regras de Políticas e Riscos de Goodharting

O artigo sobre IA Constitucional da Anthropic (Bai et al., 2022) treina LLMs para seguir regras usando feedback gerado por IA em vez de rótulos humanos de danos. Este registro de pesquisa examina como o pipeline de crítica-revisão-preferência do RLAIF se mapeia na segurança de gravação para agentes autônomos de livros contábeis Beancount — e como são os riscos de Goodharting, falhas de calibração e uso dual quando a "constituição" é um plano de contas em vez de um conjunto de regras éticas.