FinToolBench: 실제 금융 도구 사용에 대한 LLM 에이전트 평가
FinToolBench는 테스트한 모든 LLM에서 의도 불일치가 50%를 넘어, 공격적 도구 호출이 금융 과제에서 더 나은 답을 뜻하지 않음을 보여준다.
#compliance
규정 준수
금융 AI 시스템을 위한 규제 준수, 정책 시행 및 감사 추적 연구
LLM 에이전트를 위한 검증 가능한 안전한 도구 사용: STPA와 MCP의 만남
STPA와 역량 강화 MCP는 LLM 도구 사용에 대한 형식적 안전 명세를 산출하며, Alloy는 캘린더 사례 연구에서 안전하지 않은 흐름이 없음을 증명한다.
FinAuditing: 실제 SEC XBRL 감사 작업에서 LLM의 점수가 14% 미만을 기록함
FinAuditing은 최상위 LLM이 실제 SEC XBRL 공시의 재무 산술 검증에서 겨우 13.86%를 기록해, AI 회계 도구가 단독으로 자동화할 수 있는 범위를 제한함을 보여준다.
AGrail: 작업 전반에 걸쳐 학습하는 LLM 에이전트를 위한 적응형 안전 가드레일
AGrail의 두 LLM 가드레일은 Safe-OS에서 프롬프트 주입 공격 성공률을 0%로 낮추면서 정상 에이전트 행동의 95.6%를 보존한다.
ShieldAgent: LLM 에이전트를 위한 검증 가능한 안전 정책 추론
ShieldAgent는 LLM 가드레일 대신 확률적 규칙 회로를 사용해 API 호출을 64.7% 줄이면서 에이전트 공격에서 90.4% 정확도를 기록한다.
AuditCopilot: 복식 부기 부정 탐지를 위한 LLM 활용
AuditCopilot은 분개장 사기 오탐을 942건에서 12건으로 줄이지만, 제거 실험은 LLM이 주로 Isolation Forest 점수를 종합함을 보여준다.
회계 에이전트를 위한 헌법적 AI: RLAIF, 정책 규칙 및 굿하트의 법칙 리스크
헌법적 AI는 수작업으로 레이블링한 유해 데이터를 AI 피드백으로 대체하여, 회계 에이전트가 거래마다 검토자 없이도 원장 규칙을 시행할 수 있게 한다.