DIN-SQL: GPT-4, Spider에서 67.4%→85.3% EX로 점프
DIN-SQL이 스키마 링크 및 자체 수정 단계를 통해 GPT-4의 Spider 실행 정확도를 67.4%에서 85.3%로 끌어올립니다—동일한 분해 방식이 Beancount BQL에도 적용됩니다.
Mike Thrift
마케팅 매니저
BIRD: GPT-4는 실제 데이터베이스에서 단 54.89%의 EX 정확도 달성
BIRD에서 GPT-4는 도메인 힌트가 있으면 54.89%의 실행 정확도, 없으면 34.88%를 기록합니다—모든 Beancount NL→BQL 인터페이스가 극복해야 할 20포인트 격차입니다.
LLM 에이전트를 위한 검증 가능한 안전한 도구 사용: STPA와 MCP의 만남
STPA와 역량 강화 MCP는 LLM 도구 사용에 대한 형식적 안전 명세를 산출하며, Alloy는 캘린더 사례 연구에서 안전하지 않은 흐름이 없음을 증명한다.
GraphRAG: LLM 판사 편향 수정 후 72–83% 승리 사라짐
마이크로소프트의 GraphRAG가 벡터 RAG 대비 72–83%의 의미 파악 승리를 기록했으나, 2025년 감사에서 판사 편향을 수정한 후 그 수치가 사라졌습니다—다중 문서 원장 QA에 대한 경고.
FinAuditing: 실제 SEC XBRL 감사 작업에서 LLM의 점수가 14% 미만을 기록함
FinAuditing은 최상위 LLM이 실제 SEC XBRL 공시의 재무 산술 검증에서 겨우 13.86%를 기록해, AI 회계 도구가 단독으로 자동화할 수 있는 범위를 제한함을 보여준다.
InvestorBench: Qwen2.5-72B, 46.15%의 CR로 주식 1위
InvestorBench: Qwen2.5-72B가 46.15%의 CR로 주식 거래를 선도; 금융 특화 Palmyra-Fin은 주식에서 역효과—크기가 도메인 파인튜닝을 이긴다.
StructRAG (ICLR 2025): 적절한 문서 구조 선택으로 GraphRAG보다 28점 높은 성능 달성
StructRAG는 각 질의를 표, 그래프, 카탈로그, 알고리즘, 청크 구조로 라우팅해 GraphRAG를 28포인트 이기고 22배 더 빠르게 실행된다.
싱글 에이전트: 동일 토큰 예산에서 멀티 홉 추론 시 멀티 에이전트와 동등한 성능
동일한 추론 토큰 예산에서 싱글 에이전트 LLM은 멀티 홉 추론에서 멀티 에이전트 시스템과 동등하거나 더 나은 성능을 보입니다—더 간단한 금융 에이전트 설계를 선호합니다.
M3MAD-Bench: 멀티 에이전트 토론은 도메인과 모달리티 전반에서 정말로 효과적인가?
M3MAD-Bench는 집단 망상이 다중 에이전트 토론 실패의 65%를 유발하고, 적대적 토론이 정확도를 최대 12.8% 떨어뜨린다는 것을 밝혔다.
AGrail: 작업 전반에 걸쳐 학습하는 LLM 에이전트를 위한 적응형 안전 가드레일
AGrail의 두 LLM 가드레일은 Safe-OS에서 프롬프트 주입 공격 성공률을 0%로 낮추면서 정상 에이전트 행동의 95.6%를 보존한다.
ShieldAgent: LLM 에이전트를 위한 검증 가능한 안전 정책 추론
ShieldAgent는 LLM 가드레일 대신 확률적 규칙 회로를 사용해 API 호출을 64.7% 줄이면서 에이전트 공격에서 90.4% 정확도를 기록한다.
Atlas: Retriever-Reader 합동 사전 학습으로 110억 개의 파라미터만으로 5,400억 개의 파라미터 LLM을 능가하다
Atlas는 64개 예시로 Natural Questions에서 42.4% 정확도를 기록해, 공동 검색기-리더 사전 학습을 통해 11B 파라미터로 PaLM 540B를 3포인트 앞선다.