FinMCP-Bench: MCP 기반 실제 금융 도구 사용을 위한 LLM 에이전트 벤치마킹

MCP는 LLM 도구 사용을 위한 사실상의 연결 표준이 되었습니다. Anthropic이 2024년 말에 이를 도입했으며, 2026년 초까지 모든 주요 모델 제공업체가 이를 채택했습니다. FinMCP-Bench(arXiv:2603.24943, ICASSP 2026)는 금융 에이전트를 위해 특별히 구축된 실제 MCP 도구 서버 기반의 첫 번째 벤치마크이며, 표준화된 배관(plumbing)이 에이전트가 유용한 금융 작업을 수행하는 데 실제로 도움이 되는지 확인할 수 있는 적절한 시점에 등장했습니다.

논문 소개

Alibaba Cloud Qwen DianJin 팀, YINGMI Wealth Management, 소주 대학교(Soochow University)의 Jie Zhu, Yimin Tian 및 동료들은 10개의 금융 시나리오 카테고리와 33개의 하위 시나리오를 아우르는 613개의 샘플 평가 모음인 FinMCP-Bench를 발표했습니다. 도구들은 가짜(mocked)가 아닙니다. Qieman 앱 금융 비서의 실제 프로덕션 로그에서 추출한 65개의 실제 MCP 준수 금융 도구 서버가 이 벤치마크를 뒷받침합니다. 저자들은 샘플을 세 가지 유형으로 분류했습니다: 145개의 단일 도구, 249개의 다중 도구, 219개의 멀티턴 샘플입니다. 이들은 Qwen3 제품군(4B, 30B, 235B 파라미터, 모두 확장 추론 기능 포함), DeepSeek-R1, GPT-OSS-20B, Seed-OSS-36B 등 6개 모델을 테스트했습니다. 핵심 평가 지표는 도구 정밀도(Tool Precision), 도구 재현율(Tool Recall), 도구 F1 점수, 그리고 시퀀스의 모든 도구 호출이 정확해야 하는 완전 일치율(Exact Match Rate, EMR)입니다.

핵심 아이디어

• 평가 기반으로서의 MCP: 합성 API 스키마 대신 실제 MCP 서버 정의를 사용함으로써, 벤치마크 평가와 실제 배포된 금융 시스템에서 에이전트가 직면하는 상황 사이의 큰 격차를 해소합니다.
• 세 가지 난이도 분할: 단일 도구, 다중 도구, 멀티턴 샘플은 단순한 수량 차이가 아니라 질적으로 다른 실패 모드를 드러냅니다.
• 멀티턴 성능 붕괴: 가장 우수한 모델(Qwen3-235B)은 단일 도구에서 60% EMR, 다중 도구에서 10.62% EMR, 멀티턴에서 3.08% EMR을 기록했습니다. 단일 도구에서 멀티턴으로 갈 때 성능이 20배 하락합니다.
• 도구 F1은 더 관대함: 동일한 모델이 세 가지 설정에서 각각 66.85%, 69.42%, 41.56%의 TF1(Tool F1)을 기록했습니다. 이는 모델이 종종 올바른 도구를 선택하지만 순서, 파라미터화 또는 대화 추적에서 실수를 한다는 것을 보여줍니다.
• 단일 도구에서 재현율이 정밀도를 압도함: 모델은 불확실할 때 도구를 덜 호출하기보다는 더 많이 호출하는 경향이 있습니다. 이는 금융 작업에서 더 안전한 실패 모드이긴 하지만, 여전히 불필요한 API 호출과 추론 추적의 노이즈를 의미합니다.
• 비단조적 크기 확장성: Qwen3-30B가 모든 하위 시나리오에서 Qwen3-4B를 일관되게 능가하지는 않았으며, 이는 다단계 도구 사용에서 항상 더 큰 모델이 유리하다는 가정을 깨뜨립니다.

유효한 점과 한계점

단일 도구 예시의 소스로 실제 프로덕션 로그를 사용한 것은 이 연구에서 가장 강력한 방법론적 선택입니다. 이는 연구자가 만든 시나리오가 아니라 실제 사용자 행동에 벤치마크의 근거를 두는 것으로, 금융 AI 문헌에서는 드문 일입니다. 다중 도구 및 멀티턴 샘플은 종속성 그래프와 역할극 프롬프트를 사용하여 인위적으로 확장되었습니다. 이는 라벨링 비용을 고려할 때 합리적이지만, 합성 프로세스가 실제 사용자가 작성하는 것보다 더 명확하고 정제된 쿼리를 생성하는 경향이 있다는 위험이 있습니다. 멀티턴에서의 3.08% EMR은 놀라운 수치이지만 신중하게 해석해야 합니다. EMR은 전체 시퀀스가 정확해야 하므로 중간에 도구 호출 하나만 틀려도 전체 작업이 실패로 처리됩니다. 이는 엄격하고 다소 비현실적인 프로덕션 기준일 수 있으며, TF1과 같은 부분 점수 지표가 더 미묘한 상황을 보여줍니다.

논문에서 다루지 않은 점: 성능 격차가 주로 입력 이해 문제(사용자가 원하는 것을 오해함), 출력 형식 문제(의도는 맞지만 도구 호출 형식이 잘못됨), 또는 추론 문제(중간 결론이 틀림) 중 무엇 때문인지에 대한 분석이 없습니다. 이러한 분해 없이는 엔지니어링 노력을 어디에 집중해야 할지 알기 어렵습니다. 또한 논문은 모델을 개별적으로 평가하며, 검증이나 성찰(reflection) 단계를 추가하는 것이 멀티턴 성능에 변화를 주는지 테스트하지 않았습니다.

또한 벤치마크가 Qieman의 특정 65개 도구와 깊게 연관되어 있어, 도구 목록이 다른 다른 금융 플랫폼으로 결과를 일반화하는 데 한계가 있습니다.

금융 AI에서 이것이 중요한 이유

FinMCP-Bench는 Beancount 쓰기(write-back) 에이전트가 실제로 수행하게 될 작업과 가장 유사한 평가입니다. 즉, 사용자 요청을 수신하고, 어떤 도구(또는 도구 체인)가 적용되는지 식별하고, 순서대로 호출하고, 후속 턴을 처리하는 과정입니다. 멀티턴 EMR 3.08%는 냉혹한 현실을 보여줍니다. 특정 날짜 범위의 계정 간 거래 세트를 재분류하고, 조정(reconciling)한 다음 보고서를 생성하는 것과 같은 다단계 장부 수정 작업을 수행하는 Beancount 에이전트는 현재 모델들이 완전 일치 기준으로 거의 예외 없이 실패하는 종류의 멀티턴, 다중 도구 작업입니다.

MCP 프레임워크는 직접적인 관련이 있습니다. Beancount의 Python API, beanquery 인터페이스, fava의 REST 레이어는 모두 MCP 서버로 래핑될 수 있습니다. FinMCP-Bench는 병목 현상이 프로토콜 자체가 아니라 도구 호출 시퀀스에 대한 추론에 있음을 시사합니다.

도구 재현율이 정밀도보다 높다(모델이 과도하게 호출함)는 발견은 쓰기 안전성에도 중요합니다. 읽기만 필요한 상황에서 장부 수정 도구를 호출하는 에이전트는 장부를 소리 없이 오염시킬 수 있습니다. 따라서 쓰기 에이전트의 주요 안전 신호로는 재현율 위주가 아닌 정밀도 위주의 평가 지표를 사용해야 합니다.

더 읽어볼 거리

• JSONSchemaBench (arXiv:2501.10868) — 1만 개의 JSON 스키마에서 구조화된 출력의 신뢰성을 평가하며, FinMCP-Bench의 도구 호출 형식 오류가 제약된 디코딩(constrained decoding) 문제인지 직접적으로 다룹니다.
• ToolLLM (arXiv:2307.16789, ICLR 2024) — FinMCP-Bench가 대조군으로 삼는 기초적인 도구 사용 학습 프레임워크입니다. 이 모델의 깊이 우선 탐색 트리 탐색 방식을 이해하면 FinMCP-Bench의 프로덕션 로그 방법론이 시사하는 바가 무엇인지 명확해집니다.
• WildToolBench (arXiv:2604.06185) — 실제 야생(wild)의 사용자 쿼리에 대한 도구 사용을 평가합니다. 야생의 사용자 행동에 대해 어떤 모델도 15% 정확도를 넘지 못한다는 발견은 FinMCP-Bench의 프로덕션 로그 접근 방식을 보완합니다.