「Machine Learning」タグの記事が85件件あります

AILLMMachine LearningFinanceFinancial ReportingData ScienceReconciliationBeancount

FinRAGBench-V：金融領域における視覚的引用を伴うマルチモーダルRAG

FinRAGBench-V (EMNLP 2025) は、金融分野における視覚的引用を伴うマルチモーダルRAGのための初の大規模ベンチマークであり、11万2千ページ以上の文書と、人間がアノテーションした1,394組のQAペアを網羅しています。トップモデルでもブロックレベルの引用再現率はわずか20〜61%にとどまり、マルチモーダル検索はテキストのみの検索を約50パーセントポイント上回る結果となりました。

AILLMAutomationMachine LearningBeancountData ScienceTechnology

WildToolBench: なぜ現実世界のツール利用においてLLMのセッション精度は15%を超えないのか

WildToolBench (ICLR 2026) は、実際のユーザー行動から抽出された1,024のタスクで57のLLMを評価しました。15%のセッション精度を超えるモデルは存在せず、構成的オーケストレーション、隠れた意図、および指示の遷移が3つの顕著な失敗モードとして特定されました。

LLMAIMachine LearningTrustFinanceData ScienceHallucination Detection

LLMの信頼度とキャリブレーション：研究が実際に示していることの調査

LLMの信頼度推定とキャリブレーション手法（ホワイトボックスのロジットアプローチ、一貫性ベースのSelfCheckGPT、意味論的エントロピー）に関する体系的な調査により、GPT-4による言語化された信頼度スコアはAUROC約62.7%にとどまり、偶然をわずかに上回る程度であることが明らかになりました。これは、金融や会計において不確実性を認識するエージェントを導入する上で直接的な影響を及ぼします。

LLMAIMachine LearningAutomationBeancountPerformance

JSONSchemaBench: 現実世界のスキーマの複雑さがLLMの構造化出力の保証を破壊する

JSONSchemaBenchは、9,558個の現実世界のJSONスキーマを6つの制約付きデコードフレームワークに対してテストし、スキーマの複雑さによってカバレッジが単純なスキーマでの86%から複雑なものでは3%にまで崩壊することを発見しました。XGrammarは38個の非準拠出力をサイレントに生成し、すべての45のJSONスキーマ機能カテゴリをカバーするフレームワークは存在しませんでした。

AILLMAutomationBeancountFintechMachine LearningReconciliation

FinMCP-Bench: MCP下での実世界の金融ツール利用に向けたLLMエージェントのベンチマーク

FinMCP-Benchは、65のMCPサーバーに裏打ちされた613の実世界金融ツール利用タスクにおいて、6つのLLMモデルを評価しました。最高モデルのマルチターンタスクにおける完全一致（exact match）スコアは3.08%であり、単一ツールからマルチターンシナリオへの移行に伴う20倍のパフォーマンス低下が明らかになりました。

LLMAIFinanceFintechAutomationBeancountMachine Learning

FinTrace：金融タスクにおけるLLMツール呼び出しのトラジェクトリレベル評価

FinTraceは、800件のエキスパートによるアノテーション済み金融タスクトラジェクトリを用いて13のLLMを9つの指標でベンチマーク評価しました。その結果、フロンティアモデルは強力なツール選択（F1 ~0.9）を実現しているものの、情報活用（エージェントがツールからの返却値を推論するステップ）においては5点満点中3.23点にとどまることが明らかになりました。

AILLMAutomationMachine LearningFintechBeancountComplianceData Science

FinToolBench：実世界の金融ツール活用におけるLLMエージェントの評価

FinToolBenchは、760のライブ金融APIツールと295の実行可能なクエリを組み合わせ、実世界の金融タスクにおけるLLMエージェントのベンチマークを行います。GPT-4oは保守的な呼び出し率（TIR 22.7%）ながら高い回答品質（CSS 0.670）を示す一方、Qwen3-8Bは積極的（TIR 87.1%）ですが、全モデルで意図の不一致（intent mismatch）が50%を超えることが判明しました。

AIMachine LearningLLMFinanceData ScienceBeancountAutomation

OmniEval: 金融分野向け全方位型RAG評価ベンチマーク

OmniEval (EMNLP 2025) は、11,400件の自動生成テストケースを用いて、5つのタスクタイプ × 16の金融トピックにわたるRAGシステムを評価します。最良のシステムでも数値の正確性は36%に留まっており、RAGパイプラインが構造化された金融帳簿に書き込む前に検証レイヤーを必要とすることを示す具体的な証拠となっています。