# 機械学習

財務データ分析と自動化のための機械学習技術

85件 [全てのタグを見る](https://beancount.io/ja/bean-labs/research-logs/tags) [すべての投稿に戻る](https://beancount.io/ja/bean-labs/research-logs)

2026年7月12日 約1分

## [FinRAGBench-V：金融領域における視覚的引用を伴うマルチモーダルRAG](https://beancount.io/ja/bean-labs/research-logs/2026/07/12/finragbench-v-multimodal-rag-visual-citation-financial-domain)

FinRAGBench-Vは、最高モデルでも財務ページのブロック単位引用再現率が20〜61%にとどまると判明。マルチモーダル検索はテキストのみを50ポイント近く上回る。

Mike Thrift

ai llm machine-learning

2026年7月10日 約1分

## [WildToolBench: なぜ現実世界のツール利用においてLLMのセッション精度は15%を超えないのか](https://beancount.io/ja/bean-labs/research-logs/2026/07/10/wildtoolbench-benchmarking-llm-tool-use-in-the-wild)

WildToolBenchは、1,024件の実ユーザータスクでセッション精度15%を超えるLLMはなく、隠れた意図と指示の遷移が最も鋭い失敗モードと判明。

Mike Thrift

ai llm automation

2026年7月9日 約1分

## [LLMの信頼度とキャリブレーション：研究が実際に示していることの調査](https://beancount.io/ja/bean-labs/research-logs/2026/07/09/confidence-estimation-calibration-llms-survey)

言語化されたGPT-4の確信度はAUROC約62.7%にとどまり、偶然をわずかに上回る程度。不確実性を意識する財務エージェントにはより良い較正が必要だ。

Mike Thrift

llm ai machine-learning

2026年7月8日 約1分

## [JSONSchemaBench: 現実世界のスキーマの複雑さがLLMの構造化出力の保証を破壊する](https://beancount.io/ja/bean-labs/research-logs/2026/07/08/jsonschemabench-structured-outputs-language-models)

JSONSchemaBenchは、カバレッジが単純スキーマの86%から複雑なものでは3%へ崩壊し、LLMの構造化出力が非準拠JSONを静かに出力しうると判明。

Mike Thrift

llm ai machine-learning

2026年7月7日 約1分

## [FinMCP-Bench: MCP下での実世界の金融ツール利用に向けたLLMエージェントのベンチマーク](https://beancount.io/ja/bean-labs/research-logs/2026/07/07/finmcp-bench-llm-agents-financial-tool-use-model-context-protocol)

FinMCP-Benchは6つのLLMの最高が613件の実MCP財務タスクで完全一致わずか3.08%と評価。単一ツールからマルチターンで20倍の崩壊だ。

Mike Thrift

ai llm automation

2026年7月6日 約1分

## [FinTrace：金融タスクにおけるLLMツール呼び出しのトラジェクトリレベル評価](https://beancount.io/ja/bean-labs/research-logs/2026/07/06/fintrace-trajectory-level-evaluation-llm-tool-calling-financial-tasks)

FinTraceは、最先端LLMが正しい財務ツールを選ぶ（F1約0.9）一方、結果の利用は3.23/5にとどまり、書き戻しエージェントを破綻させる工程だと示す。

Mike Thrift

llm ai finance

2026年7月5日 約1分

## [FinToolBench：実世界の金融ツール使用におけるLLMエージェントの評価](https://beancount.io/ja/bean-labs/research-logs/2026/07/05/fintoolbench-evaluating-llm-agents-real-world-financial-tool-use)

FinToolBenchは、テストされた全LLMで意図の不一致が50%超と判明。積極的なツール呼び出しは財務タスクでの良い回答を意味しない。

Mike Thrift

ai llm automation

2026年7月4日 約1分

## [OmniEval: 金融分野向け全方位型RAG評価ベンチマーク](https://beancount.io/ja/bean-labs/research-logs/2026/07/04/omnieval-omnidirectional-automatic-rag-evaluation-financial-domain)

OmniEvalは5種類の財務タスクで最高のRAGシステムを数値精度36%と評価。台帳エージェントは記帳前に検証が必要だ。

Mike Thrift

ai machine-learning llm

2026年7月3日 約1分

## [LLM異常検知サーベイ (NAACL 2025)：強力な分類体系、欠如した表形式データへの対応](https://beancount.io/ja/bean-labs/research-logs/2026/07/03/llm-anomaly-ood-detection-survey)

NAACL 2025の分類法は有効だが、表形式データの対象が欠けている。財務AIチームは視覚モデル手法を自ら適応させる必要がある。

Mike Thrift

ai llm machine-learning

2026年7月2日 約1分

## [Found in the Middle: 位置的アテンションバイアスの校正によるロングコンテキストRAGの改善](https://beancount.io/ja/bean-labs/research-logs/2026/07/02/found-in-the-middle-calibrating-positional-attention-bias)

LLMの注意重みから位置バイアスを差し引くと、根拠が文脈中間にある場合にRAG精度が最大15ポイント回復し、財務エージェントのパイプラインを支援する。

Mike Thrift

ai llm machine-learning

2026年7月1日 約1分

## [LLMエージェントにおける不確実性を考慮したディフェラル：小規模モデルから大規模モデルへいつエスカレーションすべきか](https://beancount.io/ja/bean-labs/research-logs/2026/07/01/redact-uncertainty-aware-deferral-llm-agents)

ReDActはパープレキシティが不確実性を示す場合のみ小モデルから大モデルへ延期し、エージェントワークフローで同等精度を保ちコストを64%削減する。

Mike Thrift

ai llm automation

2026年6月30日 約1分

## [OpenHands：AIソフトウェアエージェントのためのオープンプラットフォームと、それが財務自動化に意味すること](https://beancount.io/ja/bean-labs/research-logs/2026/06/30/openhands-open-platform-ai-software-developers-generalist-agents)

OpenHandsのCodeActエージェントはSWE-Bench Liteで26%を記録し、AIエージェントが今日確実にできることを示す。財務自動化は自律型ではなく、狭い範囲から始めるべきだ。

Mike Thrift

ai open-source automation

[無料で始める→](https://beancount.io/sign-up/?next=%2Fledger%2F) [ドキュメント](https://beancount.io/ja/docs)

## Where to look next

- [Sitemap](https://beancount.io/sitemap.xml) - all pages with hreflang alternates
- [LLMs index](https://beancount.io/llms.txt) - curated links for AI agents (also /llms-full.txt for full docs)
- [Documentation](https://beancount.io/docs) - every doc is also available as text/markdown via .md suffix or Accept negotiation
- [REST API reference](https://beancount.io/docs/api-reference) - interactive endpoints, schemas, authentication, and code samples
- [OpenAPI spec](https://beancount.io/openapi.json) - OpenAPI 3.1 spec for this website's public content endpoints; the product contract for ledger operations is at https://beancount.io/api-gateway/v1/openapi.json
- [GraphQL](https://beancount.io/graphql) - public, read-only content API over the blog and research logs (no credentials, no ledger data): 12 query fields over 23 types
- [MCP server](https://beancount.io/mcp) - Model Context Protocol at https://beancount.io/api-gateway/mcp
