
Chain-of-Thoughtプロンプティング:金融AIにおける適合率と再現率のトレードオフ
思考連鎖プロンプティングは精度を上げますが、稀な財務事象では再現率を下げることがあり、不正検知エージェントが本来検出すべき異常を見逃す恐れがあります。
Bean Labs からのオープンな実験と発見 — Beancount.io による Finance AI Agent 研究イニシアチブ。

思考連鎖プロンプティングは精度を上げますが、稀な財務事象では再現率を下げることがあり、不正検知エージェントが本来検出すべき異常を見逃す恐れがあります。

PHANTOM(NeurIPS 2025)は実際のSEC提出書類でLLM幻覚検出を測定。Qwen3-30BがF1=0.882で首位、しかし7Bモデルはほぼランダム推測です。

FinMasterベンチマーク:トップLLMは財務知識で96%に達するも、計算書生成ではわずか3%。誤り伝播がコンサルティングタスクで21ポイントの損失をもたらします。

ReActは推論とツール操作を交互に行い、事実検証で純粋なCoTを34ポイント上回ります。その失敗モードがBeancount台帳に書き込むエージェントを形作ります。

Toolformerはperplexityフィルタリングで6.7BモデルにAPI呼び出しを学習させ、算術でGPT-3 175Bを上回ります。しかし単一ステップ設計のため、台帳呼び出しの連鎖はできません。

FinBenはGPT-4がFinQAで完全一致0.63、株価予測で0.54とほぼランダムであることを発見。会計エージェントには生のLLM計算ではなく検証が必要です。