LOG-009ではPALを扱い、算術演算をPythonインタープリタにオフロードすることで、モデルが自ら計算する必要がないようにしました。自己整合性は直交する問題に取り組みます。モデルがほとんどの場合正しく推論するが、常にではない場合はどうなるのか？その答えは、アーキテクチャではなく統計的なものであり、驚くほど効果的であることが判明しました。
論文について
「Self-Consistency Improves Chain of Thought Reasoning in Language Models」（Xuezhi Wang、Jason Wei、Dale Schuurmans、Quoc Le、Ed Chi、Sharan Narang、Aakanksha Chowdhery、Denny Zhou著、ICLR 2023、arXiv:2203.11171）は、単一の貪欲な思考連鎖経路を、多数のサンプリングされた経路に対する多数決に置き換えるデコード戦略を導入しています。その直感は簡潔です。難しい推論問題には通常、正しい答えは1つですが、そこに至る有効な経路は多数存在します。間違った答えは、同じ誤りに収束しない特異なエラーから生じる可能性が高くなります。
この手法はプラグアンドプレイです。既存の思考連鎖（CoT）プロンプトを使用し、ゼロ以外の温度でN個の完了をサンプリングし、各完了から最終回答を抽出し、多数決で回答を返します。ファインチューニングも、追加モデルも、追加の人間によるラベル付けも不要です。
主要なアイデア
- サンプルサイズと温度：この論文では、問題ごとに温度0.7で40個の推論経路を使用しています。これはハイパーパラメータ探索による魔法の数値ではありません。アブレーションでは、ゲインが20〜30サンプル前後で頭打ちになることが示されており、40は保守的な選択です。
- 標準CoTに対する主なゲイン：GSM8K +17.9%、SVAMP +11.0%、AQuA +12.2%、StrategyQA +6.4%、ARC-challenge +3.9% — すべて同じモデルとプロンプトでの絶対精度の向上です。
- モデル別GSM8K結果：text-davinci-002（GPT-3）では、自己整合性により精度が78.7%から86.5%に向上します。Codexでは、74.5%から82.3%に向上します。ゲインはモデルファミリー全体で一貫しています。
- トレーニングコストなし：すべて推論時に発生します。このアプローチは、温度>0でサンプリングできる任意のブラックボックスAPIで機能します。
- 抽出可能な回答に対する多数決：回答が離散的（数値、選択肢など）な場合、集約は明確です。自由形式の生成については、論文は「最も一貫性のある」ものの定義について具体的ではなく、著者が認める限界です。
何が有効で、何が有効でないか
経験的なゲインは現実的で、広く再現されており、この手法は真に有用です。しかし、いくつかの構造的な弱点に注意が必要です。
第一に、コストはサンプル数に比例して線形に増加します。推論時に40個のパスをサンプリングすると、単一パスのトークン予算の40倍のコストがかかります。レイテンシとAPIコストが重要となるタスク（一晩で何百ものトランザクションを処理するエージェントなど）では、これは無料ではありません。後続研究（Early-Stopping Self-Consistency、ICLR 2024）がこの問題に対処しています。投票が信頼度しきい値に達した時点で停止することで、GSM8Kでサンプルを80%削減でき、精度の測定可能な損失はありません。元の論文はコストについてまったく議論しておらず、これは奇妙な省略です。
第二に、モデルが系統的に間違っている場合、多数決の仮定は崩壊します。モデルが通貨換算を一貫して誤読したり、税ルールを40すべてのパスで誤適用したりする場合、誤った答えが投票で勝ちます。自己整合性は最も一般的なエラーを増幅し、正しいものを増幅しません。これが中心的な認識論的ギャップです。この手法は、モデルの信念分布内の精度を高めますが、その分布が誤った回答を中心としている場合の較正には何もしません。
第三に、Wang & Wang（2025、arXiv:2503.16974）は、金融および会計タスクにおけるLLMの一貫性を50回の独立した実行にわたって直接研究しています。彼らは、二値分類と感情分析は単一のサンプルでほぼ完全に再現可能である一方、複雑なタスク（予測、生成）は実際のばらつきを示すことを発見しました。彼らの実用的な発見：複雑なタスクでは、わずか3〜5回の実行を集約することで一貫性が劇的に向上する—これは自己整合性のアイデアのはるかに安価なバージョンです。
金融AIにとってこれが重要な理由
多段階の算術演算を伴うBeancount台帳操作—税計算、為替調整後の原価基準、償却スケジュール、請求書照合など—は、まさに単一の貪欲デコードが信頼できず、正しい答えが一意で検証可能なタスクです。自己整合性は、出力をチェックできる（残高がまだゼロか？）任意の金融エージェントタスクで標準とすべき安価な介入です。
より興味深い含意はアーキテクチャに関するものです。自己整合性は推論を投票アンサンブルに変えます。書き戻しの安全性—台帳に仕訳を転記するエージェント—のために、私は多数決の信頼度でゲートをかけるでしょう。40パスのうち35パスが一致する場合のみ転記します。不一致は、エージェントが書き込む代わりに人間にエスカレーションすべきというシグナルです。これは、エンジニアリングの複雑さではなく推論予算を消費する、具体的で実装可能な安全フィルターです。
系統的バイアスの失敗モードは、モデルが法域固有の詳細を幻覚することが知られている税務および規制ルールに特に関連します。そのような場合、PAL（LOG-009）が正しい修正策です。計算を完全にオフロードします。自己整合性とPALは相互に補完します—PALは算術の正確性を処理し、自己整合性は曖昧さと推論の信頼性を処理します。
次に読むべきもの
- Tree of Thoughts: Deliberate Problem Solving with Large Language Models（Yao et al.、2023、arXiv:2305.10601）— 自己整合性をパス上の投票からパス上の探索へと拡張します。これは、推論空間が並列ではなく分岐する場合に重要です。
- Escape Sky-high Cost: Early-stopping Self-Consistency for Multi-step Reasoning（Lei et al.、ICLR 2024）— コスト問題の修正策。GSM8Kでのサンプリングを80%以上削減しつつ、精度を維持します。
- Universal Self-Consistency for Large Language Models（Chen et al.、arXiv:2311.17311）— 多数決をLLMジャッジによる自由形式生成に拡張し、元の論文が残した集約のギャップを埋めます。
