MemGPT: 92.5% マルチセッション想起率 vs 32.1% ベースライン
MemGPTのOS型メモリ階層がGPT-4のマルチセッションチャット精度を32.1%の固定コンテキストから92.5%に向上—複数年台帳エージェントに必須。
Mike Thrift
マーケティングマネージャー
SWE-agent: インターフェース設計がいかに自動化ソフトウェアエンジニアリングを解禁するか
SWE-agentのAgent-Computer InterfacesはGPT-4 Turboを生のシェルからSWE-benchで12.47%に引き上げ、インターフェース設計だけで10.7ポイントの向上をもたらしました。
SWE-bench: 言語モデルは現実世界のGitHubの問題を解決できるか？
SWE-benchは2,294件の実GitHubイシューで言語モデルをテスト。公開時、Claude 2はわずか1.96%しか解決できませんでした。検索とパッチ長の限界がコーディングエージェントを形作ります。
CodeAct: 実行可能なPythonコードがLLMエージェントの精度を20%向上させる理由
CodeActはJSONツール呼び出しを実行可能なPythonに置き換え、GPT-4エージェントの成功率を約20ポイント上げ、ターン数を30%削減します。
自己修正：GPT-4がGSM8Kで95.5%→91.5%に低下
Huang et al.（ICLR 2024）：内在的自己修正により、GPT-4のGSM8Kスコアが95.5%から91.5%に低下—台帳エージェントには自己レビューではなく外部バリデータが必要。
Tree of Thoughts: LLMの探索による意図的な問題解決
Tree of ThoughtsはGPT-4の思考連鎖が4%のGame of 24で74%を達成。ステップを探索・後戻りするこのパターンは財務エージェントにも応用できます。
CRITIC：なぜLLMの自己修正には外部ツールのフィードバックが必要なのか
CRITICはLLMの修正を自身ではなく外部ツールで検証し、オープンドメインQAを7.7 F1向上、有害性を79.2%削減します。
Reflexion: 再学習なしにミスから学習する言語エージェント
Reflexionは重み更新なしでGPT-4のHumanEvalで91%を達成しますが、WebShopでは失敗します。言語的強化学習には明確な評価シグナルが必要です。
自己整合性：多数決サンプリングによる思考連鎖の精度向上
自己一貫性は1回の貪欲デコードではなく多数のサンプリング推論経路を多数決し、追加訓練なしでGSM8Kで17.9ポイント向上させます。
PAL: 算術をPythonに任せることで、難しい数学で+38pp向上
PALは、GSM-hardで思考連鎖より+38.1pp向上し、算術をPythonに実行させることで、信頼性の高いBeancount台帳計算に適した分割を実現します。
LLMはテーブルデータの推論ができるのか？4つのベンチマークが示す金融AIの現状
4つのベンチマークでGPT-4は実世界の表QAで42%、人間は86%、複雑な集計では19.6%となり、財務エージェントにはクリーンな表入力が必要です。
会計エージェントのための憲法AI：RLAIF、ポリシー規則、およびグッドハートの法則のリスク
憲法AIは手作業の有害データラベルをAIフィードバックで置き換え、会計エージェントが取引ごとのレビュアーなしに台帳ルールを適用できるようにします。