DIN-SQL: GPT-4がSpiderで67.4%→85.3% EXにジャンプ
DIN-SQLはスキーマリンクと自己補正ステージにより、Spiderの実行精度をGPT-4で67.4%から85.3%に引き上げます。同じ分解がBeancount BQLにも適用できます。
Mike Thrift
マーケティングマネージャー
BIRD: GPT-4は実データベースで54.89%のEXしか達成せず
BIRDにおいて、GPT-4はドメインヒントありで54.89%の実行精度、なしで34.88%—BeancountのNL→BQLインターフェースが埋めなければならない20ポイントの差。
LLMエージェントのための検証可能な安全なツール利用：STPAとMCPの融合
STPAと能力強化されたMCPはLLMツール利用の形式的な安全性仕様を生み出し、カレンダーのケーススタディでAlloyが安全でないフローがないことを証明する。
GraphRAG: 72〜83%の勝利はLLM判定バイアス修正後に消失
MicrosoftのGraphRAGはベクターRAGに対して72〜83%の理解向上をもたらすと発表されたが、2025年の監査で判定バイアスを修正するとその勝率は消滅——複数文書の台帳QAへの警鐘。
FinAuditing: LLMによる実在のSEC XBRL監査タスクのスコアは14%未満
FinAuditingは、実際のSEC XBRL提出書類の財務計算検証でトップLLMがわずか13.86%に達することを示し、AI会計ツールが単独で自動化できる範囲を制限する。
InvestorBench: Qwen2.5-72B が株式で最高の46.15% CRを達成
InvestorBench: Qwen2.5-72B が株式取引で46.15% CRをリード。金融特化の Palmyra-Fin は株式では逆効果——規模がドメイン特化に勝る。
StructRAG (ICLR 2025): 適切なドキュメント構造の選択により、GraphRAGを28ポイント上回る
StructRAGは各クエリをテーブル、グラフ、カタログ、アルゴリズム、またはチャンク構造にルーティングし、GraphRAGを28ポイント上回り、22倍高速に動作する。
シングルエージェント：同等トークンでマルチホップにおいてMASに匹敵
等しい思考トークン予算の下では、シングルエージェントLLMはマルチホップ推論においてマルチエージェントシステムに匹敵するかそれを上回り、よりシンプルな金融エージェント設計が有利です。
M3MAD-Bench：マルチエージェント討論はドメインやモダリティを越えて真に有効なのか？
M3MAD-Benchは、集合的妄想がマルチエージェント討論の失敗の65%を引き起こし、敵対的討論が精度を最大12.8%低下させることを明らかにする。
AGrail：タスクを越えて学習するLLMエージェントのための適応型セーフティ・ガードレール
AGrailの2-LLMガードレールはSafe-OS上でプロンプトインジェクション攻撃成功率を0%に削減しつつ、良性のエージェント行動を95.6%維持する。
ShieldAgent: LLMエージェントのための検証可能な安全ポリシー推論
ShieldAgentはLLMガードレールの代わりに確率的ルール回路を用いて、エージェント攻撃で90.4%の精度を達成し、API呼び出しを64.7%削減する。
Atlas: 検索機と読解機の共同事前学習により、11Bパラメータで540BパラメータのLLMを凌駕
Atlasは64例でNatural Questionsの精度42.4%を達成し、retriever-readerの共同事前学習により11BパラメータでPaLM 540Bを3ポイント上回る。