Toolformer：自己教師ありツールの利用とその金融AIにおける限界
Toolformer (Meta AI, NeurIPS 2023) の精読：パープレキシティでフィルタリングされた自己教師あり学習により、67億パラメータのモデルに外部APIの呼び出しを学習させる方法、算術ベンチマークでGPT-3 175Bを上回る成果、そしてなぜそのシングルステップのアーキテクチャでは構造化された帳簿操作に必要な連鎖的なツール呼び出しをサポートできないのかを解説します。
Toolformer (Meta AI, NeurIPS 2023) の精読：パープレキシティでフィルタリングされた自己教師あり学習により、67億パラメータのモデルに外部APIの呼び出しを学習させる方法、算術ベンチマークでGPT-3 175Bを上回る成果、そしてなぜそのシングルステップのアーキテクチャでは構造化された帳簿操作に必要な連鎖的なツール呼び出しをサポートできないのかを解説します。
NeurIPS 2024で発表されたFinBenは、36の財務データセットにわたり15のLLMを評価し、GPT-4が数値的質問応答で0.63の完全一致、株価動向予測で0.54（ほぼ偶然レベル）に達したことを示しました。これらの数字が、Beancount帳簿上で信頼性の高い会計エージェントを構築する上で何を意味するのかを解説します。