Hallucination Detection

LLMの信頼度とキャリブレーション：研究が実際に示していることの調査

LLMの信頼度推定とキャリブレーション手法（ホワイトボックスのロジットアプローチ、一貫性ベースのSelfCheckGPT、意味論的エントロピー）に関する体系的な調査により、GPT-4による言語化された信頼度スコアはAUROC約62.7%にとどまり、偶然をわずかに上回る程度であることが明らかになりました。これは、金融や会計において不確実性を認識するエージェントを導入する上で直接的な影響を及ぼします。