JSONSchemaBench: 現実世界のスキーマの複雑さがLLMの構造化出力の保証を破壊する
JSONSchemaBenchは、9,558個の現実世界のJSONスキーマを6つの制約付きデコードフレームワークに対してテストし、スキーマの複雑さによってカバレッジが単純なスキーマでの86%から複雑なものでは3%にまで崩壊することを発見しました。XGrammarは38個の非準拠出力をサイレントに生成し、すべての45のJSONスキーマ機能カテゴリをカバーするフレームワークは存在しませんでした。
#performance
