JSONSchemaBench: La complessità degli schemi reali mette in crisi le garanzie di output strutturato degli LLM
JSONSchemaBench testa 9.558 schemi JSON reali su sei framework di decodifica vincolata e scopre che la complessità degli schemi fa crollare la copertura dall'86% su schemi semplici al 3% su quelli complessi, con XGrammar che emette silenziosamente 38 output non conformi e nessun framework che copre tutte le 45 categorie di funzionalità JSON Schema.