
JSONSchemaBench: پیچیدگی شمای دنیای واقعی، تضمینهای خروجی ساختاریافته LLM را میشکند
JSONSchemaBench مییابد پوشش از ۸۶٪ در طرحوارههای ساده به ۳٪ در پیچیده سقوط میکند؛ پس خروجی ساختیافته LLM میتواند بیصدا JSON ناسازگار بدهد.
#performance
معیارهای کارایی، سرعت و مصرف منابع برای سیستمهای هوش مصنوعی مالی

JSONSchemaBench مییابد پوشش از ۸۶٪ در طرحوارههای ساده به ۳٪ در پیچیده سقوط میکند؛ پس خروجی ساختیافته LLM میتواند بیصدا JSON ناسازگار بدهد.

در بودجههای برابر توکن تفکر، مدلهای زبانی تکعاملی در استدلال چندمرحلهای با سیستمهای چندعاملی برابری یا برتری دارند—طراحیهای سادهتر عامل مالی را ترجیح دهید.