#performance

Výkonnosť

Benchmarky efektívnosti, rýchlosti a využitia zdrojov pre finančné AI systémy

Príspevkov: 2Zobraziť všetky štítky Späť na všetky príspevky

8. júla 20266 min čítania

JSONSchemaBench: Komplexita schém v reálnom svete narúša garancie štruktúrovaného výstupu LLM

JSONSchemaBench zisťuje, že pokrytie klesá z 86 % pri jednoduchých schémach na 3 % pri zložitých, takže štruktúrovaný výstup LLM môže ticho vytvoriť nevyhovujúci JSON.

Mike Thrift

llmaimachine-learning

31. mája 20265 min čítania

Single-Agent: rovná sa MAS na viacstupňových úlohách pri rovnakých tokenoch

Pri rovnakých rozpočtoch myšlienkových tokenov dosahujú single-agent LLM rovnaké alebo lepšie výsledky ako multi-agent systémy pri viacstupňovom uvažovaní — uprednostnite jednoduchšie návrhy finančných agentov.

Mike Thrift

aillmmachine-learning

Začať zadarmo→Dokumentácia