LLM набирают 2,3% при генерации Beancount DSL: бенчмарк LLMFinLiteracy
LLMFinLiteracy выясняет, что пять моделей ~7B корректно пишут транзакции Beancount лишь в 2,3% случаев, ошибаясь в бухгалтерских рассуждениях, а не в синтаксисе.
#transaction-validation
Проверка транзакций
Валидация и верификация финансовых транзакций с помощью агентов на языковых моделях
GuardAgent: детерминированное обеспечение безопасности LLM-агентов через выполнение кода
GuardAgent обеспечивает соблюдение политик LLM-агентов, исполняя код на Python, достигая 98.7% точности без сбоев задач, против 81% и до 71% сбоев у правил в промптах.
Дебаты мультиагентных LLM: реальный прирост точности, неконтролируемые вычисления и коллективное заблуждение
Мультиагентные дебаты дали +14,8 балла в арифметике, но одиночные агенты с равным бюджетом не хуже. Это ограничивает дебаты как проверку перед проводкой.
CRITIC: Почему самокоррекция LLM требует обратной связи от внешних инструментов
CRITIC повышает открытый QA на 7.7 F1 и снижает токсичность на 79.2%, проверяя правки LLM внешними инструментами, а не самой моделью.