#technology
Технологічні дослідження та інженерія програмного забезпечення для фінансових ШІ-систем
WildToolBench: жодна LLM не перевищує 15% сесійної точності на 1 024 завданнях реальних користувачів, а найгостріші збої — прихований намір і переходи інструкцій.
LLM набирають до 20 балів менше, коли відповідь міститься в середині контексту, тож фінансові RAG-конвеєри мають розміщувати найкращі уривки першими або останніми.
OSWorld виявляє, що агенти робочого столу успішні в 12,24% реальних завдань проти 72,36% у людей, причому 75% збоїв спричинено зорово-моторним заземленням, а не міркуванням.
StructRAG спрямовує кожен запит до структури таблиці, графа, каталогу, алгоритму чи фрагмента, перемагаючи GraphRAG на 28 пунктів і працюючи у 22× швидше.
За однакового бюджету токенів мислення один агент LLM дорівнює або перевершує мультиагентні системи у багатокрокових міркуваннях — обирайте простіші дизайни фінансових агентів.
Self-RAG навчає LLM вирішувати, коли шукати, і самооцінювати результати, досягаючи 55.8% на PopQA та 80.2 FactScore — перевершуючи ChatGPT на п'яти бенчмарках.
AgentBench оцінив GPT-4 у 4.01 проти 0.96 у найкращої відкритої LLM. Саме такі збої ламають агента зворотного запису Beancount на робочому реєстрі.
ОС-подібні рівні пам'яті MemGPT підвищують точність багатосесійного чату GPT-4 до 92.5% проти 32.1% фіксованого контексту — необхідно для багаторічних ledger-агентів.
