M3MAD-Bench: Наистина ли са ефективни дебатите между множество агенти в различни области и модалности?

Чета M3MAD-Bench (arXiv:2601.02854) от Ao Li и др., най-изчерпателния стрес-тест на дебатите между множество агенти (Multi-Agent Debate) до момента, обхващащ девет модела, пет области и както само текстови, така и визуално-езикови среди. Попаднах на него веднага след като отразих документа за дебатите на Du et al., тъй като отвореният въпрос там беше дали ползите от дебата са универсални — и този бенчмарк отговаря на този въпрос по начин, който би накарал всеки, проектиращ пайплайн за верификация с множество агенти, да се замисли.

Документът

Дебатът между множество агенти (Multi-Agent Debate - MAD) е идеята, че множество инстанции на големи езикови модели (LLM) подобряват своите колективни отговори чрез предлагане, критикуване и коригиране на отговорите в рамките на няколко рунда. Du et al. (ICML 2024) демонстрираха 5–10% абсолютни подобрения в GSM8K и MMLU, използвайки три дебатиращи агента, и идеята стана популярна. M3MAD-Bench, разработен от Ao Li и тринадесет съавтори, поставя въпроса дали тези ползи се запазват при едновременна оценка в различни области, модалности и реалистични ограничения за ефективност.

Бенчмаркът обхваща пет области от задачи — Знание, Математика, Медицина, Природни науки и Комплексно разсъждение — върху набори от данни с чист текст и визуално-езикови данни, и оценява както колаборативни архитектури за дебат (LLM Debate, DMAD), така и състезателни такива (Div-MAD). Освен точността, авторите измерват консумацията на токени и времето за извеждане (inference), за да получат представа за производителността спрямо разходите, която предишните работи пренебрегваха.

Ключови идеи

• Колаборативният MAD може да превъзхожда базовия модел с един агент при задачи, изискващи сложни разсъждения: Qwen2.5-14B скача от 79,8% (стандартно извеждане) до 84,2% (LLM Debate) в MATH. Това +4,4% е реално, но е и най-високата точка — ползите на други места са по-скромни.
• При бенчмарковете, фокусирани върху знания, ползите са незначителни: Qwen2.5-14B в MMLU се променя от 64,0% на 65,0%, разлика, която лесно изчезва при различен модел или начална стойност (seed) на оценката.
• Състезателният дебат активно влошава представянето: Div-MAD понижава LLaMA3.1-8B от 51,0% базова линия до 38,2% средно — това е регресия от -12,8%, а не подобрение.
• Мащабирането на агентите от 2 до 6 показва умерен положителен тренд в MATH (53,4% → 56,6%), който авторите приписват на ефекта на ансамбъла, а не на реално усъвършенстване на разсъжденията.
• Добавянето на повече рундове дебати не помага и често вреди; представянето достига плато или регресира след първия рунд.
• Доминиращият режим на отказ е Колективната заблуда (65% от грешките): агентите взаимно подсилват грешни предположения и образуват цикъл на халюцинации. Неуспехът при избор — когато правилните отговори се появят, но агрегаторът ги пропусне — представлява други 17%.
• Консумацията на токени и времето за извеждане се увеличават значително при MAD, докато ползите в точността са скромни. Независим анализ на ICLR 2025, използващ подобна методология, установи, че Самосъгласуваността (Self-Consistency) постига 82,13% в MMLU срещу варианти на MAD, вариращи от 67,87% до 80,40%, и 95,67% в GSM8K срещу MAD методи при 90,87–94,93%.

Какво се потвърждава и какво не

Бенчмаркът е методологически издържан: девет модела, множество области, двете модалности и метриките за ефективност заедно са по-контролирани от всичко, предлагано в предишни работи. Таксономията на отказите е най-полезният принос — прецизното именуване на „Колективната заблуда“ е по-приложимо от неясните твърдения, че „дебатът понякога се проваля“.

Това, към което съм скептичен, е обхватът на покритите MAD методи. Документът сравнява LLM Debate, DMAD и Div-MAD, но не включва варианти на дебат с изрични стъпки за верификация (като CRITIC или външни валидатори в стил GuardAgent), които са архитектурите, най-подходящи за агенти с обратен запис (write-back). Констатацията, че „колаборативният дебат побеждава състезателния“, може да се отнася за тези конкретни имплементации, а не за състезателния дебат по принцип. Резултатите също така не разделят приноса на агрегацията на консенсуса от приноса на итеративното усъвършенстване, така че е трудно да се разбере коя част от LLM Debate върши работата.

Констатациите за ефективността са по-трудни за отхвърляне: ако Самосъгласуваността постига сравнима или по-добра точност при по-ниска цена на токените, стандартният избор за производствен финансов ИИ вероятно трябва да бъде SC, а не MAD. Въпреки това, документът не сравнява с „верига от мисли“ (chain-of-thought) с верификатор, което е архитектурата, към която бих се насочил преди добавянето на пълен дебат.

Защо това е важно за финансовия ИИ

Програмата на Bean Labs предполага, че дебатът между агент-пишещ и агент-проверяващ преди записване на запис в главната книга е по-безопасен от еднократна система. M3MAD-Bench подлага това предположение на конкретен стрес-тест. Констатацията за Колективната заблуда (65% от неуспехите идват от агенти, подсилващи взаимно грешките си) е пряко предупреждение: ако и пишещият, и проверяващият споделят данни за обучение, те ще са склонни да халюцинират една и съща грешна категория трансакция и да се потвърждават взаимно. Грешката не се улавя — тя се усилва.

Специфично за Beancount записа (write-back), това насочва към архитектура на проверяващия, която използва външно състояние (текущия баланс на главната книга, ограниченията на сметката, независима SQL заявка), а не чисто обсъждане между LLM модели. Верификацията, базирана на инструменти (подходът CRITIC), не страда от Колективна заблуда по същия начин, тъй като външният инструмент не е подвластен на същите пристрастия в разпределението на обучението. Резултатите в медицинската област в M3MAD-Bench също подсказват, че високоспециализираните задачи със знания се възползват по-малко от дебат, което се проектира върху двустранното счетоводство: правилата са детерминистични и агент, който вече знае правилата, не печели много от спор с друг агент, който знае същите правила.

Констатацията за ефективността е важна за внедряването: ако MAD последователно изисква повече токени с незначителни ползи в точността, икономиката на разходите за трансакция за Beancount агент фаворизира SC или „инструмент в цикъла“ пред дебата между множество агенти.

Какво да прочетете след това

• Du et al., "Improving Factuality and Reasoning in Language Models through Multiagent Debate," ICML 2024 (arXiv:2305.14325) — основополагащият документ, който този бенчмарк изследва подробно; четенето на двата заедно е честният начин да се прецени доколко дебатът действително помага.
• "Single-Agent LLMs Outperform Multi-Agent Systems on Multi-Hop Reasoning Under Equal Thinking Token Budgets" (arXiv:2604.02460) — следващата позиция в списъка със задачи, която излага формален информационно-теоретичен аргумент срещу MAD при условия на изравнен изчислителен бюджет.
• "Talk Isn't Always Cheap: Understanding Failure Modes in Multi-Agent Debate" (arXiv:2509.05396) — допълваща таксономия на режимите на отказ от септември 2025 г., която добавя към анализа на Колективната заблуда доказателства за това как реториката и социалната динамика изкривяват груповите резултати.