M3MAD-Bench: Чи справді багатоагентні дебати ефективні в різних доменах та модальностях?

Я читаю M3MAD-Bench (arXiv:2601.02854) авторів Ao Li та ін., найбільш комплексне стрес-тестування багатоагентних дебатів на сьогодні, що охоплює дев'ять моделей, п'ять доменів, а також суто текстові та візуально-мовні налаштування. Я взявся за цю статтю одразу після аналізу роботи Ду та ін. про дебати, оскільки відкритим питанням залишалося те, чи масштабуються переваги дебатів — і цей бенчмарк дає відповіді, які змусять замислитися будь-кого, хто проектує багатоагентні конвеєри верифікації.

Про статтю

Багатоагентні дебати (Multi-Agent Debate, MAD) базуються на ідеї, що кілька екземплярів LLM покращують свої колективні відповіді шляхом пропонування, критики та перегляду варіантів протягом кількох раундів. Ду та ін. (ICML 2024) продемонстрували абсолютне покращення на 5–10% на GSM8K та MMLU, використовуючи трьох агентів-дебатерів, і ця ідея стала популярною. M3MAD-Bench від Ao Li та тринадцяти співавторів досліджує, чи зберігаються ці переваги при оцінці в різних доменах, модальностях та в умовах реалістичних обмежень ефективності.

Бенчмарк охоплює п'ять прикладних сфер — знання, математика, медицина, природничі науки та комплексне логічне мислення — як на текстових, так і на візуально-мовних наборах даних. Він оцінює як колаборативні архітектури дебатів (LLM Debate, DMAD), так і змагальні (Div-MAD). Окрім точності, автори вимірюють споживання токенів та час інференсу, щоб отримати уявлення про співвідношення продуктивності до вартості, яке попередні роботи ігнорували.

Ключові ідеї

• Колаборативні MAD можуть перевершувати базовий одноагентний рівень у завданнях зі складними міркуваннями: Qwen2.5-14B демонструє стрибок з 79,8% (стандартний інференс) до 84,2% (LLM Debate) на MATH. Ці +4,4% є значущими, але це також піковий показник — в інших сферах приріст є меншим.
• У бенчмарках, орієнтованих на знання, приріст є маргінальним: показник Qwen2.5-14B на MMLU зростає з 64,0% до 65,0%, а ця різниця може легко зникнути при зміні моделі або випадкового значення (seed) оцінювання.
• Змагальні дебати активно погіршують результативність: Div-MAD знижує показники LLaMA3.1-8B з базових 51,0% до 38,2% в середньому — це регресія на -12,8%, а не покращення.
• Масштабування кількості агентів від 2 до 6 показує помірну позитивну тенденцію на MATH (53,4% → 56,6%), що автори приписують ефекту ансамблю, а не справжньому вдосконаленню логіки.
• Додавання більшої кількості раундів дебатів не допомагає, а часто шкодить; продуктивність виходить на плато або регресує після першого раунду.
• Домінуючим типом помилок є Колективна омана (Collective Delusion) (65% випадків): агенти взаємно підсилюють хибні припущення та формують цикл галюцинацій. Помилка вибору (Selection Failure) — коли правильні відповіді з'являються, але агрегатор їх пропускає — становить ще 17%.
• Споживання токенів та час інференсу суттєво зростають при використанні MAD, тоді як приріст точності залишається скромним. Незалежний аналіз ICLR 2025 з використанням подібної методології виявив, що метод Self-Consistency дає 82,13% на MMLU проти варіантів MAD (67,87%–80,40%), а на GSM8K — 95,67% проти MAD (90,87–94,93%).

Що підтверджується, а що — ні

Бенчмарк методологічно ґрунтовний: дев'ять моделей, кілька доменів, обидві модальності та метрики ефективності разом дають більш контрольований результат, ніж будь-які попередні роботи. Класифікація помилок є найкориснішим внеском — чітке визначення "Колективної омани" дає більше розуміння, ніж розпливчасті заяви про те, що "дебати іноді не працюють".

Скепсис у мене викликає спектр охоплених методів MAD. Стаття порівнює LLM Debate, DMAD та Div-MAD, але не включає варіанти дебатів із явними кроками верифікації (як-от зовнішні валідатори в стилі CRITIC або GuardAgent), які є найактуальнішими для агентів із можливістю зворотного запису (write-back). Висновок про те, що "колаборативні дебати кращі за змагальні", може стосуватися саме цих конкретних реалізацій, а не змагальних дебатів загалом. Результати також не відокремлюють внесок агрегації консенсусу від внеску ітеративного вдосконалення, тому важко зрозуміти, яка саме частина LLM Debate забезпечує результат.

Висновки щодо ефективності важко ігнорувати: якщо Self-Consistency забезпечує порівнянну або кращу точність за меншої вартості токенів, то вибором за замовчуванням для промислового фінансового ШІ має бути SC, а не MAD. З іншого боку, у статті немає порівняння з ланцюжком думок (chain-of-thought) із верифікатором — архітектурою, яку я б обрав перед впровадженням повноцінних дебатів.

Чому це важливо для фінансового ШІ

Стратегія Bean Labs передбачає, що дебати між агентом-автором та агентом-контролером перед внесенням запису в гросбух безпечніші за однопрохідну систему. M3MAD-Bench влаштовує цьому припущенню конкретний стрес-тест. Висновок про колективну оману (65% невдач виникають через те, що агенти підсилюють помилки один одного) є прямим попередженням: якщо автор і контролер мають спільні навчальні дані, вони будуть схильні галюцинувати одну й ту саму неправильну категорію транзакції та підтверджувати її один одному. Помилка не виправляється — вона ампліфікується.

Зокрема для зворотного запису в Beancount це вказує на архітектуру контролера, що використовує зовнішній стан (поточний баланс гросбуха, обмеження рахунків, незалежний SQL-запит), а не суто обговорення між LLM. Верифікація на основі інструментів (підхід CRITIC) не страждає від колективної омани так само, оскільки зовнішній інструмент не має тих самих упереджень навчальної вибірки. Результати в домені медицини в M3MAD-Bench також натякають, що вузькоспеціалізовані знання менше виграють від дебатів, що цілком відповідає бухгалтерському обліку за методом подвійного запису: правила детерміновані, і агент, який вже знає правила, не отримає багато від суперечки з іншим агентом, який знає ті самі правила.

Ефективність важлива для розгортання: якщо MAD стабільно потребує більше токенів при маргінальному прирості точності, економіка вартості транзакції для агента Beancount схиляється на користь SC або використання інструментів у циклі (tool-in-the-loop), а не багатоагентних дебатів.

Що читати далі

• Du et al., "Improving Factuality and Reasoning in Language Models through Multiagent Debate," ICML 2024 (arXiv:2305.14325) — основоположна стаття, яку критикує цей бенчмарк; читання обох робіт разом — це чесний спосіб відкалібрувати розуміння того, наскільки дебати насправді допомагають.
• "Single-Agent LLMs Outperform Multi-Agent Systems on Multi-Hop Reasoning Under Equal Thinking Token Budgets" (arXiv:2604.02460) — наступний пункт у списку справ, який наводить формальний інформаційно-теоретичний аргумент проти MAD за умов однакових обчислювальних ресурсів.
• "Talk Isn't Always Cheap: Understanding Failure Modes in Multi-Agent Debate" (arXiv:2509.05396) — доповнювальна класифікація типів помилок від вересня 2025 року, яка додає до аналізу колективної омани докази того, як риторика та соціальна динаміка зміщують результати групи.