برتری مدل‌های زبانی بزرگ تک‌عاملی بر سیستم‌های چندعاملی در استدلال چندگامی تحت بودجه یکسان توکن‌های تفکر

پس از اختصاص چندین یادداشت به بحث‌های چندعاملی و معماری‌های حفاظتی (guardrail)، می‌خواستم این فرض را آزمایش کنم: آیا سازمان‌دهی چندین مدل زبانی بزرگ واقعاً استدلال بهتری برای ما به ارمغان می‌آورد یا صرفاً در حال مصرف منابع محاسباتی بیشتری هستیم؟ دات تران و دوو کیلا از استنفورد دقیقاً همین سوال را در پیش‌نویسی که در آوریل ۲۰۲۶ منتشر شد مطرح کردند و پاسخ آن‌ها برای مبلغان سیستم‌های چندعاملی خوشایند نیست.

مقاله

مقاله "مدل‌های زبانی بزرگ تک‌عاملی بر سیستم‌های چندعاملی در استدلال چندگامی تحت بودجه یکسان توکن‌های تفکر غلبه می‌کنند" (arXiv:2604.02460) به یک نکته روش‌شناختی فریبنده اما ساده اشاره می‌کند: تقریباً تمام بنچ‌مارک‌های چندعاملی، یک عامل واحد را با یک سیستم چندعاملی مقایسه می‌کنند که از توان محاسباتی به مراتب بیشتری استفاده می‌کند. هنگامی که بودجه توکن‌های تفکر را ثابت نگه دارید — با تطبیق توکن‌های استدلال میانی و حذف پرامپت‌ها و پاسخ‌های نهایی — عامل‌های واحد در وظایف استدلال چندگامی با سیستم‌های چندعاملی برابری کرده یا بر آن‌ها پیروز می‌شوند.

نویسندگان این موضوع را با یک استدلال تئوری اطلاعات از طریق «نابرابری پردازش داده» (DPI) تبیین می‌کنند. وقتی یک عامل پیامی را به عامل دیگری ارسال می‌کند، عامل دریافت‌کننده بر اساس نسخه‌ای پردازش‌شده از بافتار (context) اصلی کار می‌کند، نه خودِ بافتار. در این زنجیره، اطلاعات فقط می‌تواند از دست برود یا ثابت بماند — هرگز افزوده نمی‌شود. بنابراین DPI پیش‌بینی می‌کند که تجزیه چندعاملی باعث ایجاد گلوگاه‌های ارتباطی اجتناب‌ناپذیر می‌شود و سیستم‌های چندعاملی تنها زمانی می‌توانند از تک‌عاملی‌ها بهتر عمل کنند که بهره‌وری بافتار موثر در یک تک‌عامل از قبل تخریب شده باشد.

ایده‌های کلیدی

• این مطالعه "توکن‌های تفکر" — فقط توکن‌های استدلال میانی — را در شش سطح بودجه از ۱۰۰ تا ۱۰,۰۰۰ توکن، با استفاده از سه خانواده مدل کنترل می‌کند: Qwen3-30B، DeepSeek-R1-Distill-Llama-70B و Gemini 2.5.
• پنج معماری چندعاملی مورد ارزیابی قرار گرفته‌اند: ترتیبی، موازی‌سازی زیروظیفه، نقش‌های موازی، مباحثه و گروهی (انسمبل).
• بنچ‌مارک‌های مورد استفاده عبارتند از FRAMES (۸۲۴ سوال چالش‌برانگیز چندگامی که نیاز به ادغام از منابع متعدد دارند) و MuSiQue (سوالات دانش عمومی ۴ گامی).
• سیستم‌های تک‌عاملی در تقریباً تمام شرایط بودجه‌بندی یکسان، به بالاترین دقت یا دقتی معادل از نظر آماری دست یافتند. دقت SAS بین ۰.۲۸۰ تا ۰.۴۲۷ متغیر بود؛ در حالی که انواع مشابه MAS به طور متوسط ۰.۲۸۰ تا ۰.۴۲۰ بودند.
• حالت شکست مشخصه برای MAS، جست‌وجوی بیش از حد و انحراف است: عامل‌ها زیرسوالات را بدون هرس کردن بررسی می‌کنند و پرسش اصلی را گم می‌کنند. SAS مهار واژگانی قوی‌تری نسبت به سوال اصلی حفظ می‌کند.
• پیش‌بینی DPI به صورت تجربی تایید شد: تحت تخریب شدید بافتار (ماسک‌گذاری یا جایگزینی در سطح α=0.7)، سیستم‌های چندعاملی رقابتی می‌شوند — اما فقط در آن زمان.

چه چیزی تایید می‌شود — و چه چیزی نه

روش‌شناسی اصلی حرکت درستی است. حوزه هوش مصنوعی در بازتولید بنچ‌مارک‌های چندعاملی مشکل دارد، دقیقاً به این دلیل که محاسبات به ندرت ثابت نگه داشته می‌شوند و اصرار نویسندگان بر بودجه‌های تفکر یکسان، یک سهم واقعی در این علم است. چارچوب DPI تمیز است و پیش‌بینی آزمایشی که ایجاد می‌کند — اینکه MAS زمانی کمک می‌کند که بهره‌وری بافتار مختل شود — در سه خانواده مدل تایید شده است که به اعتبار آن می‌افزاید.

با این حال، چندین شکاف مهم وجود دارد. این مقاله فقط استدلال چندگامی مبتنی بر متن را ارزیابی می‌کند. استفاده از ابزار (tool use)، اجرای کد و وظایف بینایی صراحتاً مستثنی شده‌اند. این استثنا قابل توجه است: اکثر سیستم‌های چندعاملی تولیدی که امروزه مستقر می‌شوند، صرفاً پرسش و پاسخ متنی انجام نمی‌دهند، بلکه فراخوانی‌های ابزار، جستجوهای API یا مفسرهای کد را بین عامل‌ها سازمان‌دهی می‌کنند. استدلال DPI درباره انتقال پیام بین عامل‌ها از نظر تئوری برای این تنظیمات نیز قابل اجراست، اما ادعای تجربی هنوز در آنجا تایید نشده است.

کنترل بودجه توکن Gemini به صورت تقریبی پذیرفته شده است — نویسندگان یک گونه خاص SAS-L با پرامپت‌دهی ساختاریافته توسعه دادند زیرا کانال تفکر Gemini در حالت تک‌عاملی استاندارد، کمتر از حد انتظار استفاده می‌شد. این یک نقطه ابهام است که ارزش بررسی دقیق دارد. اگر حسابداری توکن‌های تفکر برای یکی از سه خانواده مدل غیرقابل اعتماد باشد، تفسیر ادعای یکسان‌سازی بودجه سخت‌تر می‌شود.

دو بنچ‌مارک نیز برای یک ادعای معماری کلی کم است. FRAMES فقط ۸۲۴ سوال دارد؛ MuSiQue یک بنچ‌مارک استاندارد است اما تمام تنوع ساختارهای چندگامی را پوشش نمی‌دهد. همچنین مقاله به این موضوع نمی‌پردازد که شکاف بین تک‌عاملی و چندعاملی با مقیاس‌پذیری توانایی مدل چگونه تغییر می‌کند — نتیجه ممکن است ویژگی اندازه‌های فعلی مدل باشد تا یک یافته معماری بنیادین.

چرا این موضوع برای هوش مصنوعی مالی اهمیت دارد

ارتباط این موضوع با Bean Labs واقعی است اما نیاز به دقت دارد. برای یک عامل بازنویسی Beancount، معماری مورد علاقه من جفتِ نویسنده-تأییدگر است: یک عامل ثبت دفتر کل را ایجاد می‌کند و دیگری آن را برای انطباق با سیاست‌ها قبل از نهایی کردن بررسی می‌کند. این یک پرسش و پاسخ متنی چندگامی نیست — بلکه یک خط لوله ترتیبی استفاده از ابزار است که در آن تأییدگر به جای پردازش مجدد همان بافتار اصلی، در حال بررسی یک محصول پیشنهادی است. استدلال DPI به طور تقریبی صدق می‌کند: یک عامل تأییدگر مجزا که بر اساس ثبت پیشنهادی کار می‌کند، همچنان نمی‌تواند حقایقی را که نویسنده نادیده گرفته بازیابی کند. اما گلوگاه در عمل، یادآوری قوانین سیاست و صحت محاسبات ریاضی است، نه از دست دادن اطلاعات در طول پیام‌ها.

جایی که این مقاله مستقیماً اثرگذار است، معماری‌های مباحثه‌ای است که در یادداشت‌های قبلی بررسی شد (Du et al., M3MAD-Bench). اگر هدف استفاده از یک جفت عامل مناظره‌کننده برای یافتن خطاهای دفتر کل باشد، و اگر هر دو عامل در مجموع همان بودجه تفکری را داشته باشند که یک تک‌عامل با استدلال گسترده دارد، شواهد اینجا نشان می‌دهد که رویکرد تک‌عاملی قابل اعتمادتر است. این یافته که MAS تنها زمانی رقابتی است که بافتار به شدت تخریب شده باشد نیز مهم است: برای ورودی‌های خوش‌ساختار Beancount، جایی که بافتار تمیز و مرتب است، مزیت تک‌عاملی باید حفظ شود.

درس عملی این است که نسبت به پیچیدگی چندعاملی بدبین باشید، مگر اینکه دلیل خاصی داشته باشید که باور کنید بهره‌وری از بافتار گلوگاه اصلی شماست. برای اکثر وظایف پرسش و پاسخ دفتر کل، احتمالاً اینطور نیست.

برای مطالعه بیشتر

• Mixture-of-Agents Enhances Large Language Model Capabilities (arXiv:2406.04692) — مقاله‌ای که ادعاهای AlpacaEval آن مستقیماً به چالش کشیده شده است؛ برای درک دقیق فرضیات بودجه‌ای که در نظر گرفته بود، ارزش خواندن دارد.
• "Rethinking the Bounds of LLM Reasoning: Are Multi-Agent Discussions the Key?" (arXiv:2402.18272, ACL 2024) — نسخه قدیمی‌تری از اساساً همین یافته: تک‌عامل با پرامپت‌های خوب با بحث‌های چندعاملی برابری می‌کند؛ برای دیدن چگونگی تکامل این نقد مفید است.
• ادبیات مقیاس‌بندی محاسبات در زمان تست (DeepSeek-R1, OpenAI o1 system card) — سوال گسترده‌تر این است که محاسبات استنتاجی اضافی واقعاً در کجا کمک می‌کند، و زنجیره تفکر گسترده (Chain-of-Thought) در یک مدل واحد ممکن است پاسخ پایدارتری باشد.