پس از هفتهای که بر بازیابی و تزریق دانش متمرکز بود، میخواستم به روی دیگر ماجرا نگاه کنم: وقتی وظیفه بهخوبی تعریف شده باشد، تنظیم دقیق هدفمند واقعاً چه چیزی به ارمغان میآورد؟ TAT-LLM (arXiv:2401.13223، ICAIF 2024) یکی از پاسخهای روشنتر است: LLaMA 2 را با یک خط لوله ساختیافته روی بنچمارکهای پرسشوپاسخ متن-جدول مالی تنظیم دقیق کن و GPT-4 را شکست بده. نکته اصلی، مثل همیشه، در جزئیات است.
مقاله
فنگبین ژو، زییانگ لیو، فولی فنگ، چائو وانگ، موشین لی و تات-سنگ چوا از NExT++ در NUS، TAT-LLM را معرفی میکنند؛ مدلی از LLaMA 2 که برای استدلال گسسته روی دادههای ترکیبی جدولی و متنی تنظیم دقیق شده است. مسئله اصلی، پاسخ دادن به پرسشهای عددی درباره گزارشهای مالی است — همان نوع پرسشی که در آن باید یک سطر مشخص در جدول را پیدا کنید، دو عدد را استخراج کنید و یک عملیات حسابی چندمرحلهای را برای رسیدن به پاسخ اجرا کنید. این دقیقاً همان کاری است که افراد هنگام خواندن پروندههای 10-K انجام میدهند.
نویسندگان، بهجای هدایت یک مدل بزرگ بهصورت سرتاسری، وظیفه را به سه مرحله صریح تجزیه میکنند: یک استخراجکننده (Extractor) که شواهد عددی مرتبط را در سند شناسایی میکند، یک استدلالکننده (Reasoner) که یک عبارت حسابی مینویسد و یک اجراکننده (Executor) که عبارت را بهصورت قطعی ارزیابی میکند. دادههای آموزش بهطور خودکار از مجموعهدادههای موجود با حاشیهنویسی متخصص — FinQA، TAT-QA و TAT-DQA — با حاشیهنویسی هر نمونه بههمراه مراحل میانی استخراج و استدلال تولید میشوند. تنظیم دقیق با LoRA در سه مقیاس LLaMA 2 انجام میشود: 7B، 13B و 70B.
ایدههای کلیدی
- تجزیه به خط لوله بر رویکرد سرتاسری برتری دارد: اجراکننده بیرونی (حساب قطعی) بهتنهایی ۱۶.۶۶+ امتیاز EM روی FinQA برای مدل 7B اضافه میکند. حساب کردن برای مدل سختتر نیست — فقط وقتی در زبان طبیعی انجام شود بهطور فاجعهباری غیرقابلاعتماد است.
- مدل 7B در هر سه بنچمارک GPT-4 را شکست میدهد: TAT-LLM 7B در FinQA به ۶۴.۶۰٪ EM میرسد (در مقابل ۶۳.۹۱٪ GPT-4)، در TAT-QA به ۷۴.۵۶٪ EM (در مقابل ۷۱.۹۲٪) و در TAT-DQA به ۶۹.۴۵٪ EM (در مقابل ۶۴.۴۶٪). شکاف در TAT-DQA قانعکنندهترین است، با نزدیک به ۵ امتیاز.
- استخراج، حالت شکست محدودکننده است: تحلیل خطا نشان میدهد که ۴۸٪ خطاها به استخراج نادرست شواهد برمیگردد — مدل سطر اشتباه، ستون اشتباه را انتخاب میکند یا عددی را بهدلیل اصطلاحات مالی ناآشنا اشتباه میخواند. تنها ۱۹٪ عملگرهای اشتباه هستند.
- مقیاس کمک میکند، اما بهطور محدود: نسخه 70B آموزشدیده مشترک (TAT-LLM-All) FinQA را به ۷۶.۸۱٪ EM و TAT-QA را به ۸۱.۴۲٪ F1 میرساند که پیشرفتهای معناداری هستند. اما مدل 7B از قبل GPT-4 را شکست میدهد، که نشان میدهد ساختار خط لوله بیش از تعداد پارامترها اهمیت دارد.
- متخصصان انسانی هنوز بسیار جلوترند: در TAT-QA، عملکرد انسان ۹۰.۸٪ F1 است؛ بهترین نتیجه TAT-LLM برابر ۸۱.۴۲٪ F1 است. این شکاف واقعی است و در مقاله اذعان شده است.
آنچه دوام میآورد — و آنچه دوام نمیآورد
سهم فنی اصلی محکم است: برونسپاری حساب به یک اجراکننده قطعی بهوضوح انتخاب درستی است و آزمون حذف این را بهطور قانعکنندهای اثبات میکند. این درس شناختهشدهای از PAL و کارهای مشابه است، اما دیدن آن بهصورت کمی (۱۶.۶۶+ امتیاز) روی یک بنچمارک بهطور خاص مالی، تأییدی ارزشمند است.
جایی که بیشتر تردید دارم، ادعای تیتروار درباره «شکست دادن GPT-4» است. حاشیه در FinQA برابر ۰.۶۹ امتیاز EM است — عملاً در محدوده خطای آماری — و اعداد GPT-4 بازتاب ارزیابی zero-shot یا با اعلان سبک هستند، نه GPT-4 با زنجیره تفکر، نمونههای few-shot یا مفسر کد خودش. یک GPT-4 با اعلان و استفاده از ابزار پایتون تقریباً بهطور قطع از این اعداد پیشی میگرفت. این مقایسه غلط نیست، اما دقیقاً داستان «تخصص پیروز میشود» که چکیده پیشنهاد میکند هم نیست.
نگرانی قابلتوجهی درباره نشت ارزیابی نیز وجود دارد. مدل روی تقسیمهای آموزش FinQA، TAT-QA و TAT-DQA تنظیم دقیق و روی تقسیمهای آزمون آنها ارزیابی میشود. این یک محیط درونتوزیعی باریک است. مقاله هیچ وظیفه پرسشوپاسخ مالی نگهداشتهشدهای که مدل هرگز در آموزش ندیده باشد را شامل نمیشود، بنابراین تعمیم به انواع اسناد جدید یا الگوهای حسابی جدید اثباتنشده باقی میماند.
محدودیت پنجره زمینه ۴,۰۹۶ توکنی برای گزارشهای مالی واقعی یک مانع عملی جدی است. یک 10-K معمولی به بیش از ۱۰۰ صفحه میرسد؛ حتی یک گزارش فصلی واحد اغلب از ۴,۰۹۶ توکن فراتر میرود. مدل آنگونه که توصیف شده نمیتواند ورودیهایی را که برایشان طراحی شده بدون تکهتکهسازی مدیریت کند، و مقاله به این موضوع نمیپردازد که وقتی شواهد در چند تکه پراکنده باشند، استخراج چگونه افت میکند.
چرا این برای هوش مصنوعی مالی اهمیت دارد
تجزیه استخراجکننده-استدلالکننده-اجراکننده مستقیماً برای عاملهای Beancount کاربرد دارد. وقتی کاربری میپرسد «مجموع هزینههای غذای من در سهماهه اول ۲۰۲۵ در مقایسه با سهماهه اول ۲۰۲۴ چقدر بود؟»، ساختار طبیعی این است: تراکنشهای مرتبط را پیدا کن (استخراج)، یک عبارت تجمیع بساز (استدلال)، آن را روی دفترکل اجرا کن (اجرا). تحلیل خطای TAT-LLM یک پیشبینی مشخص ارائه میدهد: مرحله استخراج جایی است که یک عامل Beancount بیشترین شکست را خواهد داشت — دستههای حساب اشتباه، تراکنشهای ازقلمافتاده، مبالغ اشتباهخواندهشده — نه حساب.
رویکرد تنظیم دقیق LoRA نیز برای هر کسی که مدلی مخصوص Beancount میسازد مرتبط است. راهبرد تولید داده آموزش — گرفتن جفتهای پرسشوپاسخ با حاشیهنویسی متخصص و حاشیهنویسی آنها با مراحل میانی — دقیقاً همان روشی است که برای ساختن یک مجموعهداده استدلال مخصوص دفترکل به کار میبرید. شما داده منبع ورودیهای دفترکل را دارید؛ میتوانید چندتاییهای (پرسش، استخراج، عبارت، پاسخ) را بهطور خودکار تولید کنید.
محدودیت زمینه بزرگترین مانع است. یک عامل Beancount در سطح تولید باید روی سالها ورودی استدلال کند. مدل مقاله چنین نمیکند؛ این یک خط پایه قوی برای پرسشوپاسخ اسناد کوتاه است که برای کاربرد عملی باید با تکهتکهسازی، بازیابی یا پنجره زمینه بزرگتر گسترش یابد.
آنچه در ادامه بخوانید
- FinQA (arXiv:2109.00122، EMNLP 2021) — بنچمارک اصلی که TAT-LLM روی آن ارزیابی میشود؛ خواندنش روشن میکند که «استدلال گسسته روی داده مالی» دقیقاً به چه معناست و پیشرفتهای پیشین پیش از مدلهای زبانی بزرگ چگونه بودهاند.
- TAGOP (بخشی از مقاله TAT-QA، arXiv:2105.07624، ACL 2021) — مدل عملگر آگاه به جدول که وظیفه TAT-QA را تعریف کرد؛ درک اینکه انتخاب عملگر مبتنی بر قاعده چگونه است، یک نقطه مرجع برای آنچه مرحله استدلالکننده مبتنی بر مدل زبانی بزرگ جایگزینش میشود فراهم میکند.
- AuditCopilot (arXiv:2512.02726) — LLaMA و Gemma را روی تشخیص ناهنجاری در آزمون ورودیهای دفتر روزنامه روی داده واقعی دفترکل ارزیابی میکند؛ پرسش پیگیری طبیعی پس از TAT-LLM این است که آیا همان رویکرد تنظیم دقیق به تشخیص ناهنجاری بهجای پرسشوپاسخ منتقل میشود یا نه.
