FinRAGBench-V: RAG چندوجهی با استنادهای بصری در حوزه مالی
FinRAGBench-V می‌یابد برترین مدل‌ها تنها به ۲۰–۶۱٪ بازیابی استناد در سطح بلوک در صفحات مالی می‌رسند. بازیابی چندوجهی تقریباً ۵۰ واحد از متن‌محور بهتر است.
#finance
مالی
پژوهش مالی، تحلیل و دانش تخصصی برای هوش مصنوعی حسابداری
اعتماد و کالیبراسیون LLM: مروری بر آنچه تحقیقات واقعاً نشان می‌دهند
اطمینان کلامی‌شده GPT-4 تنها به ~۶۲.۷٪ AUROC می‌رسد، اندکی بالاتر از تصادف. عامل‌های مالی آگاه به عدم‌قطعیت به کالیبراسیون بهتری نیاز دارند.
FinTrace: ارزیابی در سطح مسیر فراخوانی ابزار توسط مدل‌های زبانی بزرگ برای وظایف مالی
FinTrace نشان می‌دهد LLMهای پیشرو ابزارهای مالی درست را برمی‌گزینند (F1 ~۰.۹) اما تنها ۳.۲۳/۵ در استفاده از نتایج می‌گیرند؛ همان گامی که عامل‌های بازنویسی را می‌شکند.
OmniEval: بنچمارک ارزیابی همه‌جانبه RAG برای حوزه مالی
OmniEval بهترین سیستم‌های RAG را در ۵ نوع وظیفه مالی با دقت عددی ۳۶٪ ارزیابی می‌کند؛ پس عامل‌های دفتر کل پیش از ثبت اسناد به اعتبارسنجی نیاز دارند.
FinDER: پرس‌وجوهای واقعی تحلیل‌گران شکاف بازخوانی ۷۴ درصدی را در RAG مالی فاش می‌کنند
۵,۷۰۳ پرس‌وجوی واقعی تحلیلگر در FinDER نشان می‌دهد برترین RAG تنها ۲۵.۹۵٪ شواهد 10-K را بازیابی می‌کند. نخست اختصارها را نرمال کنید، پیش از تغییر امبدینگ‌ها.
گمشده در میان: سوگیری موقعیتی در مدل‌های زبانی بزرگ و تأثیر آن بر هوش مصنوعی مالی
LLMها تا 20 واحد بدتر امتیاز می‌گیرند وقتی پاسخ در میان‌زمینه قرار دارد، بنابراین خطوط لوله RAG مالی باید بهترین قطعات را اول یا آخر قرار دهند.
AnoLLM: تنظیم دقیق مدل‌های زبانی بزرگ (LLM) برای شناسایی ناهنجاری‌های جدولی در داده‌های مالی
AnoLLM با امتیازدهی ردیف‌ها بر پایه لگاریتم درست‌نمایی منفی LLM از خطوط پایه کلاسیک در داده‌های تقلب با انواع مختلط پیشی می‌گیرد، اما در جداول کاملاً عددی برتری نمی‌افزاید.
DocFinQA: استدلال مالی با متن طولانی بر روی گزارش‌های کامل SEC
DocFinQA متن‌های 700 کلمه‌ای FinQA را با پرونده‌های کامل SEC جایگزین می‌کند، زمینه‌ای 175 برابر طولانی‌تر که دقت GPT-4 را در اسناد طولانی تقریباً نصف می‌کند.
TheAgentCompany: محک‌زنی عامل‌های LLM در وظایف سازمانی دنیای واقعی
TheAgentCompany 175 وظیفه سازمانی را در یک اینترانت شبیه‌سازی‌شده ارزیابی می‌کند، و بهترین مدل، Gemini-2.5-Pro، تنها 30% را با هزینه 4 دلار هر کدام کامل می‌کند.
InvestorBench: Qwen2.5-72B با نرخ موفقیت ۴۶.۱۵٪ در صدر معاملات سهام
InvestorBench: Qwen2.5-72B با نرخ موفقیت ۴۶.۱۵٪ پیشتاز معاملات سهام است؛ Palmyra-Fin تنظیم‌شده برای مالی در سهام نتیجه معکوس می‌دهد—اندازه بر تنظیم‌دقیق دامنه برتری دارد.
تک‌عاملی: در توکن‌های برابر، عملکرد برابر با MAS در استدلال چندمرحله‌ای دارد
در بودجه‌های برابر توکن تفکر، مدل‌های زبانی تک‌عاملی در استدلال چندمرحله‌ای با سیستم‌های چندعاملی برابری یا برتری دارند—طراحی‌های ساده‌تر عامل مالی را ترجیح دهید.
M3MAD-Bench: آیا مباحثات چند-عاملی واقعاً در حوزه‌ها و مدالیته‌های مختلف موثر هستند؟
M3MAD-Bench دریافت که توهم جمعی عامل ۶۵٪ شکست‌های مناظره چندعاملی است و مناظره تخاصمی دقت را تا ۱۲.۸٪ کاهش می‌دهد.