FinRAGBench-V: RAG چندوجهی با استنادهای بصری در حوزه مالی
FinRAGBench-V می‌یابد برترین مدل‌ها تنها به ۲۰–۶۱٪ بازیابی استناد در سطح بلوک در صفحات مالی می‌رسند. بازیابی چندوجهی تقریباً ۵۰ واحد از متن‌محور بهتر است.
#data-science
علم داده
روش‌های علم داده برای مجموعه‌داده‌های مالی و گردش‌کارهای حسابداری
WildToolBench: چرا هیچ مدل زبانی بزرگی در دقت جلسات استفاده از ابزار در دنیای واقعی از ۱۵٪ فراتر نمی‌رود
WildToolBench می‌یابد هیچ LLM از ۱۵٪ دقت نشست در ۱,۰۲۴ وظیفه کاربران واقعی فراتر نمی‌رود و قصد پنهان و گذارهای دستور، تیزترین حالت‌های شکست‌اند.
اعتماد و کالیبراسیون LLM: مروری بر آنچه تحقیقات واقعاً نشان می‌دهند
اطمینان کلامی‌شده GPT-4 تنها به ~۶۲.۷٪ AUROC می‌رسد، اندکی بالاتر از تصادف. عامل‌های مالی آگاه به عدم‌قطعیت به کالیبراسیون بهتری نیاز دارند.
FinToolBench: ارزیابی عوامل LLM در استفاده از ابزارهای مالی دنیای واقعی
FinToolBench نشان می‌دهد عدم‌تطابق قصد برای هر LLM آزمایش‌شده بالای ۵۰٪ است؛ پس فراخوانی تهاجمی ابزار به معنای پاسخ‌های بهتر در وظایف مالی نیست.
OmniEval: بنچمارک ارزیابی همه‌جانبه RAG برای حوزه مالی
OmniEval بهترین سیستم‌های RAG را در ۵ نوع وظیفه مالی با دقت عددی ۳۶٪ ارزیابی می‌کند؛ پس عامل‌های دفتر کل پیش از ثبت اسناد به اعتبارسنجی نیاز دارند.
بررسی جامع تشخیص ناهنجاری با مدل‌های زبانی بزرگ (NAACL 2025): طبقه‌بندی قوی، غیبت پوشش داده‌های جدولی
طبقه‌بندی NAACL 2025 پابرجاست، اما پوشش جدولی غایب است. تیم‌های هوش مصنوعی مالی باید خودشان روش‌های مدل بینایی را تطبیق دهند.
یافتن در میان: کالیبره کردن سوگیری توجه مکانی، RAG با بافت طولانی را بهبود می‌بخشد
کاهش سوگیری مکانی از وزن‌های توجه LLM تا ۱۵ واحد دقت RAG را وقتی شواهد میان متن است بازیابی می‌کند و به خط لوله‌های عامل مالی کمک می‌رساند.
Fin-RATE: شکست مدل‌های زبانی بزرگ در تحلیل مالی دوره‌ای و بین-موجودیتی
Fin-RATE نشان می‌دهد دقت LLM در ردیابی طولی ۱۸.۶۰٪ سقوط می‌کند و خط لوله بازیابی، نه مدل، گلوگاه اصلی است.
FinDER: پرس‌وجوهای واقعی تحلیل‌گران شکاف بازخوانی ۷۴ درصدی را در RAG مالی فاش می‌کنند
۵,۷۰۳ پرس‌وجوی واقعی تحلیلگر در FinDER نشان می‌دهد برترین RAG تنها ۲۵.۹۵٪ شواهد 10-K را بازیابی می‌کند. نخست اختصارها را نرمال کنید، پیش از تغییر امبدینگ‌ها.
گمشده در میان: سوگیری موقعیتی در مدل‌های زبانی بزرگ و تأثیر آن بر هوش مصنوعی مالی
LLMها تا 20 واحد بدتر امتیاز می‌گیرند وقتی پاسخ در میان‌زمینه قرار دارد، بنابراین خطوط لوله RAG مالی باید بهترین قطعات را اول یا آخر قرار دهند.
بنچمارک AD-LLM: مدل GPT-4o به امتیاز AUROC بالای ۰.۹۳ در تشخیص ناهنجاری متنی بدون آموزش (Zero-Shot) دست یافت
AD-LLM نشان می‌دهد GPT-4o به 0.93–0.99 AUROC بدون نمونه برای تشخیص ناهنجاری متنی می‌رسد، اما انتخاب مدل LLM برای هوش مصنوعی حسابرسی مالی غیرقابل اعتماد می‌ماند.
CausalTAD: ترتیب‌بندی علّی ستون‌ها برای تشخیص ناهنجاری جدولی در مدل‌های زبانی بزرگ
CausalTAD ستون‌های جدول را بر اساس وابستگی علّی قبل از سریال‌سازی LLM مرتب می‌کند، میانگین AUC-ROC را از 0.803 به 0.834 در برابر AnoLLM می‌رساند.