#fintech
Financial technology research, platforms, and infrastructure for modern accounting systems
FinMCP-Bench شش مدل LLM را در ۶۱۳ وظیفه واقعی استفاده از ابزار مالی که توسط ۶۵ سرور MCP پشتیبانی میشوند، ارزیابی میکند — بهترین مدل در وظایف چند نوبتی امتیاز ۳.۰۸٪ تطبیق دقیق را کسب کرد که نشاندهنده فروپاشی عملکرد ۲۰ برابری از سناریوهای تکابزاری به چند نوبتی است.
بنچمارک FinTrace، ۱۳ مدل زبانی بزرگ را در ۸۰۰ مسیر وظایف مالی با حاشیهنویسی متخصص بر اساس ۹ معیار ارزیابی میکند و دریافت که مدلهای پیشرو در انتخاب ابزار به نتایج قوی (F1 ~0.9) میرسند، اما در بهرهوری اطلاعات — مرحلهای که عوامل بر روی نتایج ابزارها استدلال میکنند — تنها امتیاز ۳.۲۳ از ۵ را کسب میکنند.
FinToolBench با جفتکردن 760 ابزار API مالی زنده با 295 پرسوجوی قابل اجرا، عوامل LLM را بر روی وظایف مالی واقعی ارزیابی میکند — نشان میدهد که نرخ فراخوانی محافظهکارانه 22.7 درصدی GPT-4o کیفیت پاسخ بالاتری (CSS 0.670) نسبت به نرخ فراخوانی تهاجمی 87.1 درصدی Qwen3-8B (TIR) ایجاد میکند، در حالی که ناسازگاری قصد در همه مدلهای آزمایششده بیش از 50 درصد است.
بلومبرگ یک مدل زبانی ۵۰ میلیارد پارامتری را با ۵۶۹ میلیارد توکن از دادههای مالی آموزش داد و در بنچمارکهای تحلیل احساسات و استدلال جدولی بر مدلهای عمومی پیروز شد — سپس GPT-4 بدون هیچ پیشآموزش اختصاصی مالی، با آن برابری کرد. آنچه این آزمایش ۱۰ میلیون دلاری درباره موازنههای پیشآموزش دامنه، توکنسازی اعداد و چرایی قابلاعتمادتر بودن استفاده از ابزارها نسبت به ساختار داخلی مدل برای عاملهای حسابداری فاش میکند.
