TAT-QA: معیار ارزیابی پرسش و پاسخ ترکیبی جدول-متن برای استدلال در گزارش‌های سالانه مالی
پرسش‌های ترکیبی جدول-متن TAT-QA نشان داد زمین‌گیر کردن شواهد، نه حساب، گلوگاه هوش مصنوعی مالی است. مدل‌های زبانی بزرگ ۷B تنظیم‌شده تا ۲۰۲۴ به ۸۳٪ F1 رسیدند.
گزارش پژوهش
آزمایش‌ها و یافته‌های باز از Bean Labs — ابتکار پژوهشی Finance AI Agent از Beancount.io.
FinQA: محک سنجش استدلال عددی هوش مصنوعی در گزارش‌های مالی
FinQA نشان داد مدل‌های عصبی در ریاضیات گزارش‌های مالی ۶۱٪ در برابر ۹۱٪ متخصصان انسانی امتیاز گرفتند و در مسائل سه‌مرحله‌ای یا بیشتر به ۲۲٪ سقوط کردند.
FinanceBench: چرا RAG مبتنی بر ذخیره‌ساز برداری در اسناد مالی واقعی شکست می‌خورد
FinanceBench شانزده تنظیم هوش مصنوعی را روی ۱۰,۲۳۱ پرسش واقعی SEC می‌سنجد: RAG با پایگاه برداری مشترک فقط ۱۹٪ درست می‌گوید، پس بازیابی گلوگاه نیست.
DSPy: جایگزینی مهندسی پرامپت شکننده با خط‌لوله‌های کامپایل‌شده مدل زبانی بزرگ (LLM)
کامپایلر DSPy، Llama2-13b را از ۹.۴٪ به ۴۶.۹٪ در GSM8K رساند و خطوط لوله هوش مصنوعی مالی را به فراخوانی‌های LLM اعلانی قابل نگهداری سوق می‌دهد.
LATS: جستجوی درخت عامل زبانی — استدلال، عمل و برنامه‌ریزی در یک چارچوب واحد
LATS روی ReAct، درخت افکار و Reflexion را در یک چارچوب MCTS یکپارچه می‌کند و با GPT-4 به ۹۲.۷٪ pass@1 در HumanEval میرسد.
Self-RAG: بازیابی تطبیقی و خود-انتقادی برای مدل‌های زبانی بزرگ
Self-RAG به LLM می‌آموزد تصمیم بگیرد چه زمانی بازیابی کند و نتایج را خودنمره‌دهی کند، با ۵۵.۸٪ در PopQA و ۸۰.۲ FactScore — شکست ChatGPT در پنج بنچمارک.
وویجر: کتابخانه‌های مهارت، کشف آیتم را ۳.۳ برابر افزایش می‌دهند
کتابخانه مهارت کد پایدار وویجر، ۳.۳ برابر موارد ماین‌کرفت بیشتری نسبت به SOTA قبلی بدون تنظیم دقیق کشف می‌کند—الگوی استفاده مجددی که عوامل دفتر کل نیاز دارند.
HippoRAG: ۸۹.۱٪ Recall@5 در 2Wiki در مقابل ۶۸.۲٪ ColBERT
حافظه OpenIE+PageRank در HippoRAG به ۸۹.۱٪ Recall@5 بر روی 2WikiMultiHopQA میرسد در حالی که ColBERTv2 به ۶۸.۲٪ میرسد—بازیابی مبتنی بر مسیر برای دفترهای مالی چندساله.
AgentBench: ارزیابی LLMها بهعنوان عاملها — درسهایی برای پایایی هوش مصنوعی مالی
AgentBench به GPT-4 نمره ۴.۰۱ در برابر ۰.۹۶ برای بهترین LLM متن‌باز داد. همان شکست‌ها دقیقاً چیزی است که عامل نوشتنی Beancount را روی دفتر کل زنده می‌شکند.
BloombergGPT و محدودیت‌های مدل‌های زبانی بزرگ تخصصی در امور مالی
BloombergGPT روی ۵۶۹B توکن مالی آموزش دید، اما GPT-4 بدون پیش‌آموزش مالی با آن برابر شد. برای عامل‌های حسابداری، استفاده از ابزار بر درون مدل برتری دارد.
AutoGen: چارچوب‌های گفتگوی چند-عاملی برای هوش مصنوعی مالی
مکالمه دو عاملی AutoGen دقت MATH را از ۵۵٪ به ۶۹٪ می‌رساند و عامل SafeGuard آن تا ۳۵ امتیاز F1 در تشخیص کد ناایمن اضافه می‌کند.
گوریلا: چگونه آموزش آگاه از بازیابی توهمات API در مدل‌های زبانی بزرگ را از ۷۸٪ به ۱۱٪ کاهش می‌دهد
آموزش آگاه به بازیابنده Gorilla نرخ توهم API در LLM را از ۷۸٪ به ۱۱٪ می‌رساند و فراخوانی ابزار را برای عامل‌های مالیِ نوشتنی به‌قدر کافی قابل‌اعتماد می‌کند.