
Fusion-in-Decoder:多篇章检索如何提升生成式问答性能
FiD 单独编码检索到的段落并在解码器中融合,在 NQ 和 TriviaQA 上比 RAG-Sequence 高 4–11 分,这正是账本问答所需的合成账本能力。

FiD 单独编码检索到的段落并在解码器中融合,在 NQ 和 TriviaQA 上比 RAG-Sequence 高 4–11 分,这正是账本问答所需的合成账本能力。

GuardAgent enforces LLM agent policies by running Python code, hitting 98.7% accuracy with no task failures, versus 81% and up to 71% failure for prompt rules.

多智能体辩论在算术上提升 14.8 分,但同等算力的单一智能体也能达到。这限制了辩论作为账本提交前安全检查的作用。

NeurIPS 2024 消融实验:从 Time-LLM 和 CALF 中去掉 LLM 反而提升准确率,训练速度最多快 1,383 倍。金融 AI 应使用专用模型。

AuditCopilot 将日记账分录欺诈误报从 942 降至 12,但消融实验显示 LLM 主要在综合 Isolation Forest 的分数。

TAT-LLM将LLaMA 2 7B微调至FinQA上64.60%的EM,略胜GPT-4的63.91%:提取-推理-执行流水线让小模型完成表格算术。

RAG 对训练截止后的事实达 0.875 准确率,微调则停在 0.504。对需频繁更新账本的智能体,检索胜过微调。

IRCoT 在每一步推理都发起检索查询,在 HotpotQA 上比一步式 RAG 提升 +11.3 召回率和 +7.1 F1。一个 3B 模型因此能胜过 GPT-3 175B。

FLARE 在 2WikiMultihopQA 上达到 51.0 EM,而单次检索 RAG 只有 39.4,但聊天模型的校准失败限制了它用于金融智能体。

Lewis 等人使用冻结的 FAISS 索引在 Natural Questions 上达到 44.5 EM;对于 Beancount 账本,这意味着当余额每日变化时,要么重新索引,要么错过。

MultiHiertt 显示模型在 10,440 个财务问答对上 F1 为 38%,人类为 87%,跨表格问题上再降 15 个点。

ConvFinQA最佳模型得分为68.9%的执行准确率,而人类专家为89.4%——这一21个百分点的差距仍是多轮账本对话面临的挑战。