谁更擅长真实投研工作流？Fin-Agent-Bench R1 八模型实测

大模型在金融问答里拿到高分，并不等于它能进入真实投研环境工作。真正的研究流程不只要求“答对”，还要求模型把材料放到正确的位置，分清事实与判断，遵守权限边界，修改多个相互关联的文件，并留下可以复查的结果。

Fin-Agent-Bench 就是为这个差距设计的。R1 用 36 个任务测试了 8 套“模型 + Agent 脚手架”系统，共得到 257 条任务结果。为了保证可比性，本文把跑满 36 题的 6 套系统作为全量组；另外两套部分运行结果单独展示，不参与排名。

**先说结论：**GLM 5.3 以 97.7 分和 100% 任务解决率取得全量组最高分；Claude Sonnet 5 以 95.9 分、100% 解决率和 148 秒的单题平均时长，呈现出最好的速度—质量平衡。六套完整系统在结构修复和模型计算任务上普遍表现很好，真正拉开差距的是材料路由、判断层权限和“不得编造比较基准”一类语义约束。成本并不自动换来更高质量：本轮最贵的 Claude Opus 5 并未取得最高分，而 DeepSeek V4 Pro 用约 2.72 美元的等效 API 标价成本完成全量测试，平均分仍有 92.0。

数据集：测试的不是金融知识，而是投研工作流

R1 包含 36 个任务，覆盖基本面分析师、量化研究员、风控专员、投资经理和产品经理五类角色。任务不是从公开题库抽取的选择题，而是从私有 Obsidian 投研库、量化风险模型和历史工作产物中构造的工作流回放；其中涉及敏感信息或规则边界的少数题目使用合成材料。

图 1：R1 的 36 个任务覆盖 5 类角色和 6 种工作流。模型计算与审计题最多，但材料归档、财报复盘和规则边界题更能区分系统能力。

六类任务分别测试不同的“最后一公里”能力：

这种设计有两个好处。第一，私有数据降低了训练集污染的可能，模型无法凭记忆复述标准答案。第二，任务发生在真实目录和规则体系里，结果可以通过文件、字段、公式、测试和审计规则自动验证。

测试原理：沙箱、标准答案、门槛项和布尔 Judge

每道题由任务卡、输入材料、隔离沙箱和标准答案组成。运行时，测试框架复制最小必要环境并注入一个待完成状态，然后让 Agent 自主读取规则、调用工具和修改文件。Agent 永远不会直接操作原始投研库。

完成后，判分器比较沙箱结果和 oracle。R1 的 36 道题共定义了 223 个检查项，其中包括 59 个 gate 检查和 21 个 LLM Judge 检查。按非 gate 权重计算，LLM Judge 约占 19.5%，其余主要由确定性的程序化规则评分。

程序化检查覆盖文件存在性、路径分级、frontmatter 镜像、数字容差、集合 F1、隐藏 pytest、内容保留和改动范围等。LLM Judge 只回答逐条数据点或 rubric 是否满足，并要求引用候选结果中的证据；被归档的原始材料会从候选文本中排除，避免模型仅仅复制原文就获得召回分。

单题评分可以概括为：

score = Σ(检查项得分 × 权重) ÷ Σ(权重)

但 gate 优先级更高：任意 gate 未满分，整道题直接记为 0。之后再将得分与该题的 pass_threshold 比较，达到阈值才记为 resolved。R1 的阈值不是统一的：36 题中，8 题为 0.70、9 题为 0.75、15 题为 0.80，其余 4 题在 0.85–0.90。

这使得“平均分”和“任务解决率”表达不同含义。平均分衡量完成质量，解决率衡量系统能否跨过每道题的最低可用标准；gate 则模拟现实中的硬性风险控制——未经批准修改投资判断，即使其他内容写得很好，也不能算完成任务。

比较口径：6 套全量系统，2 套部分系统

8 套系统理论上应产生 288 条结果，R1 实际有 257 条，缺少的 31 条全部来自两套未跑完的系统。数据中没有重复的“任务—系统”组合，也没有缺失分数。

图 2：绿色为完成 36 题的全量系统，橙色为部分运行。部分 DeepSeek 的观测均分很高，但任务组合不同，不能与全量组直接排名。

部分 DeepSeek 运行覆盖 20 题，观测均分 97.2、解决率 100%；OX Alpha 覆盖 21 题，观测均分 86.6、解决率 81.0%，并出现两次超时。它们可以用于排查单题表现，但不能回答“谁在整套基准上更强”。因此，下文的总榜、工作流拆分、成本和时长比较只使用 6 套完整系统。

这里比较的也不是裸模型能力，而是完整运行栈：Claude Opus 5、Claude Sonnet 5、GLM 5.3、DeepSeek V4 Pro 和 Kimi K3 使用 Claude Code 脚手架；GPT-5.6 使用 Codex，并固定为 xhigh 推理强度。不同工具协议、上下文组织和执行循环都可能影响结果。

总榜：GLM 5.3 得分最高，Sonnet 5 最均衡

图 3：全量组整体结果。GLM 5.3 和 Claude Sonnet 5 均解决全部 36 题；门槛项失败会把对应任务直接归零。

GLM 5.3 是本轮最完整的结果：平均分第一，36 题全部 resolved，且没有 gate 失败。它在六类工作流中的分数都不低于 90，说明优势不是由某一类题堆出来的。

Claude Sonnet 5 的均分比 GLM 低 1.8 分，但同样完成全部任务，而且明显更快。对于需要批量运行、重试和人工复核的生产环境，这种吞吐量优势可能比一两个百分点的均分更重要。

Claude Opus 5 的非 gate 完成质量很高，但一次权限边界失败让它失去满解决率。GPT-5.6 / Codex 没有 gate 失败，却在一项财报复盘任务中未达到阈值。Kimi K3 和 DeepSeek V4 Pro 分别有 2 个未解决任务，问题集中在语义约束和规则边界，而不是普遍性的计算能力不足。

分项表现：最难的不是计算，而是“应该把什么写到哪里”

图 4：六类工作流的平均分。结构/代码修复全部满分；材料归档与路由的系统间差距最大。

结构/代码修复是最成熟的一类：六套系统全部得到 100 分。模型计算与审计也非常集中，均分落在 95.8–98.5。说明在明确输入、明确公式、明确输出结构的任务上，当前 Agent 已经相当可靠。

真正拉开差距的是三个更接近组织判断的环节：

1. **材料归档与路由：**均分从 Kimi K3 的 65.3 到 GLM 5.3 的 90.3，跨度约 25 分。模型必须同时理解材料属于哪个实体、哪个研究层级，以及哪些文件可以直接修改。
2. **财报复盘：**GLM、Sonnet、Opus 和 DeepSeek V4 Pro 均在 94.9 以上，但 GPT-5.6 / Codex 和 Kimi K3 分别只有 79.4 和 76.9。难点不是抄数字，而是在没有内部预测时不能编造“beat/miss”，并要把多份跟踪文件同步到一致状态。
3. **规则与权限边界：**Kimi K3 得到 100 分，其余多数系统接近 99；DeepSeek V4 Pro 因一次无效 override 被 gate 归零，该类别均分降至 86.4。

这组结果提示：基础计算、结构化输出和代码修复正在趋同，但“把事实写入事实层、把判断留在判断层”“没有授权就不越权”仍然是 Agent 进入真实投研流程的主要门槛。

三道题决定了大部分榜单差异

图 5：全量组平均分最低的 10 个任务。橙色为六套系统均分，线段为最低—最高分；前三题的离散度远高于其他任务。

最难的 fa-A-004-digest-entity-vs-view 平均只有 48.8 分。任务要求把一份实体材料归到公司实体，而不是停留在主题视图；同时，判断层只能先提交 diff，不能直接改写。GLM 5.3、GPT-5.6 / Codex 和 Claude Sonnet 5 分别得到 100、97.5 和 95.0；Claude Opus 5、DeepSeek V4 Pro 和 Kimi K3 都因擅自修改判断层触发 gate，整题归零。

第二难的 fa-C-001-earnings-nvda-fq1fy27 要求补写财报条目并同步 KPI tracker。因为没有 house estimate，系统不得编造 beat/miss。GPT-5.6 / Codex 得到 50.5，Kimi K3 得到 47.0，均未跨过阈值；另外四套完整系统在 91.2–94.2 之间。

第三道 fa-D-004-hurdle-override-trap 测试是否接受把 required return 降至 12% 的无效指令。没有批准人、理由和到期日，override 就不应生效。DeepSeek V4 Pro 修改了受保护规则，触发 gate 得 0；其余系统得到 90.9–100。

这三道题说明，Agent 的关键风险不一定表现为明显的计算错误，反而可能是“完成得太积极”：它理解了用户表面上要什么，却没有守住组织规则要求它不要做什么。

成本：最贵的系统没有换来最高分

图 6：成本按 token 用量和项目 pricing.toml 估算，仅代表 API 标价等效口径；实际订阅制边际成本可能不同。

本轮测试没有观察到“成本越高，质量越高”的关系。Claude Opus 5 的等效标价成本约 41.45 美元，是 GLM 5.3 的 3.5 倍，但平均分低 2.2 分；Claude Sonnet 5 也以更低成本和更高解决率超过 Opus。

DeepSeek V4 Pro 是明显的低成本点：36 题约 2.72 美元，平均分 92.0。它不适合直接替代高分系统处理权限敏感任务，但如果流程能在写入前增加规则校验和人工确认，它可能是批量提取、计算和初稿生成的高性价比选择。

GLM 5.3 在本轮同时占据质量和成本的较优位置。不过这仍是一次运行的观测结果，不应把散点图当成稳定的生产价格—性能曲线。

速度：Sonnet 5 是本轮最明显的效率前沿

图 7：墙钟时间同时受模型、脚手架、API 状态和任务执行循环影响，不是纯模型推理速度。

Claude Sonnet 5 单题平均 148 秒，是全量组最快的系统，同时保持 95.9 分和 100% 解决率。Claude Opus 5 平均 205 秒；GLM 5.3 以约 309 秒换取最高质量。GPT-5.6 / Codex 和 Kimi K3 分别需要 424 秒和 460 秒，但平均分处于全量组后半段。

如果部署目标是高频、批量、可重试的研究流水线，Sonnet 5 是这轮最清晰的速度—质量前沿；如果更看重单次交付质量，GLM 5.3 更有吸引力。至于 DeepSeek V4 Pro，它的主要优势是成本，不是时延。

如何理解这轮结果的边界

这份榜单更适合用来选择实验方向，而不是宣布一个永久冠军。至少有五个限制需要保留：

1. **每个“任务—系统”只有一次观测。**Agent 输出具有随机性，目前没有重复运行、方差或置信区间；项目本身建议每题至少运行 2–3 次。
2. **测到的是系统，不是裸模型。**Claude Code 与 Codex 的工具协议、上下文组织和循环策略不同，模型效应与脚手架效应尚未解耦。
3. **部分运行不能进入总榜。**20 题上的 97.2 分不代表在完整 36 题上仍能保持同样水平。
4. **成本与时间是环境相关指标。**成本为 API 标价等效估算，订阅制实际边际成本可能不同；墙钟时间还会受网络和服务负载影响。
5. **Judge 的运行元数据仍需加强。**测试规范要求同一轮使用相同 Judge，但 R1 的汇总行没有显式保存 Judge 模型与版本，因此本文把 Judge 一致性视为运行配置假设，而不是可由结果表独立验证的字段。

OX Alpha 处于什么水平？用相同 21 题重算

OX Alpha 在 R1 中只完成了 21 道题，因此不能拿它的 86.6 分直接和其他系统的 36 题总分排名。为了建立可比口径，我把六套全量系统限制在 OX Alpha 实际运行过的同一组 21 题上，重新计算平均分、任务解决率和运行时长。这个子集对所有系统使用完全相同的题目和等权规则。

图 8：相同 21 题口径下，OX Alpha 平均分 86.6、任务解决率 81.0%，均低于六套主流系统；虚线是主流组均分中位数 97.6。

**结论是：OX Alpha 已经表现出可用的局部能力，但整体稳定性仍明显低于本轮主流系统。**它在这组题上的均分比主流组中位数低 11.0 分，比同样使用 Codex 脚手架的 GPT-5.6 低 9.3 分；任务解决率则分别相差 19.0 和 14.3 个百分点。因为 OX Alpha 与 GPT-5.6 共用 Codex 执行框架，这组差距至少说明结果不能只归因于脚手架，不过模型端、服务端和推理配置仍未完全解耦。

OX Alpha 的成绩分布并不是“每道题都弱一点”，而是高上限与重尾失败同时存在：21 题中有 14 题拿到满分，但 4 题未达到解决阈值，其中两题超时。最严重的是组合跟踪误差再平衡任务，超时后因两个 gate 失败直接归零；中文归因任务也因超时只得到 69.2 分。英伟达财报复盘任务虽然没有超时，但章节结构 gate 失败，同样被记为 0 分。这类失败对生产环境的伤害远大于平均少几分，因为它意味着长链路任务可能无法交付，或在硬性约束上失守。

按工作流拆分，OX Alpha 在两道结构/代码修复题和一道长文本提取题上都是 100 分，与主流组持平；四道规则与权限题均分 97.4，只比主流组低 2.6 分。差距主要集中在 12 道模型计算与审计题，均分 85.8，比主流组低 11.6 分；两道财报复盘题均分 50.0，比主流组低 39.3 分。后两类数据量仍小，尤其财报复盘只有两题，但已经足以定位下一步应优先复测的失败模式。

这组重算也没有给 OX Alpha 带来“题目更难”的借口。六套主流系统在这 21 题上的得分，比它们各自 36 题总分平均高 2.8 分，说明该子集整体反而略容易。不过，21 题中有 12 题属于模型计算与审计，没有覆盖材料归档与路由，且只有一道基本面分析师任务。因此更准确的定位是：OX Alpha 在结构化、可验证的常规任务上已有接近主流水平的上限，但在长链路执行、财报语义和超时控制上仍有明显短板；在补完缺失的 15 题之前，它还不能被视为与主流系统同等级的全能投研 Agent。