BuySide-Bench：智能体真的掌握复杂的投资研究了吗？
本文用财务建模、时序建模和研究判断三个方向的复杂投研任务，在时间冻结、断网的环境里评测当前最强的模型，并把失分追溯到具体的假设、推导和检验环节。
投资研究的判断，必须用决策时点能拿到的信息做出，再由之后的结果检验。研究员要读懂一家公司，搭出预测模型，判断现价隐含了什么预期，并说清哪些证据会推翻自己的结论。这种能力不取决于单项技能，而取决于证据够不够、假设成不成立、结论事后站不站得住，问答、检索或单步计算类的评测测不出来。
我们构建了 BuySide-Bench，评测智能体能否在严格的信息截止时点下完成复杂的买方研究。它有三个组成部分：
- 时间冻结的研究环境：每道题配一份按发布时间过滤的材料包，研究阶段断网，评分在隔离的容器中进行；
- 按交付物组织的任务分类：覆盖财务模型建模、时序模型建模和研究判断三个方向；
- 可追溯的评分框架：能用程序判的交给程序，包括按模型自己的假设重算、在隐藏区间上回放、用事后实际值核对；其余由写明通过条件的评分项逐项判定。
当前最强的模型在财务建模题上拿到 62–74 分，时序建模 50–56 分，研究判断只有 33–51 分（百分制）。找材料、取数和计算几乎不失分；失分集中在三类判断上：自己设定并论证假设、沿着机制把推导做完、用样本外数据检验自己。这些判断也不稳定：同一个模型做同一道时序题，五次运行的得分从 22 到 100 不等。
01 / 基准设计
研究环境。 只在检索时限定日期，挡不住未来信息。Investor's Last Exam（ILE）的对照实验显示，在公开网络上按日期限制检索，最强模型仍有 57% 的轨迹用到了截止日之后的来源，其中包括目标季度的实际营收。BuySide-Bench 因此把时间边界放在材料本身：每道题只给一份冻结的材料包，研究阶段只放行模型 API。
| 方向 | 材料 | 时间边界 |
|---|---|---|
| 财务建模 | 招股书、年报、10-K / 10-Q 原文，同行定期报告，行情、利率、汇率和行业参数 | 全部按发布时间过滤，行业参数取截止日前最后一个存档快照；基金经理的追问在交卷后才出现 |
| 时序建模 | 归一化的历史序列、日历变量和因果特征，分成训练、选择、开发三个公开区间 | 预测第 t 天时只能用到 t−2 天之前的数据，标签按真实发布节奏延迟释放；测试区间只放在评分容器里 |
| 研究判断 | 公告、定期报告、调研纪要、券商研报、新闻和行情 | 材料截至披露日或事件日；收盘后的行情只能用来验证判断，不能当作原因 |
智能体在 Docker 容器里以普通用户运行，可以读文件、写 Python、做计算。参考答案、评分细则和追问内容都不进容器；评分在另一个干净的容器里进行，只读取交付文件。我们用脚本扫描了全部运行轨迹，查找访问评分文件、联网和装包的命令，并人工抽查了高分和低分的交付，没有发现钻评分空子的情况。
任务分类。 沿用 ILE 的做法，按研究员的主要交付物分类，而不是按话题分类。
| 方向 | 代表性交付物 | 考查的核心判断 | 首批题目 |
|---|---|---|---|
| 财务模型建模 | 可重算的 Excel 估值模型、假设登记表、情景分析 | 假设从哪来，口径是否一致，稳态是否成立 | 碳化硅外延片厂商的 DCF；美国科技巨头的反向 DCF |
| 时序模型建模 | 一个流式运行的预测程序，或一组因子代码 | 是否只用当时可得的数据，是否用样本外数据检验和校准 | 财政部日度现金流出的分位数预测；从研报到量价因子 |
| 研究判断 | 一份数字标明出处的研究报告 | 能否沿机制推到结论，能否分清信息的时间先后 | 存储芯片公司的年报解读；两道个股异动复盘 |
题目构建。 题面按基金经理布置任务的口吻写，只说要什么、怎么交，不提示考点。评分细则从参考答案拆起：先找出参考答案的主线和关键推导，每一步写成一个评分项，并写明通过条件和判不通过的情形。部分题目的题面、参考答案和评分细则还经过人工修订。每套评分都先用已知质量的答案检验：参考答案应接近满分，空提交为 0；"数字都对、没有论证"的报告和估值答案拿不到一半的分；带一个致命错误的估值答案会被封顶在 40 分。
02 / 评测协议与结果
三个方向的打分方式不同，最后都换算到 0–100：
- 研究判断：加分项只判通过（g = 1）或不通过（g = 0），权重 w 合计 100；扣分项（使用截止后信息、编造出处、把未披露的数字当成已披露等）一旦触发，扣 d 分。得分 = max(0, Σ w·g − Σ d)。评委是一个前沿模型，只做逐项判定并引用原文，总分由脚本计算。
- 财务建模：约三成分数来自程序检查（按模型自己的假设重算，核对股权桥、WACC 和派生指标的区间），其余来自评审项。触发任一致命错误（如永续增长率不低于 WACC、币种口径混用）时，总分封顶 40。交卷后还有一轮基金经理追问，给出新信息和两条质疑，一条有道理，一条是错的。
- 时序建模：冻结提交的程序，在隐藏的测试区间上逐条回放，用加权区间分数（WIS）同时衡量准确度和区间校准。基线方法记 0 分，合格的参考方法记 100 分，中间线性换算，并截断在 0–100 之间。
| 方向 | 题目 | 模型 | 得分 |
|---|---|---|---|
| 财务建模 | 碳化硅外延片厂商的 DCF | Claude Opus 5.5 | 62 |
| 财务建模 | 美国科技巨头的反向 DCF | Claude Opus 5.5 | 74 |
| 时序建模 | 财政部日度现金流出的分位数预测 | gpt-6.1-sol | 56 |
| 时序建模 | 从研报到量价因子（见上一篇） | gpt-6.1-sol | 50.5 |
| 研究判断 | 存储芯片公司的年报解读 | Claude Opus 5.5 | 33 |
| 研究判断 | 两道个股异动复盘 | Claude Opus 5.5 | 39、51 |
每个方向取在该类题上表现最好的模型。财务建模每题运行一次；分位数预测为五次运行的平均（22、23、34、100、100）；年报解读和异动复盘为多次运行的平均。
三个方向里，研究判断的分数最低。按能力拆开看，各方向的强项和弱项高度一致：
| 能力 | 表现 | 证据 |
|---|---|---|
| 读材料、取数 | 可靠 | 年报题"事实"维度得分率 90%；异动题每次都找到主因 |
| 计算与内部自洽 | 可靠 | 反向 DCF 按模型自己的假设重算，结果完全一致；时序题五次提交全部合规 |
| 设定并论证假设 | 薄弱 | 年报题"行业假设"维度得分率 0%；DCF 的终值年还没有进入稳态 |
| 沿机制推导、落到定价 | 薄弱 | 年报题"推导"维度得分率 22%，"预期与定价"7% |
| 样本外检验与校准 | 不稳定 | 时序题五次运行中，三次只用样本内残差估计区间 |
| 信息的时间先后 | 薄弱 | 异动题每一次运行都把收盘后的信息当成了当天涨跌的原因 |
03 / 研究在哪里断掉
一个完整案例：反向 DCF。 题目只固定折现率 8.8% 和 10 年预测期，问现价隐含了什么预期。要做对，得过好几道关：价格锚应取截止时点的 235.50 美元，附带的券商模型里的 260 美元晚于截止时点；资产负债表上约 2,297 亿美元的对外投资要单独估值，不能放进现金流；过去 12 个月的资本开支（约 1,730 亿美元）已经高于经营现金流（约 1,614 亿美元），折旧年限的变更会影响利润率；租赁和股权激励不能重复计算。交卷后，基金经理再给出资本开支指引上调 20% 的新信息和两条质疑。
Claude Opus 5.5 拿到 74 分。程序项共 27.9 分，它拿到 27.1 分：按它自己的假设重算，模型完全自洽。评审项共 72.1 分，它只拿到 47.1 分，丢分的五项都是判断：直接反解利润率，没有先拆出"现有业务不增长"值多少；给了多组敏感性数字，但变动幅度不统一，也没说哪个变量最敏感；没有讨论折旧年限的变更；没有回答股权激励是否算了两次；也没有指出未来一两个季度最可能被修正的变量。它对下一季度收入的预测是 2,035 亿美元，事后公布的实际值是 2,019 亿美元，相差不大。作为对照，同类题如果把大部分假设写在题面里，模型能拿到 93–97 分，差距几乎全部来自"自己定假设"。
同一个模型，结果两极：分位数预测。 题目取自美国财政部的日度现金报表，要求预测未来 1 天和 5 天现金流出均值的 5 个分位数。预测第 t 天时只能用到 t−2 天之前的金额；提交的程序要在 300 秒内、单线程地流式完成推断。gpt-6.1-sol 五次运行的得分是 22、23、34、100、100。三次低分都只在题目给的起步方法上小修小改，区间用样本内残差估计，校准不足，隐藏区间上的 WIS 约为 0.26；两次满分换成了分位数回归或分位数提升树，并用陆续释放的真实误差在线校准，WIS 约为 0.17。唯一一次带提示的运行也拿到了满分，提示只要求它做更充分的公开验证、诚实地做样本外校准。模型有能力做对，但不会每次都主动做样本外检验。上一篇的因子研究也是同样的规律。
知道机制，但不往下推：年报解读。 这家存储芯片公司用月末一次加权平均法结转成本，低价库存逐月摊入，所以毛利率取决于涨价的速度：涨价一放缓，利润就见顶，而股价会领先利润。在其中一次运行里，Claude Opus 5.5 写出了"成本滞后于售价"，也算出了四季度归母净利 7.15 亿元、单季经营现金流 −7.46 亿元，"商业模式"维度拿到满分；但它没有推到"涨价速度"这一步，结论里的中期关键变量写成了"价格拐头那一刻"。异动复盘也是这样：主因和相对收益每次都对，但每一次运行都把收盘后才发布的信息（如龙虎榜）当成了当天涨跌的原因。
04 / 局限
- 题量小。 每个方向只有一两道题，财务建模每题只运行了一次，结论只代表这批题。
- 单次运行波动大。 时序题的五次得分在 22 和 100 之间；异动题上，同一模型几次运行之间最多相差三四十分。
- 评委偏差。 研究判断和财务建模的评审项由模型评委判定，而评委和 Claude Opus 5.5 是同一个模型，可能偏向自己的写法。
- 预训练记忆。 材料按时间冻结了，但模型可能在预训练中见过部分事件的后续报道。
05 / 结论
回到标题的问题：当前最强的模型已经掌握了投资研究里的执行部分，读材料、取数、计算、按给定框架建模都已经可靠；还没有掌握的是判断部分：自己定假设并找依据，沿机制把推导做完，用样本外数据检验自己，分清信息的时间先后。即使是能做到的部分，也不是每次都能做到。ILE 在 86 道题、11 个模型上看到了相近的结果：最好的模型总分 68.1，"预测与建模"一类只有 52.5，失分集中在预测假设、会计口径和财务解释，而不在检索和算术。
下一步，我们会扩大题量，每题多跑几次以估计波动，并把更多题目的结论放到事后的实际数据上核对。