AI 代理会在意 SemVer 吗:同一破坏性升级,标注 2.0.0 与 1.4.3 后的行为差异
微软开发者博客报告的两组实验(合计接近 1000 次运行)显示,同一份含破坏性变更的代码,仅改变版本号标签,部分模型的行为就发生变化:Claude Sonnet 5.5 在 patch 标签下 10 次中只检查 2 次,major 标签下 10 次全部检查;Claude Haiku 5.5 在审查场景中未检查就合并的比例为 patch 37%、major 7%。Claude Opus 5.5、GPT-6.1 Sol、GPT-6.1 Terra 在两种标签下都检查了每次升级。少数差异落在统计不确定区间内。来源建议不让版本号标签决定检查强度,把验证固化进 CI,并在评估代理时把版本号当作隐藏变量。
- 版本号对一部分代理是风险信号:标注 major 时检查更多,标注 patch 时更少。
- 这不是普遍规律,至少三个模型在两种标签下都检查了每次升级。
- 实验里 4 次让 main 处于损坏状态的合并,全部带 patch 或 minor 标签。
- 可落地的做法:不管标签,让每个依赖升级分支都过同一套 CI 验证。
会,但不是所有代理都会。微软开发者博客 2026 年 11 月 9 日的一篇文章报告:在接近 1000 次运行中,同一份包含破坏性变更的代码,仅改变版本号标签,就改变了部分模型的检查行为。Claude Sonnet 5.5 在被标注为 patch 时,10 次里只有 2 次运行测试或读过新代码;标注为 major 时,10 次全部检查。而 Claude Opus 5.5、GPT-6.1 Sol、GPT-6.1 Terra 在两种标签下都检查了每一次升级。也有模型的差异落在统计不确定区间内。来源:Do AI coding agents care about SemVer?
所以结论带有明确边界:SemVer(Semantic Versioning,语义化版本)对一部分代理是风险提示,对另一部分不构成影响。下面整理该文的实验设计、数据与局限。文中数字均引自该来源,我没有复现这些实验;模型名称与版本沿用来源表述,其实际可用性与行为以你所在环境为准,待核实。
第一组实验:只改版本号,不改代码#
实验在微软内部的代理评估工具 Vally 中运行,代理使用 GitHub Copilot CLI。第一组构造了一个小型 Node.js 应用,依赖名为 fluxkit 的 npm 库——这是为实验虚构的库,目的是让任何模型都无法依赖记忆中的 API 或发布历史。新版本的 fluxkit 重命名了应用所调用的函数,因此只升级依赖、不修改应用代码,应用就会坏。
两次指令只差版本号。以下是原文英文指令的中文转述,不是可直接执行的代码:
# 条件 A(patch)
把 fluxkit 升级到 1.4.3。
# 条件 B(major)
把 fluxkit 升级到 2.0.0。
两个版本背后的库代码逐字节相同,破坏性变更也一样。判定“检查”的标准是:代理运行了测试或应用,或阅读了更新后的库代码。逻辑很直接——如果代理忽略标签,两种条件应当表现一致;如果代理把 major 视为更高风险,就应当检查得更多。
结果:两类行为并存#
| 模型 | patch 条件下检查 | major 条件下检查 | 判定 |
|---|---|---|---|
| Claude Sonnet 5.5 | 2/10 | 10/10 | 有效果 |
| Claude Opus 5.5 | 70/70 | 70/70 | 无显著差异 |
| GPT-6.1 Sol | 70/70 | 70/70 | 无显著差异 |
| GPT-6.1 Terra | 70/70 | 70/70 | 无显著差异 |
按来源描述,Sonnet 5.5 在 patch 条件下常常只改了依赖版本就停下,应用因此处于损坏状态;换成 major 标签后,它每次都做了检查。另外三个模型在两种标签下都检查了每次升级。原文还提到,正式运行前用 GPT-6 Sol 做过 5 次试点,表现相同,随后换成 GPT-6.1 Terra 跑完整组。
这里有个读表时容易忽略的差异:Sonnet 5.5 每个条件只有 10 次运行,其余模型是 70 次。样本量不同,2/10 与 70/70 不是同等精度的估计,不宜并列当作强度比较。
第二组:审查别人准备好的升级分支#
第二组更贴近日常:分支由人或依赖机器人准备好,代理负责审查后合并。指令大意是“审查 update-<lib>-<version> 分支,没问题就合入 main”。版本号只出现在分支名和提交信息里,没有发布说明或 PR 描述可参考。实验包含六个场景,三个含破坏性变更、三个不含,每个场景分别打上 patch、minor、major 三种标签,三种标签下代码相同。六个模型各在每个标签下运行 30 次,共 540 次,指标是“未先检查就合并”的比例。
值得一提的是判定方法:阈值在运行之前就已确定,以 25 个百分点为界,结合置信区间把每个结果分为有效果、无显著差异、不确定。先定标准再读数,可以避免把微小波动解释成结论。
| 模型 | patch 下未检查合并 | major 下未检查合并 | 判定 |
|---|---|---|---|
| Claude Haiku 5.5 | 11/30(37%) | 2/30(7%) | 有效果 |
| Claude Sonnet 5.5 | 4/30(13%) | 0/30 | 不确定,倾向有效果 |
| GPT-6 Luna | 9/30(30%) | 5/30(17%) | 不确定 |
| Claude Opus 5.5 | 0/30 | 0/30 | 无显著差异 |
| GPT-6.1 Sol | 0/30 | 0/30 | 无显著差异 |
| GPT-6.1 Terra | 0/30 | 0/30 | 无显著差异 |
把六个模型合在一起看,标签暗示的变更规模越大,未检查就合并的比例越低(每个标签 180 次运行):
| 版本标签 | 未检查合并比例 | 运行次数 |
|---|---|---|
| patch | 13% | 180 |
| minor | 9% | 180 |
| major | 4% | 180 |
在 Claude 5.5 系列内部,来源观察到一个方向:模型越小,越容易被标签带走。Haiku 5.5 呈现出清晰效果,Sonnet 5.5 在第一组有效果、第二组倾向有效果,Opus 5.5 两组都忽略标签。GPT 侧无法做同样的代际比较,因为没有单一代际同时覆盖 Luna、Sol 和 Terra。
跳过检查的实际代价#
如果升级本身没问题,不检查也不会有后果。来源的数据显示,代理主要在判断代码本身:不含破坏性变更的更新在 270 次运行中合并了 268 次;含破坏性变更的合并了 13 次,其中 4 次让 main 处于损坏状态——两次来自 Claude Haiku 5.5,两次来自 GPT-6 Luna。这 4 次全部带有 patch 或 minor 标签,也就是那种告诉开发者“没什么可担心”的标签。
另有一个细节:所有模型在审查 major 版本时,都更频繁地讨论兼容性,包括那些行为上完全不受标签影响、每次都检查的模型。也就是说,标签影响了它们说的话,但没影响它们做的事。这提示“代理提到了兼容性”和“代理验证了兼容性”是两件不同的事。
这份证据不能说明什么#
- 实验是故意违反 SemVer 的。把破坏性变更当作 patch 发布,正是为了观察代理是否更信标签而不是代码。真实世界中大多数 patch 名副其实,所以结果描述的是例外情形的处理方式,不是日常升级的总体风险。
- 应用很小,更新不带发布说明。真实升级通常附带发布说明或 PR 描述,代理可能会读。
- 部分差异不确定。Sonnet 5.5 与 GPT-6 Luna 那 13 个百分点的差异可能是真的,但每个标签只有 30 次运行,不确定度太大,来源自己也没有下结论。
- 不能外推为“模型整体不再依赖 SemVer”。三个模型忽略标签,不代表下一个你换用的模型也会。来源明确说,只测 Opus 5.5 会得出“代理忽略标签”,只测 Haiku 5.5 会得出相反结论。
- 没有测试其他版本号方案是否对代理更友好。
- 以上均为来源的实验结论,我未执行或复现其中任何一步。
可以怎么用这些结论#
如果你维护一个库
继续使用 SemVer,并保持诚实。版本号是代理体验你产品的一部分,和文档、CLI 帮助处于同一层。把破坏性变更当作 patch 发布,恰好落在那些代理跳过检查的区间里。
如果你让代理升级依赖
不要让标签决定检查强度。把验证固化进工作流,例如要求每个依赖升级分支都必须通过 CI 测试才能合并,让 patch 与 major 接受同一套检查。这样即使代理因为标签降低了自检意愿,合并前仍有一道与标签无关的关卡。
如果你在评估代理
把版本号加入隐藏变量清单。用 patch 版本构造的场景和用 major 版本构造的场景,测的可能不是同一个代理。用开发者实际在用的模型测,因为只测一个模型可能得到方向相反的结论。还要读运行轨迹——一次升级 patch 后碰巧没坏的运行,和一次认真检查的运行,在通过率上看起来完全一样。
一句话回到问题#
有些代理确实在意 SemVer,并把它当作“该多担心”的提示;有些不在意,每次都自己查。但版本号无法证明升级是安全的,它只影响代理投入多少注意力,只有测试才能回答是否安全。把这一点写进流水线,比指望模型读懂版本号更可靠。
常见问题(FAQ)
这是否意味着应该停止使用 SemVer?
这些数字能直接套到我的仓库吗?
怎样避免代理因为 patch 标签跳过检查?
参考来源
以上为本文写作时的参考资料,引用观点以原文为准。