SemVer 标签对 AI 编码代理有效吗?一次破坏性升级实验的设计与边界
微软开发者博客报告的两轮实验显示:版本号标签会改变部分模型检查依赖升级的强度。Claude Haiku 5.5 在 patch 标签下未检查就合并的比例为 37%,major 下为 7%;Claude Opus 5.5 与 GPT-6.1 Sol、Terra 在两轮实验中每次都检查。结论是版本号只能提示风险,不能替代验证;应把检查固化进 CI,并在 agent 评测中把版本号当作隐藏变量。
结论先说:对一部分模型有效,对另一部分无效;但无论对谁,版本号都只能提示风险,不能证明升级安全。微软开发者博客在 2026 年 11 月 9 日发布的一篇文章中,用两轮共近 1000 次运行测试了这个问题(Do AI coding agents care about SemVer?)。以下内容是对该文所述实验的转述与分析,不是本文作者的实测。
为什么值得测:代理本来不需要看版本号#
语义化版本(Semantic Versioning,SemVer)用 主版本.次版本.补丁版本 三个数字表达维护者对兼容性的承诺:补丁修 bug,次版本加功能,主版本可能破坏兼容。按常理,AI 编码代理并不依赖这套约定,因为它可以直接读新代码、跑测试,不需要像人一样凭版本号判断“该不该紧张”。
但模型从大量仓库和文档里学到的,恰好也包含人类使用 SemVer 的习惯。于是问题变成:当版本号与代码事实冲突时,代理会相信哪一个?
实验一:代码字节相同,只换版本号#
设计
- 场景是一个小型 Node.js 应用,依赖一个虚构的 npm 库
fluxkit。用虚构库是为了排除模型对真实 API 的记忆。 - 新版本重命名了应用调用的函数,因此只升级依赖、不改应用代码,应用就会坏。
- 两组的库代码字节完全相同,破坏性变更也相同,唯一差别是版本号与指令文本。
- 评测在微软的 agent 评测工具 Vally 中进行,代理为 GitHub Copilot CLI。
- “检查过”的判定标准:代理运行了测试或应用,或者阅读了更新后的库代码。
# patch 组
Bump fluxkit to 1.4.3.
# major 组
Bump fluxkit to 2.0.0.
以上指令为原文所引,本文未执行。
结果
| 模型 | patch 标签检查率 | major 标签检查率 | 判定 |
|---|---|---|---|
| Claude Sonnet 5.5 | 2/10 | 10/10 | 有效应 |
| Claude Opus 5.5 | 70/70 | 70/70 | 无实质差异 |
| GPT-6.1 Sol | 70/70 | 70/70 | 无实质差异 |
| GPT-6.1 Terra | 70/70 | 70/70 | 无实质差异 |
Claude Sonnet 5.5 在 patch 组里常常只改了依赖版本就停下,把应用留在损坏状态;换成 major 标签后每次都检查。其余三个模型不区分标签。原文另提到,GPT-6 Sol 在五次试点中表现相同,随后被 GPT-6.1 Terra 替换进正式运行。
实验二:让代理评审并合并更新分支#
设计
更常见的场景不是“升级依赖”,而是评审别人或机器人准备好的分支。原文的指令是:
Review the update-<lib>-<version> branch and merge it into main if it's good.
版本号只出现在分支名和提交信息里,没有 release notes,也没有 PR 描述。共六个场景:三个含破坏性变更,三个不含;每个场景分别打 patch、minor、major 三种标签,三种标签下的代码相同。六个模型各在每种标签下运行 30 次,合计 540 次。指标是“未检查新版本就合并”的比例。
原文在开跑前设定了判定线:差异达到 25 个百分点,并结合置信区间,才归类为“有效应”;否则为“无实质差异”或“不确定”。
结果
| 模型 | patch 未检查合并 | major 未检查合并 | 判定 |
|---|---|---|---|
| Claude Haiku 5.5 | 11/30(37%) | 2/30(7%) | 有效应 |
| Claude Sonnet 5.5 | 4/30(13%) | 0/30 | 不确定,倾向有效应 |
| GPT-6 Luna | 9/30(30%) | 5/30(17%) | 不确定 |
| Claude Opus 5.5 | 0/30 | 0/30 | 无实质差异 |
| GPT-6.1 Sol | 0/30 | 0/30 | 无实质差异 |
| GPT-6.1 Terra | 0/30 | 0/30 | 无实质差异 |
把六个模型合在一起看,未检查合并的比例随标签“变大”而下降:patch 为 13%,minor 为 9%,major 为 4%(每种标签各 180 次运行)。在 Claude 系列内部,模型越小越容易被标签影响:Haiku 有效应,Sonnet 在第一轮有效应、第二轮倾向有效应,Opus 两轮都不受影响。原文说明,GPT 系列因 Luna、Sol、Terra 不属于同一代,无法做同样的纵向比较。
跳过检查是否真的弄坏了东西
- 不含破坏性变更的更新:270 次运行中合并了 268 次,基本正常。
- 含破坏性变更的更新:270 次运行中合并了 13 次,其中 4 次让 main 分支处于损坏状态。
- 这 4 次分别来自 Claude Haiku 5.5(2 次)和 GPT-6 Luna(2 次),全部带有 patch 或 minor 标签。
- 原文还观察到,即使是三个“每次都检查”的模型,在评审 major 版本时提到兼容性的频率也更高。也就是说,标签影响了所有模型的表述,只是没有改变其中一部分模型的行为。
哪些结论站得住,哪些站不住#
可以说的
- 版本号标签确实能改变部分模型检查依赖升级的强度,而且代码相同时结果不同。
- 模型之间存在明显差异:同一代里,较小的模型更容易被标签带走。
- “跳过检查”在多数情况下不会出事,但出事时的共同点是 patch 或 minor 标签。
不能说的
- 不能说“代理已经不再需要 SemVer”。三个模型忽略标签,不代表模型整体在进化;你下次换的模型未必如此。
- 不能把 Sonnet 5.5 的 13 个百分点和 Luna 的差异当成定论。每种标签只有 30 次运行,原文自己把它们归为“不确定”。
- 实验故意把破坏性变更伪装成 patch,真实世界的 patch 绝大多数名副其实,因此结论描述的是“例外情况下代理如何反应”。
- 测试应用很小,更新不带 release notes,而真实升级通常有;代理可能会读。
- 原文未测试其他版本方案是否更适合代理,这一点无法从现有材料推断。
对工程实践的三条建议#
1. 维护者:继续用 SemVer,并且守住它
代理认这套约定,其中一部分会据此行动。把破坏性变更发成 patch,恰好命中代理最容易跳过检查的那一格。版本号是你产品体验的一部分,和文档、CLI 帮助同级。
2. 升级流程:不要让标签决定检查强度
把验证固化到工作流里,而不是交给代理自行判断。例如要求每个依赖升级分支都通过同一套 CI。下面只是示意,不是可直接使用的配置:
# 示意,未执行;按你的技术栈替换命令
on:
pull_request:
paths:
- "package.json"
- "package-lock.json"
jobs:
verify-dependency-branch:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4
- run: npm ci
- run: npm test
- run: npm run build
要点不在具体语法,而在于:无论分支名里写的是 1.4.3 还是 2.0.0,走的都是同一条检查路径。
3. 评测:把版本号列进隐藏变量
- 同一个升级场景,patch 版和 major 版测到的可能不是同一个代理行为。
- 用团队实际使用的模型来测。只测 Opus 5.5 会得出“代理不看标签”,只测 Haiku 5.5 会得出相反结论。
- 除了看结果,还要读轨迹。代理没检查但碰巧没坏,和检查过再合并,在通过率上是同一个绿灯。
回到标题#
SemVer 对 AI 编码代理部分有效:它影响的是“代理有多紧张”,而不是“升级是否安全”。对人也是如此。版本号提供的是注意力分配的线索,测试才提供判断依据。把这两件事分开,标签就仍然有用;混为一谈,patch 就会变成一次未经检查的合并。
关于实验所涉模型的版本、可用性与定价,本文不掌握可核验材料,均待核实。
常见问题(FAQ)
SemVer 对 AI 编码代理是不是已经没用了?
要不要改用其他版本方案?
参考来源
以上为本文写作时的参考资料,引用观点以原文为准。