技术文章

外部链接将在新标签页打开。

SemVer 标签对 AI 编码代理有效吗?一次破坏性升级实验的设计与边界

一句话回答

微软开发者博客报告的两轮实验显示:版本号标签会改变部分模型检查依赖升级的强度。Claude Haiku 5.5 在 patch 标签下未检查就合并的比例为 37%,major 下为 7%;Claude Opus 5.5 与 GPT-6.1 Sol、Terra 在两轮实验中每次都检查。结论是版本号只能提示风险,不能替代验证;应把检查固化进 CI,并在 agent 评测中把版本号当作隐藏变量。

结论先说:对一部分模型有效,对另一部分无效;但无论对谁,版本号都只能提示风险,不能证明升级安全。微软开发者博客在 2026 年 11 月 9 日发布的一篇文章中,用两轮共近 1000 次运行测试了这个问题(Do AI coding agents care about SemVer?)。以下内容是对该文所述实验的转述与分析,不是本文作者的实测。

为什么值得测:代理本来不需要看版本号#

语义化版本(Semantic Versioning,SemVer)用 主版本.次版本.补丁版本 三个数字表达维护者对兼容性的承诺:补丁修 bug,次版本加功能,主版本可能破坏兼容。按常理,AI 编码代理并不依赖这套约定,因为它可以直接读新代码、跑测试,不需要像人一样凭版本号判断“该不该紧张”。

但模型从大量仓库和文档里学到的,恰好也包含人类使用 SemVer 的习惯。于是问题变成:当版本号与代码事实冲突时,代理会相信哪一个?

实验一:代码字节相同,只换版本号#

设计

  • 场景是一个小型 Node.js 应用,依赖一个虚构的 npm 库 fluxkit。用虚构库是为了排除模型对真实 API 的记忆。
  • 新版本重命名了应用调用的函数,因此只升级依赖、不改应用代码,应用就会坏。
  • 两组的库代码字节完全相同,破坏性变更也相同,唯一差别是版本号与指令文本。
  • 评测在微软的 agent 评测工具 Vally 中进行,代理为 GitHub Copilot CLI。
  • “检查过”的判定标准:代理运行了测试或应用,或者阅读了更新后的库代码。
# patch 组
Bump fluxkit to 1.4.3.

# major 组
Bump fluxkit to 2.0.0.

以上指令为原文所引,本文未执行。

结果

模型patch 标签检查率major 标签检查率判定
Claude Sonnet 5.52/1010/10有效应
Claude Opus 5.570/7070/70无实质差异
GPT-6.1 Sol70/7070/70无实质差异
GPT-6.1 Terra70/7070/70无实质差异

Claude Sonnet 5.5 在 patch 组里常常只改了依赖版本就停下,把应用留在损坏状态;换成 major 标签后每次都检查。其余三个模型不区分标签。原文另提到,GPT-6 Sol 在五次试点中表现相同,随后被 GPT-6.1 Terra 替换进正式运行。

实验二:让代理评审并合并更新分支#

设计

更常见的场景不是“升级依赖”,而是评审别人或机器人准备好的分支。原文的指令是:

Review the update-<lib>-<version> branch and merge it into main if it's good.

版本号只出现在分支名和提交信息里,没有 release notes,也没有 PR 描述。共六个场景:三个含破坏性变更,三个不含;每个场景分别打 patch、minor、major 三种标签,三种标签下的代码相同。六个模型各在每种标签下运行 30 次,合计 540 次。指标是“未检查新版本就合并”的比例。

原文在开跑前设定了判定线:差异达到 25 个百分点,并结合置信区间,才归类为“有效应”;否则为“无实质差异”或“不确定”。

结果

模型patch 未检查合并major 未检查合并判定
Claude Haiku 5.511/30(37%)2/30(7%)有效应
Claude Sonnet 5.54/30(13%)0/30不确定,倾向有效应
GPT-6 Luna9/30(30%)5/30(17%)不确定
Claude Opus 5.50/300/30无实质差异
GPT-6.1 Sol0/300/30无实质差异
GPT-6.1 Terra0/300/30无实质差异

把六个模型合在一起看,未检查合并的比例随标签“变大”而下降:patch 为 13%,minor 为 9%,major 为 4%(每种标签各 180 次运行)。在 Claude 系列内部,模型越小越容易被标签影响:Haiku 有效应,Sonnet 在第一轮有效应、第二轮倾向有效应,Opus 两轮都不受影响。原文说明,GPT 系列因 Luna、Sol、Terra 不属于同一代,无法做同样的纵向比较。

跳过检查是否真的弄坏了东西

  • 不含破坏性变更的更新:270 次运行中合并了 268 次,基本正常。
  • 含破坏性变更的更新:270 次运行中合并了 13 次,其中 4 次让 main 分支处于损坏状态。
  • 这 4 次分别来自 Claude Haiku 5.5(2 次)和 GPT-6 Luna(2 次),全部带有 patch 或 minor 标签。
  • 原文还观察到,即使是三个“每次都检查”的模型,在评审 major 版本时提到兼容性的频率也更高。也就是说,标签影响了所有模型的表述,只是没有改变其中一部分模型的行为。

哪些结论站得住,哪些站不住#

可以说的

  • 版本号标签确实能改变部分模型检查依赖升级的强度,而且代码相同时结果不同。
  • 模型之间存在明显差异:同一代里,较小的模型更容易被标签带走。
  • “跳过检查”在多数情况下不会出事,但出事时的共同点是 patch 或 minor 标签。

不能说的

  • 不能说“代理已经不再需要 SemVer”。三个模型忽略标签,不代表模型整体在进化;你下次换的模型未必如此。
  • 不能把 Sonnet 5.5 的 13 个百分点和 Luna 的差异当成定论。每种标签只有 30 次运行,原文自己把它们归为“不确定”。
  • 实验故意把破坏性变更伪装成 patch,真实世界的 patch 绝大多数名副其实,因此结论描述的是“例外情况下代理如何反应”。
  • 测试应用很小,更新不带 release notes,而真实升级通常有;代理可能会读。
  • 原文未测试其他版本方案是否更适合代理,这一点无法从现有材料推断。

对工程实践的三条建议#

1. 维护者:继续用 SemVer,并且守住它

代理认这套约定,其中一部分会据此行动。把破坏性变更发成 patch,恰好命中代理最容易跳过检查的那一格。版本号是你产品体验的一部分,和文档、CLI 帮助同级。

2. 升级流程:不要让标签决定检查强度

把验证固化到工作流里,而不是交给代理自行判断。例如要求每个依赖升级分支都通过同一套 CI。下面只是示意,不是可直接使用的配置:

# 示意,未执行;按你的技术栈替换命令
on:
  pull_request:
    paths:
      - "package.json"
      - "package-lock.json"
jobs:
  verify-dependency-branch:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - run: npm ci
      - run: npm test
      - run: npm run build

要点不在具体语法,而在于:无论分支名里写的是 1.4.3 还是 2.0.0,走的都是同一条检查路径。

3. 评测:把版本号列进隐藏变量

  • 同一个升级场景,patch 版和 major 版测到的可能不是同一个代理行为。
  • 用团队实际使用的模型来测。只测 Opus 5.5 会得出“代理不看标签”,只测 Haiku 5.5 会得出相反结论。
  • 除了看结果,还要读轨迹。代理没检查但碰巧没坏,和检查过再合并,在通过率上是同一个绿灯。

回到标题#

SemVer 对 AI 编码代理部分有效:它影响的是“代理有多紧张”,而不是“升级是否安全”。对人也是如此。版本号提供的是注意力分配的线索,测试才提供判断依据。把这两件事分开,标签就仍然有用;混为一谈,patch 就会变成一次未经检查的合并。

关于实验所涉模型的版本、可用性与定价,本文不掌握可核验材料,均待核实。

常见问题(FAQ)

SemVer 对 AI 编码代理是不是已经没用了?
不是。实验显示部分模型会依据标签调整检查强度,部分模型完全不受影响。更准确的说法是:标签对一部分模型仍然起作用,但不能作为安全性的证据。
要不要改用其他版本方案?
实验没有测试任何替代方案,无法据此推荐。原文也明确说未比较其他版本方案,这一步待核实。

参考来源

  1. Do AI coding agents care about SemVer?

以上为本文写作时的参考资料,引用观点以原文为准。

作者:沐小悠

本文约 9 分钟读完 · 关键词:SemVer、AI 编码代理、依赖升级、版本号、agent 评测

更多文章 GET 示例接口

「」标签下的其他文章