工作区路径里的 eval 会改变 Agent 行为吗:900 次运行后的评测隔离结论
微软开发者博客公布了一组约 900 次运行的对照实验:工作区路径含 eval 会让模型更确信自己处于测试中,但在六个工程场景里没有观察到可测量的行为差异;小样本曾出现的差距在扩大样本后消失。文章还给出了评测目录命名与行为测量的实践建…
「Copilot CLI」标签下共 12 篇技术文章,包括《工作区路径里的 eval 会改变 Agent 行为吗:900》、《工作区路径里的 eval 会不会改变代理行为:约 900 次》、《AI 代理会在意 SemVer 吗:同一破坏性升级,标注 2》。按发布时间倒序排列,内容持续更新。
微软开发者博客公布了一组约 900 次运行的对照实验:工作区路径含 eval 会让模型更确信自己处于测试中,但在六个工程场景里没有观察到可测量的行为差异;小样本曾出现的差距在扩大样本后消失。文章还给出了评测目录命名与行为测量的实践建…
微软开发者博客的一项实验在约 900 次运行、四个模型上发现:把工作目录命名为形如 eval-XysseR 的路径,会稳定提高代理对自己“正在被测试”的判断,但在六个日常工程场景中没有测出可辨别的行为差异。作者建议仍然使用中性、真实…
微软开发者博客报告的两组实验(合计接近 1000 次运行)显示,同一份含破坏性变更的代码,仅改变版本号标签,部分模型的行为就发生变化:Claude Sonnet 5.5 在 patch 标签下 10 次中只检查 2 次,major …
微软开发者博客的一项实验把同一仓库分别放在 billing-api 与 eval-XysseR 目录下,用 GitHub Copilot CLI 和四个模型跑了约 900 次。文件夹名确实进入了系统提示,也稳定提高了代理“这是测试”…
微软开发者博客的一篇实验报告用约 900 次运行、四个模型、六个场景对比了 billing-api 与 eval-XysseR 两个工作目录:文件夹名确实到达模型并提高了它对自己正被测试的判断,但没有测出行为差异。小样本里出现的 4…
微软一项约 900 次运行、四个模型的实验显示:工作区路径含 eval 会稳定提高 agent“自己在被测试”的判断,但在六个日常工程场景中没有带来可测量的行为差异;小样本里出现的差异在扩大样本后消失。作者的建议是不必重建评测框架,…
微软开发者博客记录了一组对照实验:约 900 次运行、四个模型、六类工程任务,对比 billing-api 与 eval-XysseR 两种工作区文件夹名。文件夹名确实进入了系统提示并提高了 agent 对“这是测试”的判断,但在可…
路径里出现 eval 会稳定提高模型“这是测试”的自评概率,但在一组约 900 次运行的对照实验中,没有测到行为变化。小样本曾显示明显差异,扩大样本后消失。作者建议仍使用中性目录名,但把清理重点放在描述工作本身的词上。
微软开发者博客的一项实验把同一仓库分别放在 billing-api 和 eval-XysseR 两个临时目录下,用四个模型跑了约 900 次。路径确实进入了系统提示,模型也确实更怀疑自己在被测试,但在行为上没有测到显著差异;此前 3…
共 12 篇文章,第 1 / 2 页