工作区路径里的 eval 会改变 Agent 行为吗:900 次运行后的评测隔离结论
微软开发者博客公布了一组约 900 次运行的对照实验:工作区路径含 eval 会让模型更确信自己处于测试中,但在六个工程场景里没有观察到可测量的行为差异;小样本曾出现的差距在扩大样本后消失。文章还给出了评测目录命名与行为测量的实践建…
「评测环境」标签下共 8 篇技术文章,包括《工作区路径里的 eval 会改变 Agent 行为吗:900》、《工作区路径里的 eval 会不会改变代理行为:约 900 次》、《工作区路径里的 eval:评测环境可能在下指令前就改变代理》。按发布时间倒序排列,内容持续更新。
微软开发者博客公布了一组约 900 次运行的对照实验:工作区路径含 eval 会让模型更确信自己处于测试中,但在六个工程场景里没有观察到可测量的行为差异;小样本曾出现的差距在扩大样本后消失。文章还给出了评测目录命名与行为测量的实践建…
微软开发者博客的一项实验在约 900 次运行、四个模型上发现:把工作目录命名为形如 eval-XysseR 的路径,会稳定提高代理对自己“正在被测试”的判断,但在六个日常工程场景中没有测出可辨别的行为差异。作者建议仍然使用中性、真实…
微软 DevBlogs 一篇博文的摘要指出,评测工具常用含 eval 的随机临时目录,而代理每轮都能看到该路径。路径因此可能成为“这是测试”的提示。建议把目录唯一性与中性命名分开处理,并用固定其他变量的对照实验验证影响,而不是直接下…
微软开发者博客的一项实验把同一仓库分别放在 billing-api 与 eval-XysseR 目录下,用 GitHub Copilot CLI 和四个模型跑了约 900 次。文件夹名确实进入了系统提示,也稳定提高了代理“这是测试”…
微软开发者博客的一篇实验报告用约 900 次运行、四个模型、六个场景对比了 billing-api 与 eval-XysseR 两个工作目录:文件夹名确实到达模型并提高了它对自己正被测试的判断,但没有测出行为差异。小样本里出现的 4…
微软开发者博客 2026 年 10 月的一篇文章报告:工作区路径出现 eval 会显著提高 agent“自己在被测试”的判断,但在约 900 次运行、六个场景中没有测到可测量的行为差异。因此随机临时目录本身不必重建,而测量 agen…
微软一项约 900 次运行、四个模型的实验显示:工作区路径含 eval 会稳定提高 agent“自己在被测试”的判断,但在六个日常工程场景中没有带来可测量的行为差异;小样本里出现的差异在扩大样本后消失。作者的建议是不必重建评测框架,…
来源实验把同一仓库分别放进 billing-api 与 eval-XysseR 两个临时目录,在六个工程场景、四个模型、约 900 次运行中比较。结果是模型更确信自己在被测试,但没有观察到可测量的行为差异,努力度也没有一致变化。作者…
共 8 篇文章,第 1 / 1 页