工作区路径里的 eval 会改变 Agent 行为吗:900 次运行后的评测隔离结论
微软开发者博客公布了一组约 900 次运行的对照实验:工作区路径含 eval 会让模型更确信自己处于测试中,但在六个工程场景里没有观察到可测量的行为差异;小样本曾出现的差距在扩大样本后消失。文章还给出了评测目录命名与行为测量的实践建…
「agent 评测」标签下共 13 篇技术文章,包括《工作区路径里的 eval 会改变 Agent 行为吗:900》、《工作区路径里的 eval 会不会改变代理行为:约 900 次》、《SemVer 标签对 AI 编码代理有效吗?一次破坏性升级实》。按发布时间倒序排列,内容持续更新。
微软开发者博客公布了一组约 900 次运行的对照实验:工作区路径含 eval 会让模型更确信自己处于测试中,但在六个工程场景里没有观察到可测量的行为差异;小样本曾出现的差距在扩大样本后消失。文章还给出了评测目录命名与行为测量的实践建…
微软开发者博客的一项实验在约 900 次运行、四个模型上发现:把工作目录命名为形如 eval-XysseR 的路径,会稳定提高代理对自己“正在被测试”的判断,但在六个日常工程场景中没有测出可辨别的行为差异。作者建议仍然使用中性、真实…
微软开发者博客报告的两轮实验显示:版本号标签会改变部分模型检查依赖升级的强度。Claude Haiku 5.5 在 patch 标签下未检查就合并的比例为 37%,major 下为 7%;Claude Opus 5.5 与 GPT-…
微软开发者博客的一篇实验报告用约 900 次运行、四个模型、六个场景对比了 billing-api 与 eval-XysseR 两个工作目录:文件夹名确实到达模型并提高了它对自己正被测试的判断,但没有测出行为差异。小样本里出现的 4…
微软开发者博客 2026 年 10 月的一篇文章报告:工作区路径出现 eval 会显著提高 agent“自己在被测试”的判断,但在约 900 次运行、六个场景中没有测到可测量的行为差异。因此随机临时目录本身不必重建,而测量 agen…
微软一项约 900 次运行、四个模型的实验显示:工作区路径含 eval 会稳定提高 agent“自己在被测试”的判断,但在六个日常工程场景中没有带来可测量的行为差异;小样本里出现的差异在扩大样本后消失。作者的建议是不必重建评测框架,…
微软开发者博客记录了一组对照实验:约 900 次运行、四个模型、六类工程任务,对比 billing-api 与 eval-XysseR 两种工作区文件夹名。文件夹名确实进入了系统提示并提高了 agent 对“这是测试”的判断,但在可…
BioBasicsBench 用 100 项任务把「能读懂原始实验数据」定义成可执行的 agent 评测,场景限定在日常湿实验室科学。原始数据通常指仪器直接导出、未经校正与归一化的文件,与整理表是两类输入。100 项属诊断级样本,适…
路径里出现 eval 会稳定提高模型“这是测试”的自评概率,但在一组约 900 次运行的对照实验中,没有测到行为变化。小样本曾显示明显差异,扩大样本后消失。作者建议仍使用中性目录名,但把清理重点放在描述工作本身的词上。
共 13 篇文章,第 1 / 2 页