工作区路径里的 eval 会改变 Agent 行为吗:900 次运行后的评测隔离结论
微软开发者博客公布了一组约 900 次运行的对照实验:工作区路径含 eval 会让模型更确信自己处于测试中,但在六个工程场景里没有观察到可测量的行为差异;小样本曾出现的差距在扩大样本后消失。文章还给出了评测目录命名与行为测量的实践建…
「评测」标签下共 31 篇技术文章,包括《工作区路径里的 eval 会改变 Agent 行为吗:900》、《代理轨迹里的可访问性问题:运行都通过时该看什么信号》、《工作区路径里的 eval 会不会改变代理行为:约 900 次》。按发布时间倒序排列,内容持续更新。
微软开发者博客公布了一组约 900 次运行的对照实验:工作区路径含 eval 会让模型更确信自己处于测试中,但在六个工程场景里没有观察到可测量的行为差异;小样本曾出现的差距在扩大样本后消失。文章还给出了评测目录命名与行为测量的实践建…
评测分数只能说明代理完成了任务,不能说明它走得顺不顺。微软团队用 Dev Proxy 做的 5 次运行全部产出可用脚本,轨迹里却有 15 处问题:猜错文档 URL、错误信息不给合法值、每次重造同一 workaround、用记忆补文档…
微软开发者博客的一项实验在约 900 次运行、四个模型上发现:把工作目录命名为形如 eval-XysseR 的路径,会稳定提高代理对自己“正在被测试”的判断,但在六个日常工程场景中没有测出可辨别的行为差异。作者建议仍然使用中性、真实…
微软 DevBlogs 一篇博文的摘要指出,评测工具常用含 eval 的随机临时目录,而代理每轮都能看到该路径。路径因此可能成为“这是测试”的提示。建议把目录唯一性与中性命名分开处理,并用固定其他变量的对照实验验证影响,而不是直接下…
评测分数只回答代理是否完成了任务。微软开发者博客用 Dev Proxy 的五次运行说明,通过率满分之下仍藏着文档 URL 猜测、错误信息试值、跨运行重复的 workaround、用训练记忆补文档、默认配置被绕过、搜索快照过期等问题;…
微软开发者博客记录了一次五次运行的代理评测:五个脚本都能用,评测分数没有任何异常,但轨迹里出现 15 个问题,每次运行消耗 29 到 39 次请求。文章归纳了七类可从轨迹中复查的模式——猜文档 URL、错误信息不给有效值、缺少完成信…
本文不提供具体免费 API 名单,因为本次没有可引用的官方文档与可核验调用记录。文章说明“免费”的几种常见形态、把一次调用记为“实测”所需的最小字段,并给出一个未执行的记录模板与常见误判边界。
微软开发者博客的一项实验把同一仓库分别放在 billing-api 与 eval-XysseR 目录下,用 GitHub Copilot CLI 和四个模型跑了约 900 次。文件夹名确实进入了系统提示,也稳定提高了代理“这是测试”…
评测只回答任务是否完成,完整轨迹才回答它怎样完成。微软 Dev Proxy 的一次内部评测中,五次运行产出的脚本全部可用,轨迹里仍记录到十五处问题:猜文档 URL、错误信息不给合法值、每次运行重造同一变通、文档边界外靠模型记忆、默认…
共 31 篇文章,第 1 / 4 页