五份能跑的脚本,十五个问题:把 agent 轨迹读成第二份评测
评测只回答任务是否完成,完整轨迹才回答它怎样完成。微软 Dev Proxy 的一次内部评测中,五次运行产出的脚本全部可用,轨迹里仍记录到十五处问题:猜文档 URL、错误信息不给合法值、每次运行重造同一变通、文档边界外靠模型记忆、默认配置挡住真实任务、搜索索引返回旧快照。本文整理可迁移的判读模式、建议的采集字段与使用边界;所有数字来自单产品单模型的五次运行,不构成基准。
- 评测分与轨迹回答的是两个问题:任务是否完成,以及完成时付出了多少步骤、引入了哪些静默副作用。
- 判读的关键是重复:同一变通在每一次运行里都出现,通常意味着产品缺能力,而非模型发挥不稳定。
- 微软材料中的数字(五次全部通过、15 个问题、29–39 次请求、最高约 120 万 token)只描述一个产品与一个模
评测通过只说明任务完成了,不说明 agent 是怎么完成的。要判断产品对 agent 是否好用,需要第二条证据链:完整轨迹——每一次请求、每一个响应、每一句“我记得”。微软开发者博客 2026 年 11 月 5 日的一篇文章用 Dev Proxy 的一次内部评测说明了这条链能找出什么:五份脚本全部可用,轨迹里却有 15 处问题(来源:Your best AX fixes are hiding in agent trajectories)。
先交代数据来源和范围:用的是 GitHub Copilot Chat 加 Claude Sonnet 5.5、无扩展,同一个任务跑五次——写一个 CI 脚本,用 Dev Proxy 的 API 记录某个 Node.js 工具调用了哪些 GitHub API。每次运行 29 到 39 次请求,最高约 120 万 token。这是单产品、单模型、五次运行,没有对照组;下文所有数字都只在这个范围内成立。
分数为什么看不见问题#
分数是终态判断,agent 是持续试探的。遇到 404 就换一个 URL 再试,遇到报错就换一个参数再试,直到错误消失。挣扎被留在过程里,终态仍然干净。材料里那句话的意思很直接:agent 很执着,所以挣扎很少出现在分数上。
这带来一个后果:越是“能自己绕过去”的问题,越不可能被评测发现。绕过的方式可能多花几十次请求,也可能在产物里留下一个有副作用的脚本——后者同样能通过。
轨迹里最少要留哪几列#
下面是本文建议的采集口径,不是来源文章给出的字段清单;这些字段也没有在本次写作中实际采集或运行。
| 字段 | 能回答的问题 |
|---|---|
| 完整请求(方法、URL、查询串、请求体) | 它猜的是哪个路径、传的是哪个值 |
| 状态码与错误响应体 | 错误信息有没有告诉它“什么才是对的” |
| 重试序列(第几次、间隔多久、换了什么) | 是在按文档修正,还是在盲试 |
| 模型自述的理由 | 结论来自文档,还是来自训练记忆 |
| 最终产物片段 | 有没有出现读二进制、固定 sleep 这类脆弱做法 |
示意记录结构如下,域名为占位,仅用于说明字段关系,未执行:
{
"step": 3,
"request": {
"method": "GET",
"url": "https://api.example.com/v1/items?format=crt"
},
"status": 400,
"error_body": {"errors": {"format": ["The format field is required."]}},
"model_note": "帮助里只列了这个端点,先按默认值试",
"retry_of": 2
}
六个可迁移的模式#
先猜 URL,再搜索
材料记录:五次运行中有四次在阅读任何文档之前,直接去抓 …/dev-proxy/technical-reference/api,返回 404;真实路径是 technical-reference/proxy-api。两次各多花 5 到 7 步找回,另外两次干脆放弃文档,改为凭记忆试错。猜测并没有在读文档后停止:有一次抓了 technical-reference/plugins/executionsummaryplugin,因为导航把插件归在单独分区,而页面实际在 technical-reference/executionsummaryplugin。四次运行合计 8 次抓取返回 404。
可做的动作:翻 404 日志找“几乎存在”的文档路径补跳转——日志未必标注来源是 agent,但每一条都值得一条重定向;同时在 CLI 输出里打印文档 URL,减少一次猜测。
报错只说错了,不说什么是对的
材料记录:帮助文本里只列了 GET /proxy/rootCertificate,没写请求体与必填参数。某次运行照帮助原文调用,得到 400,响应体只有 {"errors":{"format":["The format field is required."]}},没有可选值列表。agent 依次试了 pem、crt、cer、der,只有 crt 成功。
面向 agent 的帮助文本和错误信息,读者常常是打不开文档的那个。每条常见错误至少给一个示例值,或者直接列出允许值。
每次运行都重造同一个变通,说明缺的是能力
材料记录了两处。其一,报告在录制停止后写入,却没有“写完了”的信号:四次运行轮询输出目录,最长 30 秒;另一次直接固定等待 2 秒,注释写着让 reporter 把文件刷出来。在繁忙的 CI runner 上,固定等待迟早会失败;轮询更稳,但每次都得猜该等哪个文件。其二,Dev Proxy 没有列出插件的命令,五次运行于是都去读 plugins\DevProxy.Plugins.dll 的原始字节,用正则匹配类名。
判读规则可以很简单:单次出现是噪声,五次重复就是产品缺口。后者还意味着每个遇到同一缺口的开发者都要为这段变通付 token,并且拿到比原生长久方案更脆弱的代码。
文档边界之外,靠模型记忆填空
材料记录:要让 Node.js 应用走 Dev Proxy,应用的 fetch 需要一个较新 Node 版本才支持的开关。五次运行都从记忆里取出了这条结论,理由是不加则 undici 默认不认 HTTPS_PROXY,需要启用 NODE_USE_ENV_PROXY,并要求 Node 22.21.0+ 或 24.0+(该版本要求为材料中转述的模型表述,未在本次写作中核验)。这一次五次都对了,但没有一次来自 Dev Proxy 文档。
风险在于反面:如果模型记得的是旧版本,写出的代码看起来对、实际什么都不做,而且不报错。轨迹里的特征是——某条结论被当作既定事实陈述,却不引用任何来源。
默认配置为“第一次运行”设计,挡住真实任务
材料记录:默认配置会在示例 API 上注入随机错误,用来让人一眼看到请求确实经过了代理;但对“录制真实流量”这个任务,它是障碍。agent 立刻绕开它,自己新建配置,而新建出来是空的,于是每次运行各自搭一套——同一个目标,五次里用了三种不同插件。
可做的动作:保留让首次运行成功的默认项,在旁边为常见任务各给一个预设,并把预设写进 agent 会较早读到的 CLI 帮助里,让每次运行从同一个正确起点出发。
搜索索引里的旧快照
材料记录:从 v3.3.1 起 Dev Proxy 的 API 需要 token。某次运行的搜索结果里有两个改动前的页面——一个是 6 月抓取的 API 参考乌克兰语翻译,另一个是六周前已补上鉴权的 agent skill 文件;两者都给出不带 token 的调用,而现在这样调用会返回 401。那次运行最终鉴权正确,只因为它先读过了随安装版本发布的 CLI 帮助,而 CLI 帮助不会过期。
别人的索引你刷新不了,但可以在每页顶部写明适用的版本要求,让它进入搜索摘要,告诉 agent 这个快照描述的是哪个版本;也可以自己按 agent 会用的检索词跑一遍,检查翻译和 skill 是否还在描述当前版本。
第七个模式:帮助文本里没写出来的默认值
来源材料在这里被截断,可见部分停在 “Dev Proxy sets itself as the …”,完整例子本次未提供,具体是哪个默认项待核实。能确认的只是原则:agent 把帮助文本当规格,把读起来像“开关”的选项当成默认关闭,于是永远不会去传那个关闭值。对多数选项,代价是行为与预期不符;如果这个默认值改变了工具之外的东西,脚本就带着 agent 不知道的副作用出厂,而任务照样成功、分数照样通过。
把它用成流程#
- 固定一个真实任务,跑 3 到 5 次,每次都存完整轨迹。
- 只比较重复出现的步骤;一次性的绕路先放一边。
- 按后果排序:静默副作用优先,其次是重复自造的变通,最后才是多花的步数与 token。
- 把每个模式翻译成可验证的修复:一条重定向、一条示例值、一个完成信号、一条列举命令、一个任务预设、一行版本说明。
- 用同一任务重跑,比较请求次数、404 次数、产物中是否还出现原来的脆弱片段。
边界与不确定#
- 样本是单产品、单模型、五次运行,没有对照基准;29–39 次请求与最高约 120 万 token 只描述这五次,不能当作同类产品的比较指标。
- 来源材料为截断抓取,最后一个模式缺少完整细节,文中已标出。
- 公开文档的 URL 结构与内部或企业产品不同,“几乎存在”的路径这一模式未必同样成立,需要用自己的 404 日志验证。
- 轨迹会包含请求头、token、内网主机名等敏感内容。采集前要确定脱敏与保留期限,这部分属于建议,本文未提供实现。
- 目标不是让轨迹“好看”。轨迹是第二份证据,用来发现分数看不见的静默失败;两份证据并列,谁也不能替代谁。
常见问题(FAQ)
评测全部通过,是否说明评测设计错了?
这些模式能直接套到我的产品上吗?
参考来源
以上为本文写作时的参考资料,引用观点以原文为准。