技术文章

外部链接将在新标签页打开。

分数之外:从代理轨迹里读出 7 类可用性线索,以及每条线索对应的产品修复

一句话回答

评测分数只回答代理是否完成了任务。微软开发者博客用 Dev Proxy 的五次运行说明,通过率满分之下仍藏着文档 URL 猜测、错误信息试值、跨运行重复的 workaround、用训练记忆补文档、默认配置被绕过、搜索快照过期等问题;本文按七类线索整理各自的表现与对应的产品修复,并标出材料截断处与样本局限。

核心要点 TL;DR
  • 五次运行全部产出可用脚本,轨迹里仍记录 15 个问题;单次运行消耗 29–39 次请求、最高 120 万 token。
  • 同一现象跨运行重复出现才算产品缺陷,单次出现的只能当噪音。
  • 优先补两类能力:异步操作的完成信号,以及可选集合的列出命令。
  • 文档改版后,翻译页和随产品发布的 agent skill 快照会继续输出旧调用示例。

评测分数只回答一个问题:代理有没有把任务做完。它不回答代理是怎么做完的。微软开发者博客 2026 年 11 月 5 日的一篇文章给出了一个具体例子:让 GitHub Copilot Chat 配合 Claude Sonnet 5.5、不装扩展,连续五次写同一个 CI 脚本——用 Dev Proxy(一个拦截应用 HTTP 请求的本地代理)的 API 记录某个 Node.js 工具调用了哪些 GitHub API。五个脚本都能运行,没有任何一个分数看起来不对;轨迹里却记录了 15 个问题,每次运行消耗 29 到 39 次请求,最高 120 万 token(Microsoft for Developers)。本文把这篇材料里的七类线索拆开,说明各自在轨迹里长什么样、为什么分数抓不到,以及对应的产品修复方向。

先界定这份材料的适用条件#

来源是微软官方的开发者博客,属于厂商对自家产品(Dev Proxy)的自述型评测,不是独立第三方复现。样本规模很小:一个模型、一个工具、五次运行,文中的次数与比例不能当作普遍基准。抓取到的正文被截断在第七类线索的解释中途,最后一条的完整结论未提供,下文会明确标出。来源也未说明评分方法、15 个问题如何计数,这些细节待核实。

一、代理先猜 URL,再决定要不要搜索#

五次运行中有四次在读到任何文档之前,就去请求 .../dev-proxy/technical-reference/api,返回 404;真实页面是 technical-reference/proxy-api。两次运行多花 5 到 7 步才找到,另外两次干脆放弃文档,改为凭记忆试错。读完文档后猜测仍在继续:一次运行找到真实 API 页后,又去抓 technical-reference/plugins/executionsummaryplugin,而那页实际位于 technical-reference/executionsummaryplugin——代理显然把文档导航的分组结构当成了路径结构。四次运行合计八次抓取返回 404。

分数看不见这些,因为最终脚本仍然写对了。来源给出的修复方向有两条:翻查 404 日志,找出那些“几乎存在”的文档路径,逐条加重定向;在 CLI 输出里直接打印文档 URL,让代理不必猜。需要注意,404 日志本身无法区分请求来自代理还是人,这是来源明确指出的限制。

二、接口说明差一步,代理就开始试值#

Dev Proxy 的端点列表只写 POST /proxy 和 GET /proxy/rootCertificate,不写请求体,也不写必需参数。一次运行照列表调用 /proxy/rootCertificate,得到 400,错误体只说明 format 必填,不列有效值:

{ "errors": { "format": ["The format field is required."] } }

代理随后依次试了 pem、crt、cer、der,只有 crt 成功。以上报文摘自来源文章,本次未执行。四次失败的尝试各算一次请求,却完全不出现在“任务是否完成”的判断里。来源的建议很直接:跑一遍 CLI help,并主动触发最常见的错误,确认每一条都说清了有效输入长什么样——给示例,或者直接列出允许值。

三、同一个 workaround 在每次运行里重现#

有些缺口会逼着代理自己造轮子。Dev Proxy 在停止录制后不久写报告,但没有完成信号。四次运行选择轮询输出目录,最长等 30 秒;第五次只固定等待两秒:

await api('POST', '/proxy', { recording: false });
await sleep(2000); // let the reporters flush their files

来源评价:这在繁忙的 CI runner 上迟早会失败;轮询更安全,但每次运行都得自己猜该等哪个文件。更说明问题的是插件:Dev Proxy 没有列出插件的命令,五次运行全都把插件 DLL 当原始字节读,再正则搜类名:

$b = [IO.File]::ReadAllBytes("$d\plugins\DevProxy.Plugins.dll")
$s = [Text.Encoding]::Unicode.GetString($b)
[regex]::Matches($s, '\b[A-Z]\w*(Plugin|Reporter)\b') | % { $_.Value } | sort -u

两段代码均摘自来源文章,本次未执行,仅用于说明轨迹里记录的操作形态。它能工作,所以任何只看结果的分数都不会惩罚它;但既不稳健,也不高效。判断标准是重复率:单次运行里的 workaround 是噪音,每次运行都写同一个 workaround,说明产品缺一项能力。对应的修复是——凡是调用返回之后才完成的操作,都要给出完成信号;凡是代理需要从中选择的集合(插件、模板),都要提供列出命令。

四、代理用训练记忆填补文档空白#

开发者会把你的工具和其他运行时、框架搭配使用,而文档常常写到自己的边界就停了。让 Node.js 应用走 Dev Proxy,需要 fetch 的一个 opt-in 设置,只有较新的 Node 版本支持。五次运行都从记忆中给出了正确答案:undici 默认不遵守 HTTPS_PROXY,需要启用 NODE_USE_ENV_PROXY,要求 Node 22.21.0+ 或 24.0+。没有一次是在 Dev Proxy 文档里找到的。

这次全对,但风险恰在这里:模型知道得少一点,就会写出看起来正确、实际什么都没记录、也不报错的代码,而你无法预测某个模型对你产品了解多少。轨迹里的特征很稳定——某段推理陈述了事实,却没有引用任何来源。来源建议:列出开发者会把你的工具与哪些运行时、框架搭配,文档逐个给出配置步骤;对跳过的那些,跑一个任务看代理自己填了什么。

五、默认配置是为“第一次运行”设计的#

Dev Proxy 的默认配置在示例 API 上模拟随机错误,这能让开发者几分钟内确认请求确实经过代理,对首次上手是合适的默认值。但要录制真实流量,它就是障碍。代理立刻识别出这一点并绕开,来源记录了它的推理大意:默认配置会注入随机错误,得另建一份配置。问题在于新建的配置是空的,于是每次运行都自己搭一套,同一个目标选出了三种不同插件。

修复不是删掉默认值,而是在它旁边为每个常见任务提供预设,并把这些预设写进 CLI help——代理会早早读 help。这样每次运行都从同一个正确起点出发,而不是各搭各的。

六、搜索结果给的是快照,不是当前版本#

自 v3.3.1 起,Dev Proxy 的 API 要求携带 token。一次运行的网络搜索返回了两条在该变更之前索引的结果:一条是 API 参考的乌克兰语翻译,六月抓取;另一条来自 Dev Proxy 自己发布的 agent skill 文件,运行前六周才更新过认证相关内容。两条都在展示不带 token 的调用:

curl -X POST http://localhost:8897/proxy \
 -H "Content-Type: application/json" \
 -d '{"recording": true}'

这类调用现在会返回 401。示例摘自来源文章并做了原样转义,本次未执行。那次运行认证正确,只是因为它此前已经读过 CLI help——help 随安装版本一起发布,不会过期。索引你刷新不了,但可以在每页顶部写明版本要求,让它出现在搜索摘要里,告诉读到的代理这份快照描述的是哪个版本。

七、help 文本没说的默认值(材料在此截断)#

来源片段能支持的部分是:代理从 help 文本学习 CLI,并且逐字理解。当一个选项读起来像“打开某功能”的开关,代理会假设不传就是关闭;如果它实际上默认开启,代理永远不会去传那个关闭值,因为没有任何文字告诉它要传。多数选项的代价只是行为与预期不符,但如果这个默认值改变了工具之外的东西,代理交付的脚本就会带上它自己也不知道的副作用——而任务仍然成功,评测依旧抓不到。

抓取到的正文停在“Dev Proxy 把自己设为……”这一句,后续解释未提供,因此“三条脚本会静默改变 CI runner 网络流量”这一后果的具体机制与触发条件待核实;摘要提到了这一现象,但支持它的正文段落不在本次材料中。

在自己产品上照着做#

  1. 选 3 到 5 个开发者真正会交给代理的任务,多次运行,并保留完整轨迹,而不是只留最终产物。
  2. 按上面七类给轨迹打标。跨运行重复出现的才记为产品缺陷,单次出现的先当噪音。
  3. 排序时优先处理“重复出现且有工具外副作用”的项:先补完成信号与列出命令,再改错误信息,最后处理文档 URL 与版本标注。
  4. 修完用同一批任务重跑,比较请求数与错误尝试次数的变化。来源使用的观测指标是请求数和 token 量,不是通过率。

边界#

这套方法的产出是可用性线索,不是可靠性证明。五次运行全部通过,恰恰说明分数在这里没有区分度;反过来说,减少代理摸索的步数也不等于提升了任务成功率,两者要分开度量。另外,如果你的产品没有公开 API、CLI 或文档站点,第一、六、七类线索基本不适用,而第二、三、五类——错误信息、完成信号、默认值——仍然成立。

常见问题(FAQ)

评测分数已经全绿,还有必要看轨迹吗?
有必要,但用途不同。分数判断任务是否完成,轨迹判断完成得是否可靠。来源中的五次运行全部产出了可运行脚本,轨迹里仍记录了 15 个问题,摘要还提到其中三条脚本会静默改变 CI runner 的网络流量;抓取到的正文在解释该机制的段落前被截断,具体触发条件待核实。
轨迹里的哪些现象值得动手改产品?
看重复率而不是看单次异常。某次运行试错四次可能是模型运气,五次运行都用同一段读 DLL 字节的代码找插件名,说明产品缺一个列出命令。来源建议按此顺序判断:是否跨运行重复、是否带工具之外副作用、是否只在分数外可见。

参考来源

  1. Your best AX fixes are hiding in agent trajectories

以上为本文写作时的参考资料,引用观点以原文为准。

作者:沐小悠

本文约 10 分钟读完 · 关键词:代理轨迹、agent trajectory、eval 评测、Dev Proxy、CLI 帮助文本

更多文章 GET 示例接口

「」标签下的其他文章