技术文章

外部链接将在新标签页打开。

评测全绿,轨迹却在报警:从代理运行记录里找出被分数掩盖的可用性缺陷

一句话回答

微软开发者博客记录了一次五次运行的代理评测:五个脚本都能用,评测分数没有任何异常,但轨迹里出现 15 个问题,每次运行消耗 29 到 39 次请求。文章归纳了七类可从轨迹中复查的模式——猜文档 URL、错误信息不给有效值、缺少完成信号与列举命令、用记忆填补文档空白、拒绝为首跑设计的默认值、搜索结果停留在旧快照、帮助文本未声明默认值,并给出对应的产品侧修复方向。

核心要点 TL;DR
  • 评测分数只回答任务是否完成,不回答代理为了完成付出了多少弯路。
  • 同一段奇怪步骤在每次运行里重复出现,通常说明产品缺能力,而不是模型偶发失误。
  • 轨迹里的 404、参数试探、轮询等待、读二进制找类名,都可以直接转成文档、错误信息或 CLI 的修复项。
  • 第七类模式在上述材料中被截断,只能给出通用判断,具体案例待核实。

评测分数回答的是“代理有没有完成任务”,不是“代理为了完成绕了多少路”。微软开发者博客在 2026 年 11 月 5 日的一篇文章里描述了这样一次评测:让 GitHub Copilot Chat(Claude Sonnet 5.5,不装扩展)连续五次写一个 CI 脚本,调用 Dev Proxy 的 API 记录某个 Node.js 工具访问了哪些 GitHub API。五个脚本都能跑,评分面上看不出问题;但轨迹——也就是代理每一步动作及其原因的记录——显示出 15 个问题,每次运行用了 29 到 39 次请求,最多消耗 120 万 token(来源)。标题中的 AX 一般理解为 agent experience(代理体验),与常说的 DX 相对;这是解读,不是原文定义。

轨迹之所以能暴露分数掩盖的东西,是因为代理很“执着”:遇到 404 就猜下一个 URL,遇到报错就换一个值再试,直到错误消失。任务最终完成,挣扎过程却不在分数里。以下七类模式来自该文的观察,属于来源事实;每条末尾的“可以怎么修”是原文给出的建议方向,本文只做整理,未做验证。

七类可复查的轨迹模式#

一、先猜 URL,再考虑搜索

代理往往跳过站内搜索,直接按记忆中“文档站通常怎么组织”去拼路径。五次运行里有四次先抓 https://learn.microsoft.com/en-us/microsoft-cloud/dev/dev-proxy/technical-reference/api,返回 404;真实页面是 technical-reference/proxy-api。两次多花 5 到 7 步才找到,另外两次干脆放弃文档,转为凭记忆试错。读到文档后猜测仍在继续:一次运行抓了 technical-reference/plugins/executionsummaryplugin,而实际路径是 technical-reference/executionsummaryplugin。四次运行合计八次抓取返回 404。

可以怎么修:翻 404 日志里“几乎存在”的文档路径,每条都值得加一条重定向;在 CLI 输出里直接打印文档 URL,让代理不必猜。日志本身不会标明请求来自代理,这是原文承认的限制。

二、接口只差一步,错误信息不给有效值

帮助文本和报错通常是写给“能随手打开文档的人”的,代理却把它们当成规格说明。Dev Proxy 的端点列表只写方法和路径,不写请求体与必需参数。一次运行照列表调用 /proxy/rootCertificate,得到 400:

{ "errors": { "format": ["The format field is required."] } }

错误没说合法取值,代理依次试了 pem、crt、cer、der,只有 crt 有效。可以怎么修:跑一遍 CLI 帮助和最常见的报错,确认每个都给出示例或允许值列表。

三、每次运行都重造同一个变通方案

单次运行里的临时代码是噪声;每次运行都写同一段,说明产品缺能力。Dev Proxy 停止录制后写报告,但没有“写完了”的信号,四次运行轮询输出目录最长 30 秒,第五次直接等两秒。原文指出,在繁忙的 CI runner 上这种写法迟早失败。更奇怪的是插件:产品没有列出插件的命令,五次运行全部把插件 DLL 当原始字节读出来搜类名(原文示例,本次未执行):

$b = [IO.File]::ReadAllBytes("$d\plugins\DevProxy.Plugins.dll")
$s = [Text.Encoding]::Unicode.GetString($b)
[regex]::Matches($s, '\b[A-Z]\w*(Plugin|Reporter)\b') | % { $_.Value } | sort -u

它能工作,所以任何分数都不会显示它,但它既不稳健也不高效。可以怎么修:凡是调用返回之后才完成的操作,都要有完成信号;凡是代理需要从中挑选的东西,比如插件或模板,都要有列举命令。

四、文档没写的部分,代理用记忆填

开发者会把你的工具和其他运行时、框架一起用,而文档常常写到自己的边界为止。要让 Node.js 应用走 Dev Proxy,应用的 fetch 需要一个只有较新 Node 版本才支持的开关。五次运行都从记忆里知道要设 NODE_USE_ENV_PROXY,要求 Node 22.21.0+ 或 24.0+,但没有一次是从 Dev Proxy 文档里读到的。原文的提醒很关键:这次模型恰好知道,所以没人收到反馈;换个知道得少的模型,脚本会“看起来对、实际什么都不记录”,且不报错。可以怎么修:列出开发者常搭配的运行时与框架,逐个补上集成步骤;对没写的那些,跑一个任务看代理自己填了什么。

五、代理会拒绝为首跑设计的默认值

默认配置和脚手架服务的是“第一次跑通”:几分钟内看到产品能做什么。面对具体任务,它反而挡路。Dev Proxy 的默认配置会在示例 API 上注入随机错误,用来证明流量确实经过代理;要录制真实流量就不合适。代理立刻避开它,自建配置,结果配置是空的,于是每次运行各建一套,同一个目标选了三种不同插件。可以怎么修:保留让首跑成功的默认值,同时为每个常见任务提供预设,并把预设写进代理会早早读到的 CLI 帮助里。

六、代理信任搜索给它的任何版本

代理经常通过搜索引擎读你的指南,而索引提供的是快照。自 v3.3.1 起,Dev Proxy API 要求 token。一次运行的搜索结果里有两条在变更前索引的内容:一条是 6 月抓取的乌克兰语 API 参考译文,另一条来自 Dev Proxy 自己的 agent skill 文件。两条都展示了不带 token 的调用,而这类调用现在返回 401(原文示例,本次未执行):

curl -X POST http://localhost:8897/proxy \
 -H "Content-Type: application/json" \
 -d '{"recording": true}'

那次运行认证写对了,只因为它先读了 CLI 帮助——帮助随安装版本发布,不会过期。可以怎么修:拿几个真实任务,跑一遍代理会跑的搜索,检查结果(含译文和你自己发布的 agent skill)是否描述当前版本;别人的索引你刷不了,但可以在每页顶部写清版本要求,让搜索摘要带上这个信息。

七、帮助文本没声明的默认值

代理把 CLI 帮助当字面规格:一个读起来像“开关”的选项,代理默认它不传就是关。若它实际默认开启,代理永远不会传关闭值,因为没人告诉它要传。多数情况下代价只是行为与预期不符;但若这个默认值改变了工具之外的东西,代理就会交付一个带有未知副作用的脚本,而任务仍然成功,评测同样抓不到。原文的 Dev Proxy 具体案例在抓取到的材料里被截断,此处只能给出通用判断,细节待核实。

把轨迹变成修复清单#

原文的观察可以整理成一张对照表。左列是轨迹里能直接看到的信号,右列是它指向的产品侧改动——这是对来源建议的归纳,不是新增结论。

轨迹信号通常指向的修复
同一路径反复 404补重定向;在 CLI 输出里打印文档 URL
参数值被逐个试探报错里给出示例或允许值列表
每轮都写同样的等待或轮询提供完成信号,而不是让调用方猜时间
读二进制、解析文件来枚举提供列举命令
无来源地陈述某个事实补上该运行时或框架的集成文档
代理绕开默认配置另建一套按常见任务提供预设,并写进帮助
依据搜索结果写出旧版调用页面顶部标注适用版本

执行顺序上,一个务实的做法是先找“跨运行重复”的信号:只在一次运行里出现的弯路可能是模型噪声,每次都出现的基本是产品问题。然后把每条信号对应到一个可判定的改动——加一条重定向、在错误里加一行允许值、加一个 --list-plugins 之类的命令。这些都是可验收的,而“让代理更聪明”不是。

边界与不确定性#

  • 以上数据来自单一来源:微软开发者博客对其自家产品的一次评测,五次运行、单一模型与客户端组合。原文没有声称这是通用基准,本文也不据此推断其他产品的比例。
  • 抓取到的正文在第七类模式处被截断,该条的 Dev Proxy 案例细节与原文结论部分未提供,因此不作补充,标为待核实。
  • 文中的 PowerShell 与 curl 片段是来源文章的示例,用于说明轨迹里出现过什么,本次未执行,也不构成对任何端点的调用建议。
  • 关于 token 数量的统计口径(如何计数、是否含缓存)材料未说明,引用时只保留“最多 120 万”这一原始表述。

如果你正在为自己的 API 或 CLI 做代理侧评测,最省力的一步不是加测试用例,而是把已有运行的轨迹读一遍:分数告诉你任务完成了,轨迹告诉你产品在哪一步逼着代理自己想办法。

常见问题(FAQ)

评测分数全绿,为什么还要看轨迹?
分数只判断任务是否完成。代理会绕过产品缺陷,比如自己写轮询、自己解析 DLL、凭记忆补上文档没写的运行时配置,这些都能让任务成功,但代价是额外的请求、token 和更脆弱的代码。
轨迹里最值得优先修的信号是什么?
在多次运行中重复出现的同一段变通写法。单次出现可能是噪声,每次都出现通常意味着产品缺少一个能力或一个可发现的入口。
这些结论是实测吗?
不是本文的实测。数据来自微软开发者博客对其自身产品 Dev Proxy 的一次评测描述,本文未复现该评测,也未执行文中代码片段。

参考来源

  1. Your best AX fixes are hiding in agent trajectories

以上为本文写作时的参考资料,引用观点以原文为准。

作者:沐小悠

本文约 10 分钟读完 · 关键词:代理轨迹、agent trajectory、可用性缺陷、评测分数、Dev Proxy

更多文章 GET 示例接口

「」标签下的其他文章