技术文章

外部链接将在新标签页打开。

用智能体运行轨迹反推 AX 修复点:比评分更早发现“能跑但不对”

一句话回答

微软 Dev Proxy 的五次智能体运行都产出了可用脚本,但轨迹暴露了 URL 猜测、错误信息缺口、重复变通、记忆补缺、默认配置和搜索快照等问题。文章说明如何从轨迹中找信号、把它们归到具体修复点,以及这种方法的边界。

如果你的智能体评估全部通过,先别急着判断产品已经“对智能体友好”。评分回答的是“任务有没有完成”,轨迹回答的是“智能体怎么完成的、在哪里绕了路”。后者往往更早暴露“能跑但不对”。这里的 AX 指智能体体验(Agent Experience),即智能体能否发现、理解并正确使用你的产品;这是本文对标题语境的解释,材料没有给出正式定义。

评分判断完成,轨迹暴露路径#

评估分数通常只记录最终结果。智能体却有很强的“把任务做完”的倾向:遇到 404 就换一个 URL 再猜,遇到参数错误就试几个值直到错误消失。材料指出,这些挣扎很少体现在分数里,却会消耗请求和 token,并把脆弱做法留进最终脚本。微软开发者博客的 Dev Proxy 案例(来源,来源日期 2026-11-05)就是一个典型。

材料记录:让 GitHub Copilot Chat 搭配 Claude Sonnet 5.5、不装扩展,五次编写一个 CI 脚本,通过 Dev Proxy API 记录 Node.js 工具调用了哪些 GitHub API。五个脚本都能工作,评分看不出明显问题;但轨迹显示 15 个问题,每次运行用了 29~39 个请求,单次最高约 120 万 token。这不是通用基准,只是一次针对 Dev Proxy 的评估,但足以说明:分数通过不等于产品对智能体友好。

六类轨迹信号,以及它们指向的修复#

1. 智能体在搜索前先猜 URL

材料中,五个运行里有四个在阅读任何文档前,先抓取 https://learn.microsoft.com/en-us/microsoft-cloud/dev/dev-proxy/technical-reference/api,结果返回 404。真实页面是 technical-reference/proxy-api。两次运行多花 5~7 步才找到,另两次干脆放弃文档。读文档后,猜测仍在继续:一次运行抓取 technical-reference/plugins/executionsummaryplugin,而该页实际位于 technical-reference/executionsummaryplugin。材料统计,四次运行合计八次抓取返回 404。

可检查的修复方向(建议):翻 404 日志,找那些“几乎存在”的文档路径,逐个补重定向;在 CLI 输出里打印文档 URL,减少智能体凭记忆猜路径的机会。日志本身不一定标明请求来自智能体,需要和轨迹对照。

2. 接口说明和错误信息只差一步

Dev Proxy 的端点列表只写了 POST /proxy 和 GET /proxy/rootCertificate,没有展示请求体或必需参数。一次运行按列表直接调用 /proxy/rootCertificate,得到 400。材料记录的响应是:

{"errors":{"format":["The format field is required."]}}

这个错误没有列出有效值。智能体随后试了 pem、crt、cer、der,只有 crt 有效。上述响应来自来源材料中的轨迹记录,不是本文发起的调用。建议:把 CLI 帮助和常见错误信息当成智能体读的规格说明,明确写出有效输入示例或允许值列表,而不只是说“缺少某字段”。

3. 每个运行都在重写同一个变通

Dev Proxy 在停止录制后不久写报告,但没有“写完了”的信号。材料中四次运行轮询输出文件夹,最多等 30 秒;第五次只等两秒,并在代码里注释“让 reporter 刷新文件”。材料判断,在繁忙的 CI runner 上,这种固定等待最终会失败。轮询更安全,但每次轮询都要猜该等哪个文件。

更奇怪的是插件发现。Dev Proxy 没有列出插件的命令,于是五个运行都把插件 DLL 当原始字节读取,再搜索类名。来源材料中的片段如下,本文未执行:

$b = [IO.File]::ReadAllBytes("$d\plugins\DevProxy.Plugins.dll")
$s = [Text.Encoding]::Unicode.GetString($b)
[regex]::Matches($s, '\b[A-Z]\w*(Plugin|Reporter)\b') | % { $_.Value } | sort -u

它能工作,所以分数不会显示问题;但依赖 DLL 内部字符串并不稳健,效率也不高。轨迹能暴露它,因为同一个异常步骤在每次运行中重复出现。建议:每个“调用返回后仍在后台完成”的操作都需要完成信号;每个让智能体选择的集合,如插件或模板,都需要一个列表命令。单次出现可能是噪声,跨运行重复更值得当成产品缺口。

4. 文档边界外,模型用记忆补

材料中的例子是 Node.js 应用通过 Dev Proxy 时的 fetch 配置。轨迹里的模型推理称,undici 默认不尊重 HTTPS_PROXY,需要启用 NODE_USE_ENV_PROXY,并要求 Node 22.21.0+ 或 24.0+。五次运行都从记忆里知道了这一点,但没有一次在 Dev Proxy 文档中找到它。需要说明:这是轨迹中的模型陈述,本文未独立核验该版本要求,实际可用版本待核实。

风险在于,模型如果记得旧版本,可能写出“看起来对、实际静默不生效”的代码,而且不报错。轨迹里的信号是:推理直接陈述了一个事实,却没有引用来源。建议:列出开发者常与本产品搭配的运行时和框架,分别给出设置说明;对文档没覆盖的组合,跑一个任务,观察智能体自己补了什么。

5. 默认配置只服务第一次运行

Dev Proxy 的默认配置会在示例 API 上模拟随机错误,用来快速确认请求确实经过代理。但对“记录真实流量”这个任务,它是障碍。材料中智能体立即避开默认配置,另建配置;新建配置是空的,于是每次运行都自己搭一套,同一个目标选出了三种不同插件。

建议:保留让第一次运行成功的默认值,同时在旁边提供常见任务的预设,并在 CLI 帮助中列出这些预设。智能体早期会读帮助文本。默认配置被拒绝不一定是默认值错了,也可能是默认值与当前任务不匹配。

6. 搜索快照和未声明的默认值

材料称,自 v3.3.1 起 Dev Proxy API 需要 token。一次运行的搜索返回了两个变更前索引的结果:一个是乌克兰语翻译的 API 参考,六月抓取;另一个是 Dev Proxy 自己的 agent skill 文件,运行前六周更新了认证内容。两者都展示不带 token 的调用,而这类调用现在会返回 401。那次运行最终把认证做对,只是因为它先读了 CLI 帮助;CLI 帮助随安装版本发布,不容易过期。建议:在页面顶部写明版本要求,让搜索摘要能告诉智能体这份快照描述的是哪个版本;同时检查翻译和随产品发布的 skill 文件是否仍描述当前行为。

另一类信号是帮助文本没有声明的默认值。智能体把 CLI 帮助当规范读:一个选项读起来像“开关”,智能体就假设默认关闭,除非它显式传参。如果该选项实际默认开启,智能体不会传关闭值,因为它不知道需要关。对只影响本产品的选项,代价是行为与预期不同;对会改变外部状态的默认值,脚本可能带上智能体不知道的副作用,而任务仍然成功,评估也不会抓住。本次材料在“Dev Proxy sets itself as the”处截断,具体默认项和副作用本文不补猜。建议:在帮助文本中明确默认值、开启条件和关闭方式,尤其是会改变外部状态的选项。

把信号变成修复清单#

  1. 先看重复,再看单次。单条轨迹里的怪步骤可能是模型随机;跨运行反复出现的绕路、轮询、读 DLL、猜 URL,更像产品缺口。
  2. 给问题归口。是路径发现、接口契约、异步完成信号、可选集合发现、跨栈文档、默认配置,还是搜索索引陈旧?归口不同,修复责任也不同。
  3. 用新轨迹验收。修完后跑同一任务多次,观察异常步骤是否消失、请求和 token 是否下降。下降不是唯一目标,稳定性和副作用可见性同样重要。验收方法本身是建议,不是材料给出的测试结果。

边界:轨迹不是评分的替代品#

轨迹审查和评分是互补关系:评分判断任务是否完成,轨迹判断完成得是否可靠、是否留下了隐藏副作用。材料是 Dev Proxy 的单案例,不能证明所有产品都会出现同样模式;具体版本、可用性和行为仍需回到对应版本文档核实。工程上还应意识到,轨迹可能包含请求内容、路径和内部标识,审查前需要脱敏,这是流程建议而非来源结论。

对 API.PLUS 的读者,可迁移的不是 Dev Proxy 的某个具体修复,而是审查顺序:先找跨运行重复的绕路,再判断它属于文档、接口契约、默认值还是搜索版本问题,最后用同一任务的多条新轨迹验收。这样,AX 修复不必等到评分失败或用户报告才开始。

参考来源

  1. Your best AX fixes are hiding in agent trajectories

以上为本文写作时的参考资料,引用观点以原文为准。

作者:沐小悠

本文约 10 分钟读完 · 关键词:智能体轨迹、AX、Dev Proxy、评估分数、CLI帮助

更多文章 GET 示例接口

「」标签下的其他文章