技术文章

外部链接将在新标签页打开。

评分正常,轨迹却在报警:从代理轨迹里找 AX 问题的七类信号

一句话回答

评分只说明代理是否完成任务,不说明它怎样完成。微软开发者博客对 Dev Proxy 的五次代理运行做了评估:五个脚本都可用,轨迹里却有 15 处摩擦。本文按该文列出的七类信号整理识别方法与产品侧检查动作,并标出材料截断与不可外推的边界。

评分正常但过程有问题,是因为评分只回答“代理有没有做完”,轨迹才回答“它怎么做完的”。微软开发者博客 2026 年 11 月 5 日的一篇文章给出了一个具体例子:五个代理运行全部产出了可用脚本,评分看不出异常,但轨迹里记录了 15 处摩擦,单次运行花掉 29 到 39 个请求、最多 120 万 token(Your best AX fixes are hiding in agent trajectories)。这里说的 AX 问题,按上下文指代理体验(agent experience):代理在使用你的产品时遇到的、评分不扣分但每个接入者都要付一次代价的摩擦。

先限定材料范围:本文依据该文正文片段,抓取时被截断。最后一节关于“帮助文本未声明默认值”只写到一半,因此该节只保留能确认的模式,不补全结论。文中的数字与现象都是该团队对 Dev Proxy 的评估记录,不是本文的实测;本文未运行任何代码。

评估设置:为什么“全过”仍值得翻轨迹#

该评估让 GitHub Copilot Chat(Claude Sonnet 5.5,未装扩展)运行五次,任务是写一个 CI 脚本,用 Dev Proxy 的 API 记录一个 Node.js 工具调用了哪些 GitHub API。五个脚本都能工作,轨迹显示 15 个问题。

原因不复杂:代理很执着。遇到 404 会换一个 URL 再试,遇到报错会换一个值再试,直到错误消失。评分只看终点,试错被“成功”覆盖。而这些试错恰好落在产品侧能修的地方。

七类信号与对应的检查动作#

1. 代理先猜 URL,再考虑搜索

轨迹表现:五次运行中有四次在读文档前就抓取一个按导航结构推测出的 API 参考页路径,返回 404;真实路径与猜测只差一段(proxy-api 而非 api)。两次多花 5 到 7 步才找到,另外两次直接放弃文档,转而凭记忆试错。读完文档后猜测仍在继续:有一次抓了 technical-reference/plugins/executionsummaryplugin,而实际页面在 technical-reference/executionsummaryplugin,因为文档导航把插件归在独立分区。四次运行合计八次 404。

建议的检查:翻 404 日志里“几乎存在”的文档路径并加跳转;在 CLI 输出里直接打印文档 URL,让代理不必猜。

2. 帮助与错误信息“只说错,不说对”

轨迹表现:API 端点列表只给方法和路径,不给请求体与必填参数。代理照列表调用 GET /proxy/rootCertificate,得到 400:

{ "errors": { "format": ["The format field is required."] } }

错误没有列出合法值,代理依次试了 pem、crt、cer、der,只有 crt 可用。每一轮猜测都是一个请求。

建议的检查:跑一遍自己的 CLI help,并主动触发最常见的错误,确认每条信息都给出合法输入的样子——示例或允许值列表。

3. 每次运行都重造同一个 workaround

轨迹表现:录制停止后报告写入没有完成信号。四次运行轮询输出目录最多 30 秒,第五次直接等待 2 秒;在繁忙的 CI runner 上,后者迟早失败。更奇怪的是插件:产品没有列出插件的命令,五次运行都读取插件 DLL 的原始字节,用正则搜类名。

以下为材料中展示的示例片段,本文未执行,仅用于说明该 workaround 的形态:

$b = [IO.File]::ReadAllBytes("$d\plugins\DevProxy.Plugins.dll")
$s = [Text.Encoding]::Unicode.GetString($b)
[regex]::Matches($s, '\b[A-Z]\w*(Plugin|Reporter)\b') | % { $_.Value } | sort -u

它确实能用,所以任何评分都不会显示它,但它既不稳健也不高效。轨迹能显示,因为同一个反常步骤在每次运行里重复出现。

建议的检查:凡是“调用返回之后才完成”的操作,都要有完成信号;凡是“需要从中选一个”的集合(插件、模板),都要有列举命令。

4. 文档边界之外,代理用记忆填空

轨迹表现:要让 Node.js 应用走 Dev Proxy,应用的 fetch 需要一个环境代理开关,且只有较新的 Node 版本支持。五次运行都从记忆里写对了 NODE_USE_ENV_PROXY,并注明需要 Node 22.21.0+ 或 24.0+,但没有一次是从 Dev Proxy 文档里找到的。模型知道就成功;不知道就会记录不到任何东西,且不报错。

建议的检查:列出开发者常与你产品搭配的运行时和框架,逐个补齐 setup 说明;在轨迹里找“陈述事实但不引用来源”的推理段落。

5. 默认配置服务的是第一次运行

轨迹表现:默认配置在示例 API 上模拟随机错误,用来让人一眼确认流量确实经过代理,但录真实流量时它成了障碍。代理立即判断要避开它,自建配置却是空的,于是每次运行各建一套,同一个目标选了三种不同插件。

建议的检查:保留让首次运行成功的默认值,同时在旁边为常见任务提供预设,并把这些预设写进 CLI help——代理会较早读到 help。

6. 搜索索引给的是快照

轨迹表现:自 v3.3.1 起 API 需要 token。一次运行的搜索返回两条在变更前建立索引的结果:一条是 6 月抓取的乌克兰语 API 参考翻译,一条是 Dev Proxy 自己的 agent skill 文件(六周前已更新为带认证)。两者都展示不带 token 的调用:

curl -X POST http://localhost:8897/proxy \
 -H "Content-Type: application/json" \
 -d '{"recording": true}'

这类调用现在会返回 401。那次运行做对,只是因为它先读了随安装版本发布的 CLI help,而 CLI help 不会过期。

建议的检查:拿几个开发者会交给代理的任务,跑一遍代理会跑的搜索词,看结果(包括翻译和你自己发布的 skill)是否描述当前版本;在每页顶部写明版本要求,让它出现在搜索摘要里,提示读者这是哪个版本的快照。

7. 帮助文本没有声明的默认值

材料在这一节截断于“Dev Proxy sets itself as the”,因此无法确认该产品的具体默认行为。可确认的一般模式是:代理把 help 当规范读;如果一个选项读起来像开关,它就假设默认关闭、不传就不生效。若实际默认开启,代理永远不会传关闭它的值。对多数选项,代价只是行为与预期不同;但若该默认值改动的是产品之外的东西,脚本就带上了代理不知道的副作用,而任务仍然成功,评分也抓不到。

建议的检查:逐个核对 help 里“看起来像开关”的选项的真实默认值,默认开启的要显式标注,尤其是会改变宿主环境网络、文件或进程状态的选项。该产品具体默认值待核实。

把这个检查做成例行流程#

  1. 固定任务与评分口径,但完整保留轨迹:请求、URL、错误、耗时、token 数。
  2. 同一任务重复多次。单次出现的反常步骤是噪声,重复出现的是缺功能。
  3. 按上面七类打标签,只统计出现频次,先不判断严重性。
  4. 修产品侧(跳转、错误信息、完成信号、列举命令、预设、版本标注、默认值标注),不要靠调评分把问题掩盖。
  5. 修完重跑同一批任务,对比步骤数、404 次数与 token 消耗。材料未提供修复后的对照数据,这一步的效果需要自行验证。

边界#

  • 这是单一产品、五次运行的评估,不能当作各类产品的发生率。
  • 29 到 39 个请求、最多 120 万 token、15 个问题等数字来自该文,其统计口径与 token 计法细节本次材料未提供。
  • 修复后的改善幅度在截断部分之外,本文不作推断。
  • 第 4 类信号随模型版本漂移:今天靠记忆答对,换版本可能静默答错。

一句话收束:把轨迹当成产品反馈的一种输入,而不是评分的补充说明。评分告诉你任务是否完成,轨迹告诉你下一次别人家的代理还会在哪里卡住。

参考来源

  1. Your best AX fixes are hiding in agent trajectories

以上为本文写作时的参考资料,引用观点以原文为准。

作者:沐小悠

本文约 9 分钟读完 · 关键词:代理轨迹、AX、代理体验、Dev Proxy、eval 评分

更多文章 GET 示例接口

「」标签下的其他文章