代理轨迹里的 AX 缺陷:评分全绿时,该看哪七类信号
eval 评分只回答代理是否完成任务,轨迹记录每一步及其原因,能暴露猜 URL、错误信息缺有效值、重复造 workaround、默认配置挡路、搜索旧快照等可用性缺陷。文章转述微软开发者博客对 Dev Proxy 的五次运行评测,并给出在自己产品上复现这套观察的最小流程与边界。
- 评分与轨迹回答不同问题:前者是任务结果,后者是步骤记录;全部通过不代表交互过程没有缺陷。
- 来源记录的五次运行全部产出可用脚本,轨迹里却有 15 个问题,单次 29 到 39 次请求、最高 120 万 token
- 同一 workaround 在每次运行中重复出现,比单次运行中的绕路更值得当作产品缺口处理。
- 轨迹能指出问题位置,但不能单独证明修复有效;需要同一任务复跑对比,来源未提供这类复测数据。
如果你的产品要给 AI 代理用,评估分数只能回答一个问题:任务做完没有。它回答不了另一个问题:代理是怎么做完的。微软开发者博客的一篇评测记录把这两件事分开看,结论值得做 API、CLI 和开发者文档的团队注意:五次运行全部产出了可用脚本,分数上没有异常,但轨迹里出现了 15 个问题。来源:Your best AX fixes are hiding in agent trajectories
这里的 AX 指 Agent Experience,代理体验:代理读取你的文档、调用你的接口、解析你的报错时的实际感受。它和人类开发者体验有重叠,但代理有几个特别的行为——把帮助文本当规范、按见过的模式猜 URL、用训练记忆补文档没写的部分。
评分与轨迹回答的是不同问题#
该文的评测对象是 Dev Proxy,一个拦截应用 HTTP 请求的本地代理。任务设定是:用 GitHub Copilot Chat 配合 Claude Sonnet 5.5、不装扩展,跑五次,让代理写一个 CI 脚本,调用 Dev Proxy 的 API 记录某个 Node.js 工具调用了哪些 GitHub API。
结果分成两层。结果层:五份脚本都能工作。过程层:轨迹显示 15 个问题,每次运行发出 29 到 39 次请求,单次最高消耗 120 万 tokens。这些数字是来源报告的单次运行数据,不是本文的实测。
为什么分数看不见这些问题?因为代理很执着。遇到 404 就换一个 URL,遇到报错就换一个值,直到错误消失。挣扎被吸收进过程里,最终产物仍然正确。换句话说,评分衡量的是终点,轨迹衡量的是路上的坑,而坑的代价以请求数和 token 数计价。
七类值得对照的轨迹信号#
来源从这批轨迹里归纳出七种模式,并强调这是作者挑选的、最可能在别的产品上复现的一批,不是全部。下表是压缩版,后文逐条说明。
| 模式 | 轨迹里的样子 | 指向的修法 |
|---|---|---|
| 先猜 URL | 没搜索就先请求记忆中的文档路径,404 后重试或放弃 | 查 404 日志里的“几乎存在”路径,加跳转;在 CLI 输出里打印文档 URL |
| 接口差一步 | 按帮助文本调用,拿到 400,错误只说缺什么、不说合法值 | 错误信息给出示例或允许值列表 |
| 重复造 workaround | 每次运行都手写同一段轮询或反解 | 补完成信号、补枚举命令 |
| 用记忆填空白 | 推理里断言一个事实,但不引用任何来源 | 补齐与运行时、框架的组合配置文档 |
| 绕开首次运行默认值 | 主动弃用默认配置,各自从空配置重建 | 保留默认,另加面向常见任务的预设并列进帮助文本 |
| 信任搜索快照 | 读到的页面是旧版本,示例不带新要求的认证 | 每页顶部写明版本要求,让摘要能带出来 |
| 假设未声明的默认值 | 把选项当开关,从不传关闭值 | 帮助文本显式写出默认状态与副作用 |
先猜 URL,再搜文档
代理常常跳过搜索,直接请求它认为文档应该在的位置。来源记录:五次运行里有四次在阅读任何文档之前,先请求了 https://learn.microsoft.com/en-us/microsoft-cloud/dev/dev-proxy/technical-reference/api,返回 404;真实页面是 technical-reference/proxy-api。两次运行多花五到七步才找到,另外两次干脆放弃文档,靠记忆和试错继续。读完文档后猜测仍在继续,四次运行合计八次 404。
这条信号的可操作部分很直接:404 日志里那些“几乎存在”的文档路径,每一条都值得加跳转。日志未必告诉你请求来自代理,但跳转对人和代理都有效。
帮助文本只说不许什么,不说怎么才对
Dev Proxy 的端点列表只写方法和一句说明,不显示请求体与必需参数。某次运行照列表调用了 /proxy/rootCertificate,得到 400:{"errors":{"format":["The format field is required."]}}。错误没说合法值,代理依次试了 pem、crt、cer、der,只有 crt 有效。
人类遇到这种情况会去翻文档;代理把错误信息当规范,于是每一轮猜测都是一次请求。修法是让最常见的错误自己说清楚:给一个示例,或列出允许值。
每次运行都重写同一个 workaround
这是来源里最有判别力的信号。单次运行中的绕路可能是噪声;每次运行都写同一段绕路,说明产品缺了一个东西。例子有两个。
其一是完成信号。Dev Proxy 在停止录制后不久写报告,但不通知何时写完。四次运行轮询输出目录最长 30 秒,第五次直接等两秒:
await api('POST', '/proxy', { recording: false });
await sleep(2000); // let the reporters flush their files
(来源示例,本文未执行。)在繁忙的 CI runner 上,固定等待迟早会失败;轮询更稳,但每次轮询的运行都得猜该等哪个文件。
其二是插件枚举。因为没有列出插件的命令,五次运行都读取插件 DLL 的原始字节,再用正则找类名:
$b = [IO.File]::ReadAllBytes("$d\plugins\DevProxy.Plugins.dll")
$s = [Text.Encoding]::Unicode.GetString($b)
[regex]::Matches($s, '\b[A-Z]\w*(Plugin|Reporter)\b') | % { $_.Value } | sort -u
(来源示例,本文未执行。)它能跑通,所以任何评分都不会显示它,但它既不稳健也不高效。轨迹能显示它,因为同一段奇怪步骤在每次运行里都出现。
文档边界之外,代理拿记忆补
开发者会把你的工具和其他运行时、框架一起用,而文档往往写到工具边界为止。要 Node.js 应用走 Dev Proxy,应用的 fetch 需要一个较新 Node 版本才支持的开关。来源记录:五次运行都从记忆里知道 NODE_USE_ENV_PROXY 及其版本要求,没有一次是从 Dev Proxy 文档里读到的。
这次全对,属于运气。模型记错或只记得旧版本时,代理会写出一段看起来正确、实际什么都不做的代码,而且不报错。轨迹里的表现是:推理直接陈述一个事实,不引用任何来源。这类空白需要按“工具 × 运行时”的组合逐项补文档,而不是等评分报警。
代理会绕开“首次运行”默认值
默认配置和入门模板是为第一次上手设计的:几分钟内让人看到请求流过、产品能做什么。对具体任务,它常常挡路。Dev Proxy 的默认配置会在示例 API 上注入随机错误,代理立即识别并弃用,改成自建配置;而自建配置是空的,各次运行于是各自搭建,为同一目标选了三种不同插件。
修法不是改掉默认值,而是在默认值旁边给常见任务各配一个预设,并把预设列进代理会早期读取的 CLI 帮助文本。这样每次运行从同一个正确起点出发。
搜索索引里的旧快照
代理经常通过搜索引擎读你的说明,而索引提供的是快照。来源记录:Dev Proxy API 自 v3.3.1 起要求 token,但某次运行的搜索返回两条变更前索引的结果——一条是 6 月抓取的乌克兰语 API 参考翻译,另一条是六周前才补上认证说明的自家 agent skill 文件。两条都展示不带 token 的调用,而现在这样调用会返回 401。那次运行最终做对,只是因为它先读了随安装版本一起发布的 CLI 帮助文本,而帮助文本不会过期。
你能做的有限但明确:用代理会用的关键词搜一遍,检查结果(包括翻译和自家 skill)是否描述当前版本;然后在每页顶部写明版本要求,让它出现在搜索摘要里,告诉代理这份快照对应哪个版本。
假设帮助文本没说的默认值
代理按字面读 CLI 帮助。一个选项若写得像“打开某开关”,代理就假设它默认关闭,除非显式传参;如果它实际默认开启,代理永远不会传那个关闭值。多数情况下代价只是行为与预期不符;如果这个默认值会改变工具之外的东西,代理就会发布一个带未知副作用的脚本,而任务照样成功,评分照样看不见。
需要说明:来源正文在这一节的 Dev Proxy 实例处被抓取截断,具体行为无法核实,此处只保留通用描述。修法方向是把默认状态和外部副作用写进帮助文本。
在自己的产品上做一遍#
- 选一个有代表性、可判定的任务。像来源那样,要求产出一个能运行的脚本,而不是“试用一下”。
- 跑多次,而不是一次。重复模式才是产品缺口的信号;单次绕路可能只是模型偏好。
- 保存轨迹,而不只是产物和分数。要看的是每一步请求、每次报错、每段推理。
- 按上表逐条标注。标不进去的模式也记下来,来源明确说这七类只是挑选结果。
- 区分产品缺口与模型知识。问一句:改产品能不能让下一次轨迹变短?能,就是 AX 缺陷。
- 修完用同一任务复跑对比。没有复跑,就没有证据说明修复有效。
这套方法的边界#
第一,评分仍然必要。轨迹能说明过程昂贵,但不能替代“任务是否完成”这一判断。第二,来源的观察来自单一产品、单一模型配置和五次运行,外推到其他产品时应保守。第三,来源未提供修复后的复测数据,哪些修法真正缩短了轨迹,待核实。第四,轨迹里的挣扎有时反映的是模型知识不足,而非产品设计问题,两者混在一起会误导优先级。
如果要给一个最小结论:把 eval 分数当作门槛,把轨迹当作诊断。分数告诉你代理有没有到终点,轨迹告诉你它在哪一段路上反复摔跤——而反复摔跤的地方,通常就是你的文档、错误信息或 CLI 该改的地方。
常见问题(FAQ)
AX 是什么?
评分高的代理运行还需要看轨迹吗?
轨迹里出现绕路,一定是产品缺陷吗?
参考来源
以上为本文写作时的参考资料,引用观点以原文为准。