技术文章

外部链接将在新标签页打开。

评分正确、行为跑偏:从 agent 轨迹里反推体验修复点

一句话回答

评分只回答任务是否完成,行为偏差藏在轨迹里。本文以微软 Dev Proxy 的五次 agent 评估为例,说明如何按“跨运行重复”筛出信号,再映射到文档路径、错误信息、CLI help、默认配置和搜索快照等具体修复点,并给出样本与截断材料的边界。

先界定术语:本文的 AX 指 agent experience(智能体体验),讨论的是 agent 调用产品 API、读文档、跑 CLI 时遇到的障碍,不是通常说的无障碍(accessibility)。两者排查思路可以互相借鉴,但下文的事实与案例都来自前者。

要发现“评分正确但行为跑偏”,只有一条路径:把轨迹当成主要证据,按“跨运行重复”聚类,再把每一处重复映射到产品的某个具体资产上。单次绕路是噪音;五次运行都绕同一条路,就是产品缺口。

为什么评分看不见偏差#

评分是结果判定。它回答“任务完成了吗”,不回答“怎么完成的”。而 agent 恰好很能扛:一个 URL 返回 404,它猜下一个;参数被拒绝,它换个值再试;直到错误消失为止。挣扎过程被成功的终点掩盖了。

微软 Dev Proxy 团队的一次评估把这个落差量化了:使用 GitHub Copilot Chat、Claude Sonnet 5.5、不加扩展,让 agent 连续五次写一个 CI 脚本,通过 Dev Proxy API 记录某个 Node.js 工具调用了哪些 GitHub API。五个脚本都能运行,评分上没有任何异常。轨迹里却有 15 个问题,每次运行花 29 到 39 次请求,最多消耗 120 万 token。来源:Microsoft for Developers,2026 年 11 月 5 日

七种值得标记的轨迹形态#

先猜 URL,再搜文档

agent 会先按自己对文档站点结构的记忆拼一个路径去抓,而不是先搜索。Dev Proxy 的五次运行里有四次直接请求 technical-reference/api,返回 404;真实页面是 technical-reference/proxy-api。两次运行花了五到七步才找到,另外两次干脆放弃文档,转去凭记忆试错。读完文档后猜测还在继续:一次运行抓了 technical-reference/plugins/executionsummaryplugin,因为导航把插件单独分组,而真实路径没有 plugins 这一层。四次运行共八次抓取返回 404。

修复点不在模型,在路径结构和导航:翻 404 日志里“几乎存在”的文档路径,能加跳转就加;同时在 CLI 输出里直接打印文档地址。

接口说明停在“差一步”

给人类看的 help 和错误信息,默认对方会去翻文档;agent 却把它当规范读。Dev Proxy 的接口列表只写到 POST /proxy、GET /proxy/rootCertificate,没写请求体和必填参数。一次运行照字面调用,收到 400:{"errors":{"format":["The format field is required."]}}。错误没说合法值,agent 依次试了 pem、crt、cer、der,只有 crt 能用。

修复点:把 help 和最常见的几条错误各跑一遍,确认每条都说明“正确输入长什么样”,给出例子或允许值列表。

每次运行都重造同一个 workaround

产品缺一块能力,agent 就自己补。一次运行里这是噪音;每次运行都写同样的补丁,就是缺功能。Dev Proxy 的报告在停止录制后写入,没有完成信号:四次运行轮询输出目录最多 30 秒,第五次直接 sleep(2000)。更奇怪的是插件——没有列举插件的命令,五次运行全都把插件 DLL 当原始字节读出来,用正则匹配类名:

$b = [IO.File]::ReadAllBytes("$d\plugins\DevProxy.Plugins.dll")
$s = [Text.Encoding]::Unicode.GetString($b)
[regex]::Matches($s, '\b[A-Z]\w*(Plugin|Reporter)\b') | % { $_.Value } | sort -u

片段引自来源文章,用于说明轨迹里反复出现的模式;本文未执行,不保证在别的环境可用。它“能用”,所以任何评分都不会暴露它。

修复点:每个在调用返回之后才完成的操作,都要有完成信号;每个让 agent 从中挑选的集合(插件、模板),都要有列举命令。

用记忆填补文档空白

开发者会把你的工具和其他运行时、框架一起用,而文档往往只写到自己的边界,缺口由模型记忆补上。把 Node.js 应用流量导进 Dev Proxy,需要应用侧 fetch 打开一个只有较新 Node 版本支持的开关 NODE_USE_ENV_PROXY(要求 Node 22.21.0+ 或 24.0+,因为 undici 默认不遵循 HTTPS_PROXY)。五次运行都从记忆里填对了,但没有一次是在 Dev Proxy 文档里找到的。换一个知道得少一点的模型,结果可能是脚本一声不响地什么都没记录。

修复点:列出开发者最常搭配的运行时和框架,逐个补接入说明;对没写的那些,跑一个任务看 agent 自己填了什么。

绕开为“第一次运行”设计的默认值

默认配置和模板服务于首次体验:让人几分钟内看到产品能干什么。但面对具体任务,它常常碍事。Dev Proxy 的默认配置会在示例 API 上注入随机错误,用来证明流量确实经过代理;录制真实流量时它反而是干扰。agent 立刻避开,然后各自从空配置搭起,同一个目标选了三种不同插件。

修复点:保留让首次运行成功的默认,同时在旁边为每个常见任务提供一个预设,并在 CLI help 里列出来——agent 很早就读 help。

相信搜索返回的旧快照

agent 经常通过搜索引擎读你的文档,而索引提供的是快照。Dev Proxy 从 v3.3.1 起要求 API token。一次运行的搜索返回两条变更前索引的结果:一条是 API 参考的乌克兰语翻译,六月抓取;另一条是 Dev Proxy 自己的 agent skill 文件,展示的仍是不带 token 的调用,而这些调用现在返回 401。那次运行最终做对了,只是因为它先前读过 CLI help——help 随安装版本发布,不会过期。

修复点:把开发者交给 agent 的几个任务对应的搜索词自己搜一遍,检查结果(包括翻译和技能文件)描述的是不是当前版本;在每页顶部写明版本要求,让它出现在搜索摘要里。

没写进 help 的默认值

agent 把 help 当字面规范读:一个读起来像“开关”的选项,agent 默认它是关闭的,除非自己传。如果它实际默认开启,agent 永远不会传关闭它的值,因为没人告诉它。多数情况下代价只是一次行为和预期不符的运行;但如果这个默认会改变工具之外的东西,agent 就会交付一个带未知副作用的脚本,而任务依然成功,评分依旧看不出来。来源摘要提到“三个脚本会悄悄改掉 CI runner 的网络流量”,正文片段在“Dev Proxy sets itself as the …”处截断,这条模式的完整例子未在本次材料中提供,需要回到原文核实。

把信号变成修复点#

  1. 先逐条读,标出三类痕迹:没有引用来源的事实断言、连续重试同一动作、在多次运行里字面相同的补丁代码。
  2. 统计绕路成本:请求次数、token 消耗、额外步数。它们不是评分,但能帮你排序先修哪个。
  3. 把每处痕迹映射到产品的一个具体资产:文档路径、错误信息、CLI help、默认配置、搜索结果、异步完成信号、可选集合的列举命令。
  4. 做最小修复,一次只改一个资产,便于判断效果。
  5. 复跑同一个任务,比较轨迹差异,而不是只比较分数。分数本来就都是对的。

边界#

  • 材料样本是单一产品(Dev Proxy)、单一模型(Claude Sonnet 5.5)、五次运行。15 个问题、29 到 39 次请求、120 万 token 只描述这一次评估,不能当作通用比例或性能基准。
  • 七种形态是来源作者按“最可能在你自己的轨迹里出现”挑选的,不是穷举。
  • 第七种形态的正文在材料中被截断,“Dev Proxy 把自己设为……”之后的内容无法确认。
  • “三个脚本会悄悄改掉 CI runner 的网络流量”来自来源摘要,正文片段未展开机制,引用时保留这一不确定性。
  • 本文未执行上述任何示例代码,也未访问文中提到的文档路径。

参考来源

  1. Your best AX fixes are hiding in agent trajectories

以上为本文写作时的参考资料,引用观点以原文为准。

作者:沐小悠

本文约 9 分钟读完 · 关键词:agent 轨迹、agent experience、AX、eval 评分、产品文档

更多文章 GET 示例接口

「」标签下的其他文章