技术文章

外部链接将在新标签页打开。

工作区路径里的 eval:评测环境可能在下指令前就改变代理

一句话回答

微软 DevBlogs 一篇博文的摘要指出,评测工具常用含 eval 的随机临时目录,而代理每轮都能看到该路径。路径因此可能成为“这是测试”的提示。建议把目录唯一性与中性命名分开处理,并用固定其他变量的对照实验验证影响,而不是直接下结论。

核心要点 TL;DR
  • 路径名是上下文的一部分:含 eval 的目录名可能在任务指令之前就向代理暴露评测身份。
  • 每次运行使用独立目录与给目录起中性名字并不冲突,可以同时满足。
  • 路径是否真的改变行为需要对照实验回答,材料摘要未提供相关数据。

有可能,而且机制并不神秘:工作区路径本身就是上下文的一部分。微软 DevBlogs 在 2026 年 10 月 30 日的一篇博文中讨论了这个问题,其摘要指出,评测工具需要为每次运行准备一个全新目录,最省事的做法是使用 /tmp/eval-7f3a2c 这类随机临时路径;而代理在每一轮都能看到这个路径,摘要提到它出现在系统提示中(原句在此处截断)。如果代理把 eval 读成“这是测试”,那么它在读到第一条任务指令之前,就已经收到了一个额外信号。来源:Does ‘eval’ in the workspace path change what your agent does?

这里说的“污染”是语义泄漏,不是文件残留#

评测环境不干净,通常指上一轮的文件、缓存或进程没有清掉。这里的问题不同:目录名是一个字符串,而字符串会进入提示。随机后缀保证了目录唯一,eval 前缀却把用途写死了。两者本来是两个目标,却被一个命名同时承担。

需要把事实和推断分开。摘要支持的是:这类路径存在,代理每轮可见。至于它是否真的改变输出、改变多少,属于需要实验回答的问题。不同模型、不同系统提示、不同工具调用方式,敏感度可能不同;本次材料只有摘要,未提供具体实验数据,不能替发布方下“有效”或“无效”的结论。

为什么最省事的命名反而最危险#

  • 名字同时编码了身份。/tmp/eval-7f3a2c 既告诉系统“这是独立运行”,也告诉模型“这是评测”。
  • 固定路径同样有风险。/workspace/test、/home/bench 这类命名把语义写得更直白。
  • 路径可能不止出现在一个地方。除系统提示外,工具返回值、报错信息、版本控制状态都可能带出路径。这一点是合理推断,摘要只明确提到系统提示与每轮可见。

把命名与隔离拆开处理#

  1. 中性命名。用 ws-<随机串>、run-<id> 之类,避开 eval、test、bench 等词。
  2. 把评测标识移出代理可见面。运行编号放在编排层或外部记录里;若放进环境变量,要先确认工具是否会把它读进上下文。
  3. 保持路径结构稳定。不要让目录深度或父目录名随阶段变化,否则等于用路径传递流程信息。
  4. 记录每次运行的路径。写进日志,事后才能把异常轨迹和具体目录对应起来。
  5. 做对照,而不是凭直觉改。只改路径命名,其他变量固定。

下面是一个中性目录名的示例,未实际执行,仅演示命名思路,不保证适配你的评测框架:

import os
import secrets
import tempfile

def neutral_workspace(prefix="ws"):
    # 未执行示例:唯一性由随机串保证,名字不携带“评测”语义
    token = secrets.token_hex(4)
    path = os.path.join(tempfile.gettempdir(), f"{prefix}-{token}")
    os.makedirs(path, exist_ok=False)
    return path

对照实验要固定住其他变量#

想回答“路径是否改变行为”,最小设计是两组:一组路径含 eval,一组为中性名;模型版本、温度、系统提示、工具集、任务集和评分脚本保持一致;每组重复多次,避免单次波动。观察指标不只看通过率,也看轨迹里是否出现“这是测试”“需要满足评测”一类表述。

这只是实验设计建议,不是实测结果。也要预留反例空间:如果两组没有差异,不能据此断言路径永远无害——样本量、任务类型和模型都可能限制结论。路径只是上下文泄漏的一条渠道,改名成本低,值得先做,但不能替代验证。

结论可以收得很窄:评测工具应当继续为每次运行建立独立目录,但目录名不必把“评测”写在脸上。先做一组只改路径的对照,再决定是否调整整套评测流程。

常见问题(FAQ)

把 eval 目录改成中性名字就够了吗?
不够。改名成本低、值得先做,但它只处理路径这一条渠道;是否有效仍要看对照实验,其他上下文位置也可能泄漏评测身份。
既然名字有风险,还要不要每次新建随机目录?
要。每次运行独立目录是隔离要求,问题出在名字携带的语义,不在随机性本身。

参考来源

  1. Does ‘eval’ in the workspace path change what your agent does?

以上为本文写作时的参考资料,引用观点以原文为准。

作者:沐小悠

本文约 5 分钟读完 · 关键词:代理评测、eval 路径、上下文污染、评测环境、代理行为

更多文章 GET 示例接口

「」标签下的其他文章