工作区路径里的 eval:评测环境可能在下指令前就改变代理
微软 DevBlogs 一篇博文的摘要指出,评测工具常用含 eval 的随机临时目录,而代理每轮都能看到该路径。路径因此可能成为“这是测试”的提示。建议把目录唯一性与中性命名分开处理,并用固定其他变量的对照实验验证影响,而不是直接下结论。
- 路径名是上下文的一部分:含 eval 的目录名可能在任务指令之前就向代理暴露评测身份。
- 每次运行使用独立目录与给目录起中性名字并不冲突,可以同时满足。
- 路径是否真的改变行为需要对照实验回答,材料摘要未提供相关数据。
有可能,而且机制并不神秘:工作区路径本身就是上下文的一部分。微软 DevBlogs 在 2026 年 10 月 30 日的一篇博文中讨论了这个问题,其摘要指出,评测工具需要为每次运行准备一个全新目录,最省事的做法是使用 /tmp/eval-7f3a2c 这类随机临时路径;而代理在每一轮都能看到这个路径,摘要提到它出现在系统提示中(原句在此处截断)。如果代理把 eval 读成“这是测试”,那么它在读到第一条任务指令之前,就已经收到了一个额外信号。来源:Does ‘eval’ in the workspace path change what your agent does?
这里说的“污染”是语义泄漏,不是文件残留#
评测环境不干净,通常指上一轮的文件、缓存或进程没有清掉。这里的问题不同:目录名是一个字符串,而字符串会进入提示。随机后缀保证了目录唯一,eval 前缀却把用途写死了。两者本来是两个目标,却被一个命名同时承担。
需要把事实和推断分开。摘要支持的是:这类路径存在,代理每轮可见。至于它是否真的改变输出、改变多少,属于需要实验回答的问题。不同模型、不同系统提示、不同工具调用方式,敏感度可能不同;本次材料只有摘要,未提供具体实验数据,不能替发布方下“有效”或“无效”的结论。
为什么最省事的命名反而最危险#
- 名字同时编码了身份。
/tmp/eval-7f3a2c既告诉系统“这是独立运行”,也告诉模型“这是评测”。 - 固定路径同样有风险。
/workspace/test、/home/bench这类命名把语义写得更直白。 - 路径可能不止出现在一个地方。除系统提示外,工具返回值、报错信息、版本控制状态都可能带出路径。这一点是合理推断,摘要只明确提到系统提示与每轮可见。
把命名与隔离拆开处理#
- 中性命名。用
ws-<随机串>、run-<id>之类,避开eval、test、bench等词。 - 把评测标识移出代理可见面。运行编号放在编排层或外部记录里;若放进环境变量,要先确认工具是否会把它读进上下文。
- 保持路径结构稳定。不要让目录深度或父目录名随阶段变化,否则等于用路径传递流程信息。
- 记录每次运行的路径。写进日志,事后才能把异常轨迹和具体目录对应起来。
- 做对照,而不是凭直觉改。只改路径命名,其他变量固定。
下面是一个中性目录名的示例,未实际执行,仅演示命名思路,不保证适配你的评测框架:
import os
import secrets
import tempfile
def neutral_workspace(prefix="ws"):
# 未执行示例:唯一性由随机串保证,名字不携带“评测”语义
token = secrets.token_hex(4)
path = os.path.join(tempfile.gettempdir(), f"{prefix}-{token}")
os.makedirs(path, exist_ok=False)
return path
对照实验要固定住其他变量#
想回答“路径是否改变行为”,最小设计是两组:一组路径含 eval,一组为中性名;模型版本、温度、系统提示、工具集、任务集和评分脚本保持一致;每组重复多次,避免单次波动。观察指标不只看通过率,也看轨迹里是否出现“这是测试”“需要满足评测”一类表述。
这只是实验设计建议,不是实测结果。也要预留反例空间:如果两组没有差异,不能据此断言路径永远无害——样本量、任务类型和模型都可能限制结论。路径只是上下文泄漏的一条渠道,改名成本低,值得先做,但不能替代验证。
结论可以收得很窄:评测工具应当继续为每次运行建立独立目录,但目录名不必把“评测”写在脸上。先做一组只改路径的对照,再决定是否调整整套评测流程。
常见问题(FAQ)
把 eval 目录改成中性名字就够了吗?
既然名字有风险,还要不要每次新建随机目录?
参考来源
以上为本文写作时的参考资料,引用观点以原文为准。