agent 评测里路径带 eval,会改变 agent 的行为吗?
微软一项约 900 次运行、四个模型的实验显示:工作区路径含 eval 会稳定提高 agent“自己在被测试”的判断,但在六个日常工程场景中没有带来可测量的行为差异;小样本里出现的差异在扩大样本后消失。作者的建议是不必重建评测框架,…
「评测」标签下共 32 篇技术文章。按发布时间倒序排列,内容持续更新。
微软一项约 900 次运行、四个模型的实验显示:工作区路径含 eval 会稳定提高 agent“自己在被测试”的判断,但在六个日常工程场景中没有带来可测量的行为差异;小样本里出现的差异在扩大样本后消失。作者的建议是不必重建评测框架,…
微软开发者博客记录了一组对照实验:约 900 次运行、四个模型、六类工程任务,对比 billing-api 与 eval-XysseR 两种工作区文件夹名。文件夹名确实进入了系统提示并提高了 agent 对“这是测试”的判断,但在可…
BioBasicsBench 用 100 项任务把「能读懂原始实验数据」定义成可执行的 agent 评测,场景限定在日常湿实验室科学。原始数据通常指仪器直接导出、未经校正与归一化的文件,与整理表是两类输入。100 项属诊断级样本,适…
路径里出现 eval 会稳定提高模型“这是测试”的自评概率,但在一组约 900 次运行的对照实验中,没有测到行为变化。小样本曾显示明显差异,扩大样本后消失。作者建议仍使用中性目录名,但把清理重点放在描述工作本身的词上。
微软开发者博客的一项实验把同一仓库分别放在 billing-api 和 eval-XysseR 两个临时目录下,用四个模型跑了约 900 次。路径确实进入了系统提示,模型也确实更怀疑自己在被测试,但在行为上没有测到显著差异;此前 3…
本次材料只提供 OpenAI BioBasicsBench 的摘要:一个含 100 个任务、衡量 AI agent 解读原始实验数据与处理日常湿实验工作的基准。摘要未说明任务如何切分、如何判分,因此文章只确认名称、规模与目标定位,其…
Microsoft for Developers 的实验显示,工作区路径中的 eval 会进入系统提示并显著提高模型“正在被测试”的怀疑,但在其约 900 次运行、四个模型和多类日常工程场景中,未测到行为上的显著差异。路径命名仍会影…
来源实验把同一仓库分别放进 billing-api 与 eval-XysseR 两个临时目录,在六个工程场景、四个模型、约 900 次运行中比较。结果是模型更确信自己在被测试,但没有观察到可测量的行为差异,努力度也没有一致变化。作者…
公开摘要只支持 LifeVal 是衡量 AI 帮助人们完成日常任务的基准,举例包括寻找托儿、管理财务与处理政府文书;任务规模、判定方式和评分公式均待核实。文章据此讨论设计同类基准时应先固定三件事:用真实性、可交付性和失败代价约束任务…
共 32 篇文章,第 3 / 4 页