「Agent 评测」标签下共 6 篇技术文章，包括《BioBasicsBench 的 100 项任务，如何界定「》、《工作区路径里带 eval，会提前暗示 agent 这是测试吗》、《生物实验基准如何把原始实验数据拆成可判分任务：BioBasi》。按发布时间倒序排列，内容持续更新。
BioBasicsBench 用 100 项任务把「能读懂原始实验数据」定义成可执行的 agent 评测，场景限定在日常湿实验室科学。原始数据通常指仪器直接导出、未经校正与归一化的文件，与整理表是两类输入。100 项属诊断级样本，适…
路径里出现 eval 会稳定提高模型“这是测试”的自评概率，但在一组约 900 次运行的对照实验中，没有测到行为变化。小样本曾显示明显差异，扩大样本后消失。作者建议仍使用中性目录名，但把清理重点放在描述工作本身的词上。
本次材料只提供 OpenAI BioBasicsBench 的摘要：一个含 100 个任务、衡量 AI agent 解读原始实验数据与处理日常湿实验工作的基准。摘要未说明任务如何切分、如何判分，因此文章只确认名称、规模与目标定位，其…
Microsoft for Developers 的实验显示，工作区路径中的 eval 会进入系统提示并显著提高模型“正在被测试”的怀疑，但在其约 900 次运行、四个模型和多类日常工程场景中，未测到行为上的显著差异。路径命名仍会影…
来源实验把同一仓库分别放进 billing-api 与 eval-XysseR 两个临时目录，在六个工程场景、四个模型、约 900 次运行中比较。结果是模型更确信自己在被测试，但没有观察到可测量的行为差异，努力度也没有一致变化。作者…
可以用容器内的本地裸仓替代 GitHub 做 Agent 评测的远端，延迟与配额成本显著下降且 commit 可复现，但 Agent 自发推送比例会下降约 11 个百分点，涉及 PR、评审、CI 语义的指标不能直接替换。
共 6 篇文章，第 1 / 1 页