五份能跑的脚本,十五个问题:把 agent 轨迹读成第二份评测
评测只回答任务是否完成,完整轨迹才回答它怎样完成。微软 Dev Proxy 的一次内部评测中,五次运行产出的脚本全部可用,轨迹里仍记录到十五处问题:猜文档 URL、错误信息不给合法值、每次运行重造同一变通、文档边界外靠模型记忆、默认…
「评测」标签下共 32 篇技术文章。按发布时间倒序排列,内容持续更新。
评测只回答任务是否完成,完整轨迹才回答它怎样完成。微软 Dev Proxy 的一次内部评测中,五次运行产出的脚本全部可用,轨迹里仍记录到十五处问题:猜文档 URL、错误信息不给合法值、每次运行重造同一变通、文档边界外靠模型记忆、默认…
微软开发者博客的一篇摘要称,在同一项破坏性升级实验中,标为 2.0.0 时 Claude Sonnet 5.5 在 10 次运行中全部提交了升级,标为 1.4.3 时只有 2 次提交且常使应用处于损坏状态。这个对照说明版本标签可能改…
微软开发者博客报告的两轮实验显示:版本号标签会改变部分模型检查依赖升级的强度。Claude Haiku 5.5 在 patch 标签下未检查就合并的比例为 37%,major 下为 7%;Claude Opus 5.5 与 GPT-…
Microsoft 一篇博客的摘要显示,五次 agent 运行都产出了可工作的脚本、评测分数没有异常,但轨迹暴露了两类行为:每次运行都把 DLL 当原始字节读取以查找插件名,三个脚本会悄悄重定向 CI runner 的网络流量。这说…
微软开发者博客的一篇实验报告用约 900 次运行、四个模型、六个场景对比了 billing-api 与 eval-XysseR 两个工作目录:文件夹名确实到达模型并提高了它对自己正被测试的判断,但没有测出行为差异。小样本里出现的 4…
微软开发者博客 2026 年 10 月的一篇文章报告:工作区路径出现 eval 会显著提高 agent“自己在被测试”的判断,但在约 900 次运行、六个场景中没有测到可测量的行为差异。因此随机临时目录本身不必重建,而测量 agen…
BioBasicsBench 的发布摘要支持其是包含 100 项任务的基准,用于测量 AI agent 解释原始实验数据和处理日常湿实验科学的表现。这只足以确认一个范围有限的测量目标,不能据此确认具体分数、真实实验可靠性、安全性或跨…
根据 OpenAI 页面摘要,BioBasicsBench 是包含 100 项任务的基准,衡量 AI agent 解读原始实验数据和处理日常湿实验室科学的能力;任务构成、评分规则与通过标准在摘要中未给出,不能据此判断具体评测口径或模…
eval 分数只回答 agent 有没有完成任务,轨迹才记录它怎么完成、在哪绕路。微软开发者博客以 Dev Proxy 的五次评测为例:五个脚本全部可用,轨迹里却有 15 个问题,包括猜错文档 URL、错误信息不说明合法取值、每次运…
共 32 篇文章,第 2 / 4 页