BioBasicsBench 的 100 项任务，如何界定「能读懂原始实验数据」

按 OpenAI 2026 年 11 月 6 日发布的摘要，BioBasicsBench 用 100 项任务衡量 AI agent 解读原始实验数据、处理日常湿实验室工作的能力（OpenAI 发布页）。换句话说，它把「能读懂原始实验数据」从一句能力描述，改写成 100 个可执行的 agent 任务。但摘要没有给出任务构成、评分方法和基线成绩，所以下面只讨论这种定义方式本身说明了什么、还缺哪些信息才能判断它是否测到了你要测的能力。

摘要层面能确认的三件事#

• 评测单元是 agent，不是单轮问答模型。用词的差别通常意味着任务要求多步操作，但具体交互形式待核实。
• 规模是 100 项任务。这是一个诊断级样本量，不是大规模排行榜。
• 场景边界是「原始实验数据」加「日常湿实验室科学」。既不是论文阅读，也不是纯知识问答。

「原始实验数据」界定了什么#

在湿实验室语境里，raw data 通常指仪器直接导出的文件，例如读板机的吸光度读数、qPCR 的扩增曲线、成像设备的原始帧；它不同于经过基线校正、归一化、剔除异常值之后的整理表。这是对术语的一般解释，不是该基准已经公开的任务清单。这个区分之所以重要，是因为原始文件带着格式噪声、单位约定、空白孔与批次结构，读它需要的是解析与核对，而不是复述结论——纯文本基准测不出这一层。

从「答对」到「怎么答对」#

一旦评测单元是 agent，判据就不止于最终答案。同一个结论，可以靠猜、靠逐行读文件、靠写脚本算出来，三者在工程上的意义完全不同。因此读这类基准时，评分规则（rubric）比题目数量更关键：它奖励的是最终数值，还是中间步骤里对文件的正确处理。这一点本次材料未涉及，待核实。

100 项这个规模意味着什么#

100 项适合做失败模式归类：哪一类任务 agent 会系统性地做不对。它不适合支撑小数点后的排名差异。若发布方给出通过率，需要同时看重复运行次数与方差；单次运行得到的百分比在小样本上波动很大。这是对评测方法的一般判断，不是对该基准结果的陈述。

读这类发布时要核对的清单#

1. 任务类型分布：解析、计算、判断、撰写各占多少。
2. 原始数据的真实形态：格式种类、是否存在噪声与缺失值。
3. 评分方式：人工、脚本还是模型判定，判定者之间的一致性如何。
4. 基线：哪些模型或 agent 跑过，各跑了几次。
5. 可复现性：任务定义、数据集与运行 harness 是否公开，许可如何。

以上五项，本次材料均未提供；引用结论前应以原始发布页或配套论文为准，而不是依据摘要推断。

自建内部评测可以借鉴的做法#

如果目标是判断「我们的 agent 能不能读自家仪器的输出」，公开基准只能提供思路，替代不了内部任务集。可操作的做法是：从实验室真实导出文件里挑十几份，每份写一张任务卡，明确输入文件、期望动作、可接受输出与失败判定。下面只是字段结构的占位演示，未执行，也不含真实数据：

{
  "task_id": "plate-reader-001",
  "input_files": ["demo_run_01.csv"],
  "question": "这份读板数据中，哪些孔的信号超出线性范围？",
  "expected_actions": ["读取原始导出文件", "核对单位与空白孔"],
  "accept_if": ["指出具体孔位", "给出判断依据"],
  "reject_if": ["只复述文件头", "给出文件中不存在的孔位"]
}

字段怎么定并不重要，重要的是失败判定要先写下来，否则评测会退化成「看起来答得不错」。

结论与边界#

BioBasicsBench 的价值在于给出了一个明确的操作化方向：把湿实验室里的原始数据解读拆成 agent 任务来测。至于这 100 项具体覆盖了哪些仪器、哪些数据格式、用什么标准判分，本次材料没有提供，无法据此判断它是否适用于你的实验场景。需要做的下一步是读原始任务定义，而不是从任务数量反推能力范围。