生物实验基准如何把原始实验数据拆成可判分任务：BioBasicsBench 摘要能核对到的边界

按本次可用的材料，只能确认一个范围很窄的事实：OpenAI 公开了 BioBasicsBench，一个包含 100 个任务的基准，用来衡量 AI agent 解读原始实验数据（raw experimental data）、处理日常湿实验室（wet-lab）工作的能力（OpenAI，来源日期 2026 年 11 月 6 日）。至于它具体怎样把仪器导出的原始文件切成任务、判分用精确匹配还是容差或专家复核、失败样例是否公开，摘要没有提供。本次写作没有读到正文，因此不能把“本次材料未提供”写成“发布方没有说明”，也不能替它补上这些细节。

所以下文分成两部分：能核对的事实，以及设计同类基准时可以自查的框架。后者是推断与建议，不代表 BioBasicsBench 的实际做法。

摘要支持的三点事实#

• 规模：100 个任务。
• 输入侧定位：面向原始实验数据，而不是已整理好的汇总表或现成结论。
• 目标侧定位：日常湿实验科学工作，即常规实验与数据处理层面的任务，不是纯文献问答。

除任务数量外，摘要没有给出实验类型分布、模型得分、评分方法或数据来源。100 个任务也不等于覆盖面，具体覆盖哪些实验待核实。

这类拆分为什么难#

以下是一般性工程判断，材料未涉及该基准如何处理这些问题。

• 隐含上下文。仪器导出的原始文件常带样本编号、批次、稀释倍数和单位。这些信息若不在输入里，任务容易退化成猜测；判分时需要区分“不会做”和“缺信息”。
• 答案不唯一。同一组数据可能有多个站得住脚的解释，单一字符串匹配会误杀正确回答。
• 过程与结论分离。agent 可能结论对、步骤错，也可能反过来。只判最终数值会丢掉大部分信号。
• 标注成本。可判分的前提是有人能判定，通常需要熟悉实验的人复核，而标注者之间也可能出现分歧。

设计同类任务时可自查的步骤#

1. 固定输入边界：明确交给 agent 的是哪些原始文件，是否附带元数据。边界不清，难度就不可比较。
2. 写输出要求：把“回答”变成可解析的结构，例如带单位与说明的字段。
3. 判分分层：可机判的部分用容差与单位归一；需要解释的部分交给专家复核，并记录分歧。
4. 控制粒度：一个任务尽量只考一个可判定的判断，避免把多个子问题打包成一个 0/1 分。
5. 留版本与溯源：记录数据来源、时间与判定规则版本，便于后续复现。

下面是一个占位示例，未执行，也不代表 BioBasicsBench 的任务格式，只示意字段如何组织。

{
  "task_id": "demo-001",
  "input_files": ["export.csv", "readme.txt"],
  "question": "计算处理组的平均浓度并标明单位",
  "answer_schema": {"value": "number", "unit": "string"},
  "grading": {"type": "tolerance", "relative": 0.05},
  "notes": "占位示例，非真实任务"
}

阅读这一类基准时的核对清单#

• 输入是否等同于真实原始导出，还是已做过清洗？
• 判分是字符串匹配、数值容差，还是专家复核？
• 评分单位是整条任务，还是任务内的子问题？
• 是否报告标注者之间的一致性？
• agent 是否允许调用工具或联网？
• 失败案例是否公开，能否据此判断能力的边界？

这些是该问的问题，不是该基准已给出的答案；仅凭摘要，以上各项均待核实。

边界#

不要把任务数量当成能力结论，也不要依据摘要推断任何模型的通过率或难度分布。引用时注明只读到摘要；若需要讨论拆分与判分细节，应先读完原页面正文再下判断。