湿实验数据交给 AI agent：用 BioBasicsBench 划定可确认边界

简短回答：BioBasicsBench 能确认的是一个范围很窄的测量承诺：它用 100 项任务测量 AI agent 解释原始实验数据、处理日常湿实验科学的表现；仅凭发布摘要，不能确认某个 agent 的真实实验可靠性、安全性或泛化能力。 这一判断依据的是OpenAI 2026 年 11 月 6 日的发布页摘要。以下只使用摘要信息，不声称读过全文。

先把“能确认”缩小#

来源事实可以拆成三点：

• BioBasicsBench 是一个包含 100 项任务的基准；
• 它测量 AI agent 如何解释原始实验数据；
• 它也测量 AI agent 如何处理日常湿实验科学任务。

因此，它能确认的是“评测设计声称测量什么”，而不是“某个 agent 已经达到什么水平”。摘要没有提供任务分布、评分规则、被测 agent 配置、对照结果或分数，不能写成“某模型通过”“准确率多少”或“已达到实验室可用”。这是对材料范围的限制，不是对基准本身的否定。

不能确认的边界#

把湿实验数据交给 agent 时，至少要分清下面几类证据：

换言之，基准可以作为一个外部参照层；它不能替代内部验收，也不能单独证明 agent 的输出可以改变实验参数。

开发者接入前先定三个契约#

如果目标是把原始湿实验数据交给 agent 做解释，建议先把“能做什么”写成可检查条件。以下是工程建议，不是 BioBasicsBench 的结论。

1. 输入契约：保留原始文件、单位、校准信息、批次、缺失值与文件哈希；agent 不得静默覆盖原始值。
2. 输出契约：每条结论应引用数据位置，列出假设、单位换算和不确定性；证据不足时明确拒绝。
3. 权限契约：默认只读分析与人工复核；涉及实验参数修改时使用二次审批和审计日志。

一个未执行的最小输出契约示例

下面只是演示结构，未执行，也不是对任何真实端点的调用；字段应按项目调整。

{
  "dataset_id": "demo-dataset",
  "source_hash": "<原始文件哈希>",
  "unit_normalization": "记录换算规则，不覆盖原值",
  "claims": [
    {
      "text": "待填结论",
      "evidence_rows": ["A1", "A2"],
      "assumptions": ["待填"],
      "uncertainty": "待填",
      "needs_human_review": true
    }
  ],
  "refusal": "数据不足时说明缺什么"
}

这段 JSON 的作用是让解释可追溯，而不是证明 agent 正确。本文没有运行记录，也没有实测数据。

验收时的判断顺序#

1. 先核对原始发布材料中的任务定义、评分方法和结果；本次材料只有摘要，细节待核实。
2. 用自己的脱敏样本定义通过条件，并记录模型版本、提示词、工具权限、成本与失败类型。
3. 把高危错误交给人审，确认 agent 是否会越过数据解释边界。

如果这些步骤没有完成，BioBasicsBench 只能说明“存在一个针对湿实验科学任务的评测”，不足以支持“可以把湿实验数据交给 agent 自动处理”的结论。