发布前拦 Bug:Catching JiTTests 在规模化下如何分工人机
Meta 的 Catching JiTTests 把测试生成、误报判定交给流水线,人只在聚合层设定标准并确认行为变更是否有意。文章梳理其五阶段流程、LLM-as-Judge 与规则判定 RubFake 的分工,并说明 589 名工程师、60% 真阳性率、74 个隐私 SEV 等数字的适用边界与未公开口径。
- Catching JiTTests 生成的是会被执行、并期望失败的测试,用具体行为差异证明变更引入了 bug,而不是让模
- 规模化下的关键是 human-on-the-loop:人定标准、看聚合结果、做策略级干预,而不是逐条审查测试代码。
- 自动判定由两部分互补:多个 LLM 组成评委(非确定性、语义丰富),规则系统 RubFake 给出确定性判定,二者合成排
- Meta 公布的 60% 真阳性率、74 个隐私 SEV、20% 下降都来自其内部环境,统计口径与基期未在博客中完整给出
面向开发者的简短回答:在规模化场景下,人机协同的分工不是"人少看一点",而是把人的位置从"逐条审测试"上移到"定标准、看聚合、确认行为变更是否有意"。Meta 工程博客在 2026 年 10 月 29 日发布的 Catching Bugs Before They Land: JiTTesting's Human-on-the-Loop Approach at Full Scale 描述的正是这样一套已进入生产的系统。本文依据该博客正文梳理其分工,并说明哪些结论可以借鉴、哪些数字不能直接搬走。
"人在环上"取消的到底是什么#
博客把两种协同方式做了对照:human-in-the-loop 是人审查每一条输出;human-on-the-loop 是人设定判定标准、在聚合层面审查结果,需要时在策略层干预,而不是监督每一条输出。文中提到 Table 2 对二者做了操作层面的对比,但抓取到的正文没有给出该表内容,具体对比项待核实。
这一定位改变了工程师的工作内容。据博客描述,在这种模式下工程师很少需要阅读测试代码,只需要确认一件事:观察到的行为变化是不是这次变更有意为之。这个判断比"这段测试写得对不对"要轻得多,也更接近代码作者自己掌握的信息。
五个阶段:机器在哪里判断,人从哪里接手#
博客把整条流水线拆成五个阶段,前四个阶段无人值守,第五阶段决定是否需要找人。
阶段 1–2:先选目标,再生成测试
系统在夜间利用空闲算力运行,针对前一天提交的 diff,用一个类似 Diff Risk Score(DRS)、并以历史代码变更为训练依据的机制筛出"有风险"的变更,把算力集中在最可能包含严重回归的地方。
随后并行两条 diff-aware 的测试生成路径:
- dodgy diff 工作流:把每个 diff 当成一个变异体(mutant),用变异引导的 LLM 测试生成,产出能区分该 diff 与父版本行为的测试,不推理意图。它的目标是尽量扩大"弱捕获"的池子,提高其中出现真问题的概率。
- intent-aware 工作流:用 LLM 从代码变更、diff 标题和摘要中推断意图,再描述"风险",即实现这个意图时可能出错的方式,据此构造变异体,生成测试去杀死每个变异体,最后把这些测试跑在真实 diff 上,失败的收为弱捕获。
两条路径的差别在于是否依赖对意图的猜测:一条把"变更本身可疑"当作默认假设,另一条先理解想做什么、再推演可能做错在哪。博客称这种思路与常见的 LLM/agent 代码审查有本质区别——后者基本沿用人类审查的流程,只是更快;前者产出的是可执行测试,能展示具体的行为差异,代价是计算步骤更多。
阶段 3–4:两级判定,语义与确定性互补
弱捕获不等于真 bug。系统用两套机制做过滤:
- LLM-as-Judge 集成:多个先进模型分别审阅弱捕获的测试代码、测试执行结果(失败码、消息、执行轨迹)、父子版本之间的 diff,以及推断出的变更意图,判断该弱捕获更可能是真阳性还是假阳性,再汇总判断。
- RubFake(Rule-Based False-Positive Killing Environment):一套传统规则方法,给出经过验证的、确定性的判定。
博客明确点出了为什么要两者并用:LLM 评委语义理解丰富,但判断是非确定性的、难以验证;RubFake 提供的是可验证的确定性结论。两者共同产出一个弱捕获候选的总体排序,排序足够靠前的才进入下一步。
阶段 5:人的介入点是一个阈值决策
系统根据排序决定是否联系工程师。博客给出的目标是:保持人工标注的一致性,同时降低"工程师被拉来审一个弱捕获"的概率。也就是说,人被调用时,问题已经被压缩成一个可以用是/否回答的业务判断。
这套分工里最值得抄的一条原则#
把"生成"和"裁决"分开,并给裁决配一条可验证的兜底路径,是这套系统里最容易迁移的部分。生成端追求召回,宁可多产出可疑结果;裁决端追求精确,用多个独立判断加规则约束收敛。对自建流水线的团队来说,这意味着不建议让同一个模型既生成测试又给自己打分,也不建议只保留一种判定信号——无论那种信号多强。
另一条是交付给工程师的形态。如果通知里塞的是一段测试代码,人就得重新建立上下文;如果通知里给的是"这个行为变了,是不是你要的",审查成本会低一个量级。这是从博客描述中可以直接推出的设计取向。
589、60%、74 这三个数字该怎么读#
博客公布了部署结果,但这些数字都绑定在 Meta 的内部环境上:
| 数字 | 博客中的表述 | 阅读时要注意 |
|---|---|---|
| 589 名工程师 | 截至写作时,589 名工程师参与了 Catching JiTTests,占 outreach 的 64% | 分母未给出。按 64% 反推约为 920 人,但这只是算术推算,不是文中数据 |
| 60% 真阳性率 | 参与的工程师反馈这些发现确实可操作,真阳性率为 60% | 真阳性的具体判定口径、样本范围与统计窗口未在正文中说明,待核实 |
| 74 个隐私 SEV | 2026 年上半年在 diff 阶段拦下 74 个严重(SEV)隐私 bug,未进入生产 | 统计对象是隐私类严重缺陷,时间窗为 2026 上半年 |
| 下降 20% | 同期隐私 SEV 总体发生率降低 20% | 比较基期与计算方式未给出,不能写成"同比下降",也不能归因于单一系统 |
此外,博客提到这套系统已从研究原型变成 Meta 基础设施的一部分,部署时间约为首次公开该工作后的五个月。至于成本、单次生成的模型调用量、延迟分布,正文没有披露,属于待核实范围。
迁移到自己团队时的分工清单#
以下不是 Meta 的做法,而是依据其分工逻辑给出的建议,供设计时对照:
| 环节 | 默认交给机器 | 人负责的部分 | 需要的证据 |
|---|---|---|---|
| 选择跑哪些变更 | 风险打分、批量调度 | 定义"高风险"的边界与豁免规则 | 打分依据可回溯到历史变更 |
| 生成测试 | 意图推断、变异体构造、测试生成 | 不介入 | 测试可执行、失败可复现 |
| 判定真假 | 多模型评审 + 规则校验 | 设定阈值与误报预算 | 判定理由与执行轨迹同时留档 |
| 通知工程师 | 按排序决定是否打扰 | 确认行为变更是否有意 | 一句话说明变化点与影响面 |
| 复盘 | 聚合统计 | 定期看趋势、调整策略 | 误报来源分类,而非逐条处理 |
三个容易被忽略的条件:一是夜间批处理意味着反馈有延迟,不适合必须秒级阻断的场景;二是把 diff 与执行轨迹发给外部模型时,需要先确认数据边界与合规要求;三是 LLM 评委的非确定性会让同一输入得到不同排序,规则层与留档是事后解释的唯一抓手。
示例:一条弱捕获记录应带哪些字段#
下面的结构是演示用的占位示例,字段对应博客中提到的判定输入,未执行、也未对接任何真实系统,仅用于说明信息组织方式。
{
"diff_id": "demo-diff-0001",
"intent": "根据 diff 标题与摘要推断的变更意图(占位)",
"test_code": "生成的测试用例代码(占位)",
"execution": {
"failed": true,
"failure_code": "YOUR_CODE",
"message": "断言失败信息(占位)",
"trace_ref": "执行轨迹存储地址(占位)"
},
"judges": [
{"model": "MODEL_A", "verdict": "likely_true_positive"},
{"model": "MODEL_B", "verdict": "likely_false_positive"}
],
"rule_check": {"rubfake": "deterministic_verdict_placeholder"},
"rank_score": 0.0,
"notify_engineer": false
}
注意 rank_score 与 notify_engineer 之间是策略关系,不是固定映射:阈值定在哪里,直接决定了工程师被打扰的频率和漏掉真问题的概率,这是一个需要根据自身误报容忍度调整的旋钮。
边界与待核实#
- 本文依据的是 Meta 工程博客正文。其论文《Just-in-Time Catching Test Generation at Meta》(FSE 2026)的具体方法细节、实验设置与消融结果,本文未核验,需以论文原文为准。
- RubFake 的具体规则集合、LLM 评委使用的模型版本与数量、排序公式,博客均未公开。
- 60% 真阳性率、20% 隐私 SEV 下降的统计口径与基期未完整披露,不应作为其他团队的预期指标。
- 这套方法针对的是大型单体代码库中的 diff 级回归。对小团队或变更频率低的项目,夜间批处理与多模型评审的成本收益是否成立,需要自行评估。
如果只带走一句话:把人放在环上,前提是机器给出的结论已经足够结构化,让人只需回答一个是非题;而这需要一个追求召回的产生层、一个追求精确的裁决层,以及一层可验证、可解释的规则兜底。
参考来源
以上为本文写作时的参考资料,引用观点以原文为准。