向量检索接入前先定六个数据口径:从 70 年图纸检索压缩到分钟级说起
Kuken 用 OpenAI API 检索 70 年冷却塔图纸、把找图时间从近一小时降到 4.5 分钟,这只能说明检索速度有改善,不能说明数据口径已经定好。接入向量检索前应先定六件事:语料纳入与去重规则、检索单元(图纸或页或块)、版本与有效性、元数据与权限过滤、更新与删除策略,以及“算找到”的评估口径。材料只有摘要,测量方法与实现细节待核实。
先把结论说清楚:接入向量检索之前,真正需要先定的是六个数据口径,而不是选哪个模型、用什么索引。这六个口径是:哪些资料进索引、一条检索单元是什么、版本与有效性怎么表示、元数据和权限怎么过滤、更新与删除怎么落地、以及“算找到”怎么判定。口径不定,向量检索只是在更大范围内更快地返回一批不确定的结果。
材料能确认的范围#
据 OpenAI 的案例摘要,Kuken Industries 通过 OpenAI API 检索其 70 年的冷却塔图纸,工程师为一次维修找到对应图纸的时间从接近一小时降到 4.5 分钟(来源:openai.com/index/kuken,摘要发布于 2026 年 11 月 9 日)。
这个摘要支持两件事:语料时间跨度长、检索耗时显著下降。它不支持关于分块方式、嵌入模型、过滤实现、标注规模或测量方法的任何推断;这些在本次材料中没有正文,属于待核实。因此下面讨论的是接入前应自行确定的口径,而不是对 Kuken 做法的还原。
一、语料边界:哪些图纸进索引#
跨度几十年的图纸集合通常混着作废版本、重复扫描件、跨项目复用件和与维修无关的图纸。先写一条能复核的纳入规则,例如“某时间之后、某几类设备、状态为有效的图纸”,同时明确排除项和去重键。
判断标准很简单:给定任意一份文件,团队能凭规则一致地回答“进不进索引”,不需要逐案讨论。
二、检索单元:图纸、页还是文本块#
检索单元应当与使用者的最终动作对齐。工程师要的是一张可用于维修的图纸,那么返回单位就应该是“图纸 + 版本”,而不是一段相似文本。若图纸是扫描件,还需要先决定是否生成可检索文本(OCR 或图像描述),以及这些派生文本与原始图纸如何关联。
单元选得过细,召回片段多但拼不回一张图;选得过粗,一张图纸里多个部位的说明会被平均掉。这个取舍只能用自有语料试,不能照搬。
三、版本与有效性:区分“存在”和“当前有效”#
图纸有修订版和替代关系。索引里若只存文件路径,作废版很可能因为文本更相似而排在前面,检索变快反而放大错误。至少要把修订号、修订日期、状态(有效/作废/被替代)作为可过滤字段写入。
四、元数据与权限过滤#
权限必须在检索阶段生效,而不是取回结果后在前端隐藏。以下字段是常见的最小集合,具体取值按自身系统对齐:
| 字段 | 用途 | 缺失时的后果 |
|---|---|---|
| drawing_id | 唯一标识一张图纸 | 无法去重与回指原件 |
| revision / status | 过滤作废版本 | 作废图纸进入结果 |
| project / equipment_type | 缩小检索范围 | 跨项目误召回 |
| permission_scope | 检索时过滤 | 越权可见 |
| updated_at | 增量更新与失效判断 | 索引与源数据漂移 |
五、更新与删除口径#
要提前回答三个问题:新图纸多久必须可检索;图纸作废后是删除、降权还是仅改状态;源文件被替换时是否重新生成派生文本。这三条决定增量任务的设计,事后补代价很高。
六、“算找到”的口径#
“4.5 分钟”这类数字包含人的判断,不能直接当检索指标。建议把它拆成可测的几项:正确图纸是否出现在前 N 条、返回的是否为有效版本、工程师确认所花的时间。先标注一个小规模问题集(例如几十条真实维修查询),再谈优化。
可以先写进配置的元数据示例(未执行)#
下面是字段结构的示意,用于对齐讨论,不是可运行配置,也未在任何系统中执行:
{
"drawing_id": "DEMO-0001",
"revision": "B",
"status": "active", // active | superseded | void
"project": "example-project",
"equipment_type": "cooling-tower",
"source_path": "/demo/path/DEMO-0001-B.pdf",
"permission_scope": ["team-a"],
"updated_at": "2026-01-01"
}
示例中的标识、路径与时间为占位值,仅用于说明字段关系。
边界#
上述口径能减少“检索很快但结果不可用”的风险,但不能保证检索质量;质量仍取决于语料本身、派生文本的准确度与标注集的代表性。Kuken 案例的具体实现与测量条件,需以其发布方的完整材料为准,本次材料仅提供摘要。
参考来源
以上为本文写作时的参考资料,引用观点以原文为准。