为什么我们把评测集和模型一起公布

每一家 AI 供应商都会给您看一个能跑通的演示。真正值得问的是：这个演示是拿什么测试的，您能不能看到。

我们在选定模型之前就公布评测集。不是在模型做好之后作为文档公布，而是在之前，作为规格说明公布。评测集放进您的代码仓库，连同标注、标注人员之间的分歧，以及您目前做法的基线指标。如果您决定不继续，它也归您。无论接下来发生什么，它都是调研冲刺中最有用的产出。

评测集是用来做什么的？

三件事。第一，它定义了工作内容。“给车险理赔分拣”这句话毫无意义，除非您手上有两千来份由目前做这项工作的人标注过的理赔单，并把他们意见不一的那些照实标明。第二，它定义了什么算完成。评测集上的一个阈值，就是工作说明书中的验收标准，它是一个数字，而不是一个形容词。第三，它定义了偏移。当线上数据的分布偏离评测集时，告警就会触发，有人会重新标注。这个告警也是一项交付物。

为什么供应商不这样做？

因为评测集会让模型的局限暴露出来，而局限很难卖。在精心挑选的数据集上，演示看起来无可挑剔；同一个模型放到上个月的真实业务上，表现就大不相同，而项目往往就夭折在这道落差里，那时已经进行了好几个月。公布评测集，把这场对话挪到了开头，那时候代价还很小。

它要花多少？

您的资深人员几天的时间，用来建立一套几千个样例的评测集，预算包含在调研冲刺之内。标注由您的资深人员来做，而不是我们，因为他们才是懂行的人。我们设计标注规程，组织标注会，并记录分歧，而不是去消解分歧。分歧是信息量最大的部分；它们告诉您，无论如何，模型在哪些地方都需要人来把关。

每一个 AI 与自动化项目都是这样开始的。家具厂的案例也是这样开始的：它的指标在开发任何东西之前就已书面约定。

如果一家供应商不肯给您看评测集，就问问他们拿什么来衡量模型。如果答案是一个演示，那么您买的就是那个演示。