Por qué publicamos las evaluaciones con el modelo

Cualquier proveedor de IA le mostrará una demostración que funciona. La pregunta interesante es contra qué se probó esa demostración, y si a usted se le permite verlo.

Publicamos el conjunto de evaluación antes de elegir un modelo. No después de construirlo, como documentación, sino antes, como especificación. El conjunto va a su repositorio, con las etiquetas, los desacuerdos entre quienes etiquetaron y las métricas de referencia de lo que sea que hace hoy. Si decide no seguir adelante, se queda con él. Es el entregable más útil del sprint de descubrimiento, pase lo que pase después.

¿Para qué sirve un conjunto de evaluación?

Para tres cosas. Primero, define el trabajo. “Clasificar siniestros de automóviles” no significa nada hasta tener un par de miles de siniestros etiquetados por las personas que hoy hacen ese trabajo, con los casos en que no estuvieron de acuerdo marcados como tales. Segundo, define cuándo está terminado. Un umbral sobre el conjunto de evaluación es el criterio de aceptación de la declaración de trabajo, y es una cifra, no un adjetivo. Tercero, define la deriva. Cuando la distribución real se aleja del conjunto de evaluación, salta una alerta y alguien vuelve a etiquetar. Esa alerta también es un entregable.

¿Por qué los proveedores no lo hacen?

Porque un conjunto de evaluación hace visibles los límites del modelo, y los límites son difíciles de vender. Una demostración sobre un conjunto escogido a mano luce excelente; el mismo modelo con el tráfico real del mes pasado se ve muy distinto, y en esa diferencia es donde muere el proyecto, meses después de empezar. Publicar el conjunto lleva esa conversación al principio, cuando es barata.

¿Cuánto cuesta?

Unos días del tiempo de su gente con más experiencia, para un conjunto de unos pocos miles de ejemplos, presupuestados dentro del sprint de descubrimiento. El etiquetado lo hace su gente con más experiencia, no nosotros, porque son quienes saben. Nosotros diseñamos el protocolo, dirigimos las sesiones y registramos los desacuerdos en lugar de resolverlos. Los desacuerdos son la parte más reveladora: le dicen dónde el modelo va a necesitar a una persona en cualquier caso.

Así empieza todo proyecto de IA y automatización. Así empezó también el caso del fabricante de muebles: sus indicadores se acordaron por escrito antes de construir nada.

Si un proveedor no le muestra el conjunto de evaluación, pregúntele contra qué mide el modelo. Si la respuesta es una demostración, lo que está comprando es la demostración.