Artículos · · actualizado el · 2 min de lectura
Un modelo de costos es un entregable
La primera pregunta sobre un sistema de IA en producción debería ser el costo por solicitud a escala. La mayoría se entera con la primera factura completa.
Un piloto con un modelo de lenguaje casi no cuesta nada. Mil solicitudes al día cuestan menos que el café de la reunión que lo aprobó. El mismo sistema con sesenta mil solicitudes al día, con reintentos, un paso de recuperación de información y una pasada de verificación, es una partida que el director financiero querrá discutir, y para entonces la arquitectura ya está fijada.
Tratamos el modelo de costos como un entregable con el mismo rango que el código. Se publica junto con la línea base, antes de elegir ningún modelo, se revisa cada quince días y se examina en el mismo pull request que el cambio que lo afecta.
¿Qué contiene el modelo?
Por solicitud: los tokens de entrada, los tokens de salida, el número de llamadas al modelo, reintentos incluidos, el costo de la recuperación y la parte que corresponde a la infraestructura. Por mes: el volumen de solicitudes por hora, porque el volumen no es constante y los límites de uso del proveedor tampoco. Por decisión: qué efecto tiene un cambio de umbral en el número de solicitudes que se escalan a una persona, porque la persona es el componente más caro del sistema y el trabajo del modelo es aprovecharla bien.
¿Cómo cambia la arquitectura?
Tomemos como ejemplo un sistema de triaje. El costo por elemento rara vez baja por usar un modelo más barato. Baja porque el paso de recuperación se guarda en caché, porque los casos sencillos se desvían a un clasificador más pequeño y porque se encuentra y se corrige un bucle de reintentos que la demostración nunca llegó a ejercitar. Cada uno de esos cambios se hace porque el modelo de costos muestra adónde va el dinero. Sin él, el equipo discute sobre qué modelo elegir, que suele ser la única variable que no importa.
Por eso el modelo de costos es un entregable con nombre propio en todo proyecto de IA y automatización y de datos y analítica, y un hito en cómo facturamos.
¿Dónde vive?
En su repositorio, junto a las evaluaciones, como hoja de cálculo y como telemetría. La telemetría es lo que lo mantiene honesto: la hoja de cálculo dice lo que esperábamos, los registros por solicitud dicen lo que pasó y la revisión quincenal es donde se concilian los dos. Cuando nos vamos, la revisión pasa a manos del responsable de la plataforma, que es libre de cambiarla. De eso se trata.