Um modelo de custo é um entregável

Um piloto com um modelo de linguagem quase não custa nada. Mil requisições por dia custam menos que o café da reunião que o aprovou. O mesmo sistema com sessenta mil requisições por dia, com novas tentativas, uma etapa de busca e uma passada de verificação, vira uma linha do orçamento que o diretor financeiro vai querer discutir, e a essa altura a arquitetura já está definida.

Tratamos o modelo de custo como um entregável com o mesmo status do código. Ele é publicado junto com a linha de base, antes da escolha de qualquer modelo, revisado a cada quinze dias e analisado no mesmo pull request da mudança que o afeta.

O que o modelo contém?

Por requisição: os tokens de entrada, os tokens de saída, o número de chamadas ao modelo, incluindo as novas tentativas, o custo da busca e a parcela da infraestrutura. Por mês: o volume de requisições por hora, porque o volume não é constante, e os limites de uso do provedor também não. Por decisão: o que uma mudança de limiar faz com o número de requisições que sobem para um humano, porque o humano é o componente mais caro do sistema, e o trabalho do modelo é usá-lo bem.

Como ele muda a arquitetura?

Tome como exemplo um sistema de triagem. O custo por item raramente cai por causa de um modelo mais barato. Ele cai porque a etapa de busca passa a usar cache, porque os casos simples são encaminhados para um classificador menor e porque um laço de novas tentativas que a demonstração nunca exercitou é encontrado e corrigido. Cada uma dessas mudanças acontece porque o modelo de custo mostra para onde vai o dinheiro. Sem ele, a equipe discute a escolha do modelo, que costuma ser a única variável que não importa.

É por isso que o modelo de custo é um entregável nomeado em todo projeto de IA e automação e de dados e análise, e um marco no nosso jeito de faturar.

Onde ele fica?

No seu repositório, ao lado dos evals, como planilha e como telemetria. A telemetria é a parte que o mantém honesto: a planilha diz o que esperávamos, os logs por requisição dizem o que aconteceu, e a revisão quinzenal é onde os dois são conciliados. Quando saímos, o responsável pela plataforma assume a revisão, e é livre para mudá-la. Esse é o ponto.