Статьи · · обновлено · 2 мин чтения
Модель затрат входит в результат работ
Первый вопрос к любой рабочей ИИ-системе: сколько стоит один запрос при реальных объёмах. Большинство команд узнаёт это из первого полного счёта.
Пилот на языковой модели почти ничего не стоит. Тысяча запросов в день обходится дешевле кофе на совещании, где этот пилот одобрили. Та же система при шестидесяти тысячах запросов в день, с повторными попытками, этапом поиска и проверочным проходом, превращается в статью расходов, которую финансовый директор захочет обсудить, а к тому времени архитектура уже зафиксирована.
Мы относимся к модели затрат как к результату работ того же статуса, что и код. Её публикуют вместе с базовыми показателями, до выбора модели, пересматривают каждые две недели и проверяют в том же пул-реквесте, что и изменение, которое на неё влияет.
Из чего состоит модель затрат?
На один запрос: входящие токены, исходящие токены, число обращений к модели с учётом повторов, стоимость поиска и доля инфраструктуры. На месяц: объём запросов по часам, потому что нагрузка неравномерна, как и лимиты провайдера. На одно решение: как изменение порога влияет на число запросов, которые передаются человеку, потому что человек в этой системе самый дорогой компонент, а задача модели в том, чтобы тратить его время с толком.
Как это меняет архитектуру?
Разберём на примере системы, которая сортирует входящие обращения. Стоимость одного обращения редко падает из-за более дешёвой модели. Она падает, потому что результаты этапа поиска начинают кэшироваться, простые случаи уходят к классификатору поменьше, а цикл повторных попыток, который на демонстрации ни разу не срабатывал, находят и исправляют. Каждое из этих изменений делают потому, что модель затрат показывает, куда уходят деньги. Без неё команда спорит о выборе модели, а это, как правило, единственная переменная, которая ничего не решает.
Поэтому модель затрат прямо названа результатом работ в каждом проекте по ИИ и автоматизации и по данным и аналитике и отдельным этапом в том, как мы выставляем счета.
Где она хранится?
В вашем репозитории, рядом с оценочными наборами, в виде таблицы и телеметрии. Именно телеметрия не даёт модели затрат врать: таблица говорит, чего мы ожидали, журналы по каждому запросу говорят, что произошло, а на обзоре раз в две недели одно сверяют с другим. Когда мы уходим, обзор переходит к руководителю платформы, и он волен его менять. В этом весь смысл.