Статьи · · обновлено · 2 мин чтения
Почему мы публикуем оценочный набор с моделью
Модель без оценочного набора остаётся демонстрацией. Набор и есть договор: для чего модель, для чего нет и как понять, что она сломалась.
Любой поставщик ИИ покажет вам работающую демонстрацию. Интересный вопрос в другом: на чём эту демонстрацию проверяли и разрешат ли вам это увидеть.
Мы публикуем оценочный набор до того, как выбираем модель. Не после того, как модель построена, в качестве документации, а до, в качестве технического задания. Набор лежит в вашем репозитории вместе с разметкой, расхождениями между разметчиками и базовыми метриками того, как эта работа делается у вас сегодня. Если вы решите не продолжать, набор остаётся у вас. Что бы ни случилось дальше, это самый полезный результат предпроектного обследования.
Зачем нужен оценочный набор?
Для трёх вещей. Во-первых, он определяет работу. «Сортировать заявления по автострахованию» ничего не значит, пока у вас нет пары тысяч заявлений, размеченных теми, кто делает эту работу сейчас, с отдельной пометкой тех, по которым они разошлись во мнениях. Во-вторых, он определяет, что считать готовым. Порог на оценочном наборе становится критерием приёмки в договоре, и это число, а не прилагательное. В-третьих, он определяет дрейф. Когда реальные данные уходят от оценочного набора, срабатывает оповещение, и кто-то размечает их заново. Это оповещение тоже входит в результат работ.
Почему поставщики так не делают?
Потому что оценочный набор делает видимыми пределы модели, а пределы трудно продавать. Демонстрация на тщательно отобранных примерах выглядит отлично; та же модель на реальных данных за прошлый месяц выглядит совсем иначе, и именно в этом разрыве проект погибает, когда позади уже несколько месяцев работы. Публикация набора переносит этот разговор в начало, когда он ещё дёшев.
Сколько это стоит?
Несколько дней времени ваших опытных сотрудников на набор из нескольких тысяч примеров, и это время заложено в предпроектное обследование. Размечают ваши опытные сотрудники, а не мы, потому что знают именно они. Мы составляем протокол разметки, проводим сессии и записываем расхождения, а не устраняем их. Больше всего информации дают как раз расхождения: они показывают, где модели в любом случае понадобится человек.
Так начинается каждый проект по ИИ и автоматизации. Так начался и кейс мебельного производства: его показатели согласовали письменно до того, как что-либо построили.
Если поставщик не показывает вам оценочный набор, спросите, с чем он сравнивает модель. Если ответ «с демонстрацией», значит, демонстрацию вы и покупаете.