Самая сложная часть в AI-продуктах — последняя миля. Разрыв между демкой и боевым решением не просто большой, он катастрофический. И большинство людей, которые не делают такие продукты руками, этого вообще не понимают.
Карпаты в интервью Дваркешу хорошо это сформулировал: «march of nines». Демка работает в 90% случаев — это первая девятка. Потом нужна вторая (99%), третья (99.9%), четвёртая. Каждая следующая девятка — тот же объём работы в лучшем случае, что и предыдущая, а скорее всего усилия будут экспоненциально расти.
Но Карпаты говорит про селф-драйвинг, где, если утрировать, метрика бинарная: машина доехала или нет. В консьюмерских AI-продуктах всё хуже. Модель может ответить на 70%, на 30%, может уверенно соврать — и пользователь не отличит одно от другого. Весь UX приходится строить вокруг факта, что система врёт с покерфейсом, и тебе надо как-то дать человеку понять, когда ей верить, а когда нет. Ни на одной демке этой проблемы не существует.
По сути, в AI-продуктах работает принцип Парето курильщика: 20% усилий дают 80% вау-эффекта, а 80% усилий — 80% продакшн-эффекта. На этом месте ломаются ожидания всех, кто видел только демку.
Куда уходят эти 80% усилий? Эдж-кейсы, где модель галлюцинирует, молчит или ломает даунстрим-системы. Лэтенси, которое на реальных запросах в разы больше, чем на подготовленных. Стоимость инференса, которая при масштабе убивает юнит-экономику. Гардрейлы, контент-фильтрация, детекция персональных данных — каждый слой отдельный проект со своими эдж-кейсами.
Эвалы — это вообще отдельная история. Платформа, методология, аналитика, квалифицированная и неквалифицированная разметка, LLM as judge — целая инфраструктура с кучей процессов и людей, чтобы понимать, работает ли то, что ты выкатил.
И ни один из этих слоёв не нужен на стадии демки.
Когда кто-то говорит «мы за неделю собрали AI-продукт», я всегда уточняю: демку или продакшн? Демку за неделю соберёт стажёр с кредитами у провайдера LLM. Продакшн — это месяцы, если не годы, работы команды, где 90% времени уходит на то, что никогда не покажешь на презе.
