👼 После того как я стал руководителем, мне хотелось решить как можно больше задач силами своей команды. Мы умели работать с текстами, и эту экспертизу хотелось применить в продуктах банка.
Одна такая задача нашлась в инвестиционном продукте. Новости без категорий было неудобно читать. По крайней мере, так казалось мне — человеку, который умел их классифицировать. Решение выглядело очевидным: давайте сделаем классификатор. Я убедил бизнес, собрал первую модель и передал её джуну на доработку. Мы разметили данные, улучшили качество и показали результат заказчику. Тексты хорошо раскладывались по категориям, заказчик был доволен — договорились внедрять в мобильное приложение.
А дальше приложение переделывали, команда менялась, приоритеты уезжали. Так прошёл год.🎉 Наконец классификатор внедрили, запустили A/B-тест и ещё через месяц подвели итоги. Оказалось, что он приносит банку 50 тысяч рублей в месяц — примерно зарплату джуна, который его допиливал.
🤦♂️ Где мы облажались?
- Не спросили, какую продуктовую метрику хотим изменить, за счёт чего и насколько. Мы просто решили, что категоризированные новости — это хорошо.
- Заранее не договорились, как будем измерять эффект. В итоге продакт что-то как-то протестировал, а мы что-то как-то посчитали.
Этот печальный опыт усилил мою аллергию на внедрение технологий по мотивам русских сказок: «Пойди туда, не знаю куда. Внедри затем, не знаю зачем». После этой истории у меня закончился нейросетевой недотрах. 😅
🎯 Прежде чем делать модель, ответьте на два вопроса: какой бизнес-эффект она должна дать и как вы его измерите. До продакшена классификатор мы довезли. До бизнес-эффекта — нет.
А как думаете вы, почему классификатор удалось внедрить только через год? Пишите свои версии в комментариях 👇
