Как мы не обожглись на быстрых ML-экспериментах: опыт с 10% аудитории, холиварами с аналитиками и «лампой для лишая»

Каждый новый A/B-тест у нас занимал 3–4 недели. За это время ML-команда успевала придумать ещё несколько гипотез, аналитики — устать, а продакты — начать спорить, можно ли вообще продолжать эксперимент, если метрики уже неделю летят вниз.
В какой-то момент стало понятно: такими темпами мы просто тонем в очереди гипотез.
Тогда у нас появились быстрые эксперименты — короткие тесты на маленькой аудитории, которые помогают за несколько дней понять, что гипотеза, скорее всего, плохая, и не тратить на неё ещё месяц.
Меня зовут Лера Катеринчик, я старший продакт-менеджер в команде рекомендаций. Мы делаем ML-модели, которые пытаются угадать, что пользователь захочет следующим.
Я не гуру и не «лидер мнений». Я обычный продакт, который работает с ML-инженерами, аналитиками и живёт в тех же процессах и бардаке, что и многие продуктовые команды.
Хочу рассказать, как мы используем быстрые эксперименты, где они работают, где нет и с какими проблемами мы столкнулись.


















