Как мы не обожглись на быстрых ML-экспериментах: опыт с 10% аудитории, холиварами с аналитиками и «лампой для лишая»

Хорошее решение!

Получается, у вас как бы быстрый "кэш" из быстрых экспериментов, которые при "попадании" идут в полноценные A/B тесты
Возможно, имеет смысл сделать сегментирование таких экспериментов (какую часть приложения/функционала затрагивают), что посмотреть на статистику и понять, где вообще имеет их смысл делать, а где нет