Комментарии 2
В выводе используется деление всех частей неравенства на среднее Y по группе B, но это среднее Y по группе B – это оценка по выборке группы B, а не неизвестная константа. Деление случайного интервала на случайную величину, которая сама оценена по тем же данным, строго говоря, уже не дает точного доверительного интервала с заявленным уровнем покрытия – только асимптотически корректный, при условии что оценка среднего Y сходится по вероятности к истинному значению с ростом размера выборки.
Если вы проводили симуляции – интересно посмотреть!)
Да, на практике всегда используется оценка, так как мы работаем с реализацией выборки. Действительно, это может вносить погрешность в значения границ доверительного интервала. Эта погрешность может (и должна) быть оценена на исторических данных путем многократного проведения АА тестов. На вердикт по статзначимости отличий это не влияет.
Линеаризация. Увеличиваем мощность А/Б тестов с метрикой отношения