А/Б-тестирование в режиме реального времени - сегодня на #GoViralCA2021 - мастер-класс с Валерием Бабушкиным. Что такое - А/Б-тесты? Представьте, что у нас есть что-то новое. Алгоритм продаж, взаимодействие сотрудников. Как узнать, решает ли это наши задачи? Если есть метрика, нужно уметь ее измерять. Как делать нельзя? Смотрим, что было до внедрения чего-то. Что было после. Сравниваем. Вычитаем. Так делать плохо. Почему? Возможно влияние каких-то совершенно внешних факторов. Как делать можно? Делим данные на две группы. Максимально одинаковые. В одной группе вводим изменения - затем сравниваем. Помним про ошибки первого и второго рода. Когда мы делаем А/Б-тест, мы смотрим, есть ли эффект. Ошибка первого рода - признание, что эффект есть. Второго - что эффекта нет. Чем больше размер выборки, тем больше вероятность не допустить ошибок при прочих равных. Размер эффекта. Чем меньше эффекта мы хотим «поймать», тем сложнее это сделать. Программируем. Отвечаем на вопросы. Размышляем.
