Узнаете, по каким правилам нужно проводить A/B-тестирование и с какими сложностями придётся столкнуться. Познакомитесь с основными инструментами. Сможете самостоятельно выбирать методы для обзорного тестирования.

Поймёте, какие метрики помогают получить данные о продукте. Познакомитесь с нулевой и альтернативной гипотезами. Научитесь находить среднее, медиану и моду. Потренируетесь в проверке гипотез и построении доверительного интервала по разным параметрам.

Поймёте, на основе чего строится оценка критериев теста. Научитесь проверять продуктовые гипотезы с помощью T-теста Стьюдента и работать с ненормальными распределителями. Узнаете, как пользоваться картой статистических тестов.

Научитесь выбирать нужные метрики, соответствующие цели тестирования. Разберёте частые ошибки, возникающие при интерпретации данных, и узнаете, как исключить их появление. Попрактикуетесь в подсчёте метрик и проверке гипотез на реальном датасете. Сможете проводить множественное тестирование с несколькими группами и гипотезами одновременно.

Узнаете, как рассчитать оптимальный размер выборки и время проведения тестирования. Поймёте, как разделить пользователей на контрольную и экспериментальную группу. Научитесь проверять множество гипотез одновременно.

Узнаете, какие эффекты могут возникать при проведении А/В-тестирования. Изучите методы ускорения и лайфхаки, которые упростят работу.

Поймёте, как находить аномалии в данных и оптимизировать тестирование. Познакомитесь с байесовским и частотным подходом, а также с методом «многорукие бандиты». Разберёте кейсы с типичными ошибками на тестированиях.

Полученные знания вы примените на практике в итоговом проекте: исследуете качество данных выберите метрики для тестирования сформулируете гипотезу проведёте A/B-тестирование сделаете выводы по результатам теста на основе статистики.