Skillbox

A/B-тестирование

  • Начальный уровень
  • Наставник: Нет
  • Сертификат: Есть
  • Формат: Online
  • Рассрочка: Есть
  • Язык: Русский
  • Осталось мест: Неограничено
Записаться

A/B-тестирование

Вы научитесь запускать А/В-тесты — сравнивать разные версии одного и того же продукта, определять самое эффективное решение и подтверждать его математически. Сможете создавать подходящие инструменты для проведения A/B-тестов для разных продуктов, используя Python.

Для кого этот курс?
  • Продуктовым и веб-аналитикам
    Узнаете, как развивать продукт, опираясь на данные. Научитесь самостоятельно проводить A/B-тестирование, углубите свои знания в аналитике, сможете претендовать на более высокие должности.
  • Математикам и исследователям
    Поймёте, как использовать знания математической статистики для проведения A/B-тестирования. Сможете начать карьеру в продуктовой или веб-аналитике.
Программа обучения
  • Введение в A/B-тестирование

    Узнаете, по каким правилам нужно проводить A/B-тестирование и с какими сложностями придётся столкнуться. Познакомитесь с основными инструментами. Сможете самостоятельно выбирать методы для обзорного тестирования.

  • Элементы статистики для построения гипотез

    Поймёте, какие метрики помогают получить данные о продукте. Познакомитесь с нулевой и альтернативной гипотезами. Научитесь находить среднее, медиану и моду. Потренируетесь в проверке гипотез и построении доверительного интервала по разным параметрам.

  • Статистические инструменты

    Поймёте, на основе чего строится оценка критериев теста. Научитесь проверять продуктовые гипотезы с помощью T-теста Стьюдента и работать с ненормальными распределителями. Узнаете, как пользоваться картой статистических тестов.

  • Вариации А/В-тестирования и его приложения

    Научитесь выбирать нужные метрики, соответствующие цели тестирования. Разберёте частые ошибки, возникающие при интерпретации данных, и узнаете, как исключить их появление. Попрактикуетесь в подсчёте метрик и проверке гипотез на реальном датасете. Сможете проводить множественное тестирование с несколькими группами и гипотезами одновременно.

  • Организация массового A/B-тестирования

    Узнаете, как рассчитать оптимальный размер выборки и время проведения тестирования. Поймёте, как разделить пользователей на контрольную и экспериментальную группу. Научитесь проверять множество гипотез одновременно.

  • Ускорение и оптимизация

    Узнаете, какие эффекты могут возникать при проведении А/В-тестирования. Изучите методы ускорения и лайфхаки, которые упростят работу.

  • Бонус-модуль. Продвинутые подходы к A/B-тестированию

    Поймёте, как находить аномалии в данных и оптимизировать тестирование. Познакомитесь с байесовским и частотным подходом, а также с методом «многорукие бандиты». Разберёте кейсы с типичными ошибками на тестированиях.

  • Итоговая работа. Проведение A/B-тестирования

    Полученные знания вы примените на практике в итоговом проекте: исследуете качество данных выберите метрики для тестирования сформулируете гипотезу проведёте A/B-тестирование сделаете выводы по результатам теста на основе статистики.