Вернуться в каталог собеседований

Самая ПОЛНАЯ и ПОНЯТНАЯ лекция по A/B тестам (метрики, гипотезы, статистика и инструменты)

Лекция об A/B-тестах: метрики, гипотезы, размер выборки, распределение пользователей, p-value и доверительные интервалы. Разбираются интерпретация результата и выбор инструментов.

Направление
Data Analysis
Формат
Видео
Длительность
46:27
Noukash
  • Опубликовано на YouTube:
  • Просмотры на YouTube: 75,9 тыс.
  • Лайки на YouTube: 2,9 тыс.
Открыть на YouTube

Таймлайн

Коротко о видео

Лекция проводит через полный цикл A/B-теста: от решения, нужен ли эксперимент, до выбора метрик, размера выборки и статистической проверки. На примере объясняются нулевая и альтернативная гипотезы, p-value, доверительные интервалы, ошибки эксперимента и выбор платформы.

Затронутые темы

A/B-тестированиеСтатистикаМетрики

Что взять на заметку

  • Не запускайте тест для малозаметной правки или решения, которое всё равно будет принято: сначала сформулируйте, что изменится при каждом исходе.
  • Метрика должна быть измеримой и прямо связанной с изменением; для экрана покупки конверсия уместнее, чем время сессии.
  • Статистическая проверка отвечает, могла ли наблюдаемая разница возникнуть случайно; для этого заранее задают гипотезу, размер выборки и правила деления пользователей.

Рекомендуем посмотреть