Статистические понятия

Все темы Data Analyst

Что такое нулевая гипотеза? Что такое альтернативная гипотеза?

В контексте A/B тестирования:

1. Нулевая гипотеза (H₀): Это предположение о том, что никаких статистически значимых различий между контрольной (обычной) и тестовой (измененной) группами не существует. То есть любые обнаруженные различия могут быть случайными.

2. Альтернативная гипотеза (H₁ или Hₐ): Это предположение о том, что существуют статистически значимые различия между контрольной и тестовой группами. Иными словами, изменение, внесенное в тестовую группу, действительно влияет на исследуемую метрику или поведение пользователей.

Нулевая и альтернативная гипотезы являются ключевыми элементами статистического анализа результатов A/B тестирования.

Что такое p-value?

p-value представляет вероятность не менее экстремального результата статистики при верной нулевой гипотезе и выполненных предположениях теста. Его сравнивают с заранее выбранным уровнем значимости α; эти понятия различаются.

Если p-value очень маленькое (обычно меньше заданного уровня значимости, например, 0.05), то это означает, что у нас есть достаточно доказательств для отклонения нулевой гипотезы в пользу альтернативной. В этом случае мы говорим, что результаты статистически значимы. Если же p-value большое, то мы не можем отклонить нулевую гипотезу, и результаты не считаются статистически значимыми.

Что такое мощность? Почему важно учитывать мощность при анализе эксперимента?

Мощность (power) в статистике — это вероятность обнаружить статистически значимое различие, если оно существует в действительности. Чем выше мощность эксперимента, тем меньше вероятность ошибки II рода (не обнаружения реального эффекта).

Важно учитывать мощность при анализе эксперимента, потому что:

1. Обеспечение достоверности результатов: Высокая мощность позволяет достоверно обнаруживать реальные различия между группами. Это важно для принятия информированных решений на основе данных эксперимента.

2. Оптимизация размера выборки: Знание мощности помогает оптимизировать размер выборки таким образом, чтобы эксперимент был достаточно чувствителен к обнаружению эффектов, которые вы хотите изучить.

3. Эффективное планирование и проведение исследования: Учет мощности помогает на ранних стадиях исследования правильно оценить требуемые ресурсы, временные рамки и ожидаемые результаты эксперимента.

Таким образом, мощность является важным статистическим показателем, который помогает обеспечить надежность и репрезентативность результатов статистических исследований и экспериментов.

Что такое статистическая значимость?

Результат статистически значим на уровне α, если выбранный тест отвергает нулевую гипотезу по заранее заданному правилу, обычно p-value ≤ α. Это не вероятность того, что эффект реален, и не оценка его практической важности.

Когда выбирать одностороннюю, а когда двустороннюю гипотезу?

Одностороннюю гипотезу выбирают до просмотра данных, если эффект в противоположную сторону не будет считаться успехом и решение действительно направленное. Вся ошибка первого рода размещается в одной критической области, поэтому мощность в заданном направлении выше. Двусторонний тест нужен, когда важны оба направления или противоположный эффект тоже изменит решение. Нельзя сначала увидеть знак эффекта, а затем выбрать сторону. Даже при одностороннем тесте противоположный вред контролируют guardrail-метриками.

Что показывает стандартная ошибка среднего?

Стандартная ошибка среднего описывает разброс оценки среднего между повторными выборками, а не разброс самих наблюдений. Для независимых одинаково распределенных данных ее оценивают как s / sqrt(n). Чем больше выборка, тем точнее среднее, хотя стандартное отклонение данных не обязано уменьшаться. Стандартная ошибка входит в доверительный интервал и тест статистики. При кластерах, временной зависимости или сложном sampling простая формула неверна, нужны соответствующие robust или design-based оценки.

Как по выборке делать выводы о генеральной совокупности?

Сначала описывают генеральную совокупность и механизм отбора. Затем выбирают estimand, например среднее, долю или causal effect, и считают точечную оценку со стандартной ошибкой и доверительным интервалом. Гипотеза отвечает на конкретный вопрос, но p-value не измеряет вероятность ее истинности. Обобщение зависит от репрезентативности, пропусков, весов и независимости наблюдений. Большая удобная выборка может дать узкий интервал вокруг смещенной оценки, поэтому sampling важнее одного размера n.

Почему корреляция с константным признаком не определена?

Корреляция Пирсона делит ковариацию на произведение стандартных отклонений. У константного признака дисперсия и стандартное отклонение равны нулю, поэтому получается деление на ноль и корреляция не определена. Библиотеки обычно возвращают NaN и предупреждение. Это не означает нулевую связь: величину просто нельзя стандартизировать. Перед корреляционной матрицей проверяют константные и почти константные признаки, пропуски и эффективное число пар наблюдений.

Как интерпретировать reliability измерения?

Reliability показывает воспроизводимость или внутреннюю согласованность измерения, а не то, измеряет ли оно нужный конструкт. Конкретная интерпретация зависит от коэффициента: alpha или omega оценивают согласованность шкалы при своих допущениях, test-retest оценивает стабильность во времени, inter-rater относится к согласованности оценщиков. Порог вроде 0,7 не универсален. Нужно сообщать коэффициент, доверительный интервал, структуру шкалы и контекст решения. Высокая reliability возможна у систематически неверного измерения, поэтому validity проверяют отдельно.

Почему дисперсия использует квадраты отклонений от среднего?

Квадраты не дают положительным и отрицательным отклонениям взаимно уничтожиться, сильнее учитывают большие отклонения и имеют удобные свойства. Среднее минимизирует сумму квадратов, а разложение дисперсии и линейная алгебра делают эту меру центральной в статистике. Это не единственный выбор: среднее абсолютное отклонение устойчивее к выбросам, а медиана минимизирует сумму абсолютных отклонений. Единицы дисперсии квадратные, поэтому для интерпретации часто используют стандартное отклонение.

Зачем в выборочной дисперсии делить на n-1?

Когда выборочное среднее оценено по тем же данным, отклонения от него суммируются в ноль, и свободно изменяться могут только n-1 из них. Сумма квадратов отклонений от выборочного среднего в среднем меньше суммы относительно истинного среднего. Деление на n-1, поправка Бесселя, компенсирует это и дает несмещенную оценку дисперсии генеральной совокупности при iid-наблюдениях и конечной дисперсии. Деление на n используется, например, для MLE нормальной дисперсии, но оно смещено в конечной выборке.

Когда выборочный максимум является смещенной оценкой?

Смещение всегда определяется относительно конкретного параметра и модели. Для независимой выборки из невырожденного распределения с конечной верхней границей theta максимум не превышает theta, а его ожидание ниже границы. В непрерывной модели максимум почти наверняка строго ниже неё. Размер смещения зависит от распределения и n. Например, для Uniform(0, theta) несмещенная поправка равна (n+1)/n * max. Без модели нельзя вывести универсальную поправку. При неограниченном распределении сам «верхний предел» может не существовать.