Методы проверки гипотез

Все темы Data Analyst

Какие есть другие методы проверки гипотез, кроме A/B теста?

Помимо A/B тестирования, существует несколько других методов проверки гипотез:

1. Z-тест и t-тест : Эти методы используются для проверки различий между средними значениями в двух выборках. Z-тест применяется, когда известно стандартное отклонение генеральной совокупности, а t-тест — когда стандартное отклонение неизвестно и должно быть оценено по выборке.

2. ANOVA (анализ дисперсии): Используется для проверки различий между средними значениями в более чем двух группах. ANOVA определяет, есть ли статистически значимые различия между группами и позволяет исследовать влияние разных факторов на зависимую переменную.

3. Корреляционный анализ: Исследует статистическую связь между двумя или более переменными. Проверка гипотезы может включать оценку статистической значимости коэффициента корреляции.

4. Логистическая регрессия: Применяется для исследования влияния независимых переменных на вероятность наступления бинарного события. Проверка гипотезы включает анализ статистической значимости коэффициентов регрессии.

5. Непараметрические тесты: Включают различные методы, такие как тесты Манна-Уитни, Уилкоксона и Крускала-Уоллиса, которые применяются в случаях, когда данные не удовлетворяют требованиям параметрических тестов (например, нормальности распределения).

Как проверить практическое отсутствие эффекта?

Незначимый тест превосходства не доказывает отсутствие эффекта. Сначала задают минимально важный интервал эквивалентности, например от -delta до delta, исходя из решения. Затем проводят TOST или проверяют, что подходящий доверительный интервал целиком лежит внутри этих границ. Для такого вывода нужна достаточная мощность именно на границе эквивалентности. Если интервал широкий и пересекает как ноль, так и практически важные эффекты, результат остается неопределенным.

Как связанность наблюдений меняет выбор статистического критерия?

Если одни и те же объекты измерены до и после, наблюдения внутри пары зависимы. Анализируют разности внутри объекта: парный t-тест проверяет среднюю разность, Wilcoxon signed-rank работает с рангами модулей разностей и требует симметрии распределения разностей для обычной интерпретации. Для matched pairs логика та же. Применение теста для независимых групп теряет информацию о связи и неверно оценивает стандартную ошибку. При повторных измерениях сложнее двух моментов используют mixed models или GEE.

Когда t-тест допустим при ненормальных данных?

t-тест проверяет средние и требует независимости, но не строгой нормальности каждого наблюдения при любой выборке. Благодаря ЦПТ среднее часто близко к нормальному при достаточно большом n, особенно у умеренных распределений и сбалансированных групп. Тяжелые хвосты, сильная асимметрия, выбросы и малая выборка остаются проблемой. Для двух групп обычно используют Welch t-test. Дополнительно смотрят графики, robust или permutation методы и оценивают разницу средних с доверительным интервалом.

Что проверяет тест Шапиро-Уилка и как читать его результат?

Шапиро-Уилк проверяет нулевую гипотезу, что данные получены из нормального распределения. Малое p-value дает основание отвергнуть нормальность, большое не доказывает ее. На малой выборке тест может не заметить существенное отклонение, на большой обнаруживает неважные детали. Поэтому вместе с W и p-value смотрят QQ-plot, выбросы и последствия для выбранного метода. Для t-теста важнее распределение среднего или разностей и устойчивость вывода, а не механическое прохождение Шапиро.

Проверяет ли Манна-Уитни равенство медиан?

Нет, в общем случае критерий Манна-Уитни не проверяет равенство медиан. Он основан на рангах и при непрерывных распределениях связан с вероятностью того, что случайное наблюдение одной группы больше наблюдения другой, с учетом ties. Если распределения имеют одинаковую форму и отличаются только сдвигом, результат можно интерпретировать как различие положения, в том числе медиан. При разной асимметрии или дисперсии значимость может возникнуть при равных медианах. Медианы и их интервал тогда анализируют отдельно.