Раздел 3. Статистические гипотезы. Гипотеза о законе распределения генеральной совокупности
Лекция 8. Статистические гипотезы
Пусть исследуется некоторый признак статистической совокупности. Успеваемость студентов, продолжительность жизни лампочек, точность измерений – всё, что можно «оцифровать» и подсчитать.
Как проводится исследование? Обычно так: из генеральной совокупности извлекается репрезентативная выборка и на основании изучения этой выборки делается вывод обо всей совокупности. Этот основной метод математической статистики и называется он выборочным методом. В зависимости от исследования, могут проводиться неоднократные выборки, выборки из нескольких генеральных совокупностей, да и вообще анализироваться произвольные статистические данные.
И в результате обработки этих данных появляются мысли, которые оформляются в статистические гипотезы.
План лекции
1. Понятие статистической гипотезы
2. Нулевая и альтернативная гипотезы
3. Ошибки первого и второго рода
4. Процесс проверки статистической гипотезы
1. Понятие статистической гипотезы
Статистической называют гипотезу о законе распределения статистической совокупности либо о числовых параметрах известных распределений.
Например:
– рост танкистов распределен нормально;
– дисперсии стрельбы двух танковых дивизий равны между собой, при этом известно, что точность стрельбы распределена нормально.
В первом случае выдвигается гипотеза о законе распределения, во втором – о числовых характеристиках двух распределений, закон которых известен.
Откуда взялись эти гипотезы? В первом случае была проведена выборка танкистов (например, 100 человек) и в результате её исследования появилось обоснованное предположение, что рост всех танкистов распределён нормально. Во втором случае исследовались выборочные данные по точности стрельбы двух дивизий, в результате чего возник интерес проверить – а одинакова ли генеральная результативность, или какая-то дивизия стреляет точнее?
В обеих гипотезах речь идёт о генеральных совокупностях, и выдвигаются эти гипотезы на основании анализа выборочных данных. Это распространенная схема, но она не единственна, бывают и другие статистические гипотезы.
2. Нулевая и альтернативная гипотезы
Выдвигаемую гипотезу называют нулевой и обозначают через H0. Обычно это наиболее очевидная и правдоподобная гипотеза (хотя это вовсе не обязательно). И в противовес к ней рассматривают альтернативную или конкурирующую гипотезу H1.
В рассмотренных выше примерах альтернативные гипотезы очевидны (отрицают нулевую), но существуют и другие варианты, так, например, к гипотезе H0: генеральная средняя нормально распределённой совокупности равна a=10, можно сформулировать разные конкурирующие гипотезы:
H1: a≠10, H1: a>10, H1: a<10 конкретно H1: a=11,
это зависит от условия и данных той или иной задачи.
Поскольку нулевая гипотеза выдвигается на основе анализа выборочных данных, то она может оказаться как правильной, так и неправильной. Более того, мы не сможем на 100% гарантировать её истинность либо ложность даже после статистической проверки! Ибо любая, самая «надёжная» выборка все равно остаётся выборкой и может нас дезинформировать (пусть с очень малой вероятностью).
Проверка осуществляется с помощью статистических критериев – это специальные случайные величины, которые принимают различные действительные значения. В разных задачах критерии разные, и мы рассмотрим их в конкретных примерах.
3. Ошибки первого и второго рода
В результате проверки нулевая гипотеза либо принимается, либо отвергается в пользу альтернативной. При этом есть риск допустить ошибки двух типов:
Ошибка первого рода состоит в том, что гипотеза H0 будет отвергнута, хотя на самом деле она правильная. Вероятность допустить такую ошибку называют уровнем значимости и обозначают буквой α («альфа»).
Ошибка второго рода состоит в том, что гипотеза H0 будет принята, но на самом деле она неправильная. Вероятность совершить эту ошибку обозначают буквой β («бета»). Значение 1-β называют мощностью критерия – это вероятность отвержения неправильной гипотезы.
Уровень значимости задаётся исследователем самостоятельно, наиболее часто выбирают значения α=0,1, α=0,05, α=0,01. И тут возникает мысль, что чем меньше «альфа», тем вроде бы лучше. Но это только вроде: при уменьшении вероятности α - отвергнуть правильную гипотезу растёт вероятность β - принять неверную гипотезу (при прочих равных условиях). Поэтому перед исследователем стоит задача грамотно подобрать соотношение вероятностей α и β, при этом учитываются последствия, которые повлекут за собой та и другая ошибки.
Существует примеры, где наоборот – более тяжкие последствия влечёт ошибка 2-го рода, и вероятность α следует увеличить (в пользу уменьшения вероятности β).
Процесс проверки статистической гипотезы состоит из следующих этапов:
1) Обработка выборочных данных и выдвижение основной H0 и конкурирующей H1 гипотез. К нулю, кстати, нулевая гипотеза не имеет никакого отношения, это просто историческое название, оно могло оказаться каким угодно.
2) Выбор статистического критерия K. Это непрерывная случайная величина, принимающая различные действительные значения. В разных задачах критерии разные.
3) Выбор уровня значимости α.
4) Нахождение критического значения kкрит – это значение случайной величины K, которое зависит от выбранного уровня значимости α и от других параметров. Критическое значение определяет критическую область. Она бывает левосторонней, правосторонней и двусторонней (красная штриховка):
Рисунок 1 – Критическая область
Критическая область – это область отвержения нулевой гипотезы. Незаштрихованную область называют областью принятия гипотезы.
5) Далее на основании выборочных данных рассчитывается наблюдаемое значение критерия: kнабл.
Вывод:
– Если kнабл в критическую область НЕ попадает, то гипотеза H0 на уровне значимости α принимается. Однако не нужно думать, что нулевая гипотеза доказана и является истиной, ведь существует вероятность β – того, что мы совершили ошибку 2-го рода (приняли неверную гипотезу).
– Если kнабл попадает в критическую область, то гипотеза H0 на уровне значимости α отвергается (при этом, если, например, α=0,05, то в среднем в 5 случаях из 100 мы отвергнем правильную гипотезу, т.е. совершим ошибку 1-го рода).
Подведем итоги по изученному материалу
Статистические гипотезы формулируются на основе исследования выборки и предназначены для статистической проверки предполагаемого закона генеральной совокупности либо параметров распределений, законы которых известны.
Сначала выдвигается нулевая (обычно наиболее правдоподобная) гипотеза и альтернативная к ней (конкурирующая) гипотеза.
Нулевая гипотеза подлежит статистической проверке. Проверка осуществляется с помощью различных статистических критериев (специальных случайных величин) которые зависят от условия той или иной задачи.
В результате проверки нулевая гипотеза может быть принята либо отвергнута, но это не означает её истинность или ложность! Ибо всегда есть риск допустить ошибку:
– Ошибка 1-го рода состоит в том, что гипотеза будет отвергнута, но на самом деле она правильная (соответствует действительности). Вероятность совершить ошибку 1-го рода обозначают через a и называют уровнем значимости; его задают заранее.
– Ошибка 2-го рода состоит в том, что гипотеза будет принята, но на самом деле она неверная. Вероятность совершить ошибку 2-го рода обозначают буквой b. Вероятность отвержения неверной гипотезы 1-b называют мощностью критерия.
Уменьшая a, мы увеличиваем b (и наоборот), поэтому перед исследованием нужно подобрать оптимальное соотношение этих вероятностей – оно обычно зависит от тяжести последствий, которые влекут ошибки 1-го и 2-го рода. Чтобы одновременно уменьшить эти вероятности, нужно увеличить объём выборки.