Что такое проверка статистической гипотезы? - statanaliz.info

Что такое проверка статистической гипотезы?

Все эксперименты проводятся для того, чтобы дать фактам возможность опровергнуть нулевую гипотезу.
Р. Фишер.

В основе проверки статистических гипотез лежит идея, известная еще как минимум со времен Сократа – доказательство от противного. Этот метод Сократ использовал для того, чтобы опровергнуть своего собеседника. Вначале он допускал его правоту, а затем сравнивал точку зрения собеседника с имеющимися фактами. Если обнаруживается противоречие, то одно из утверждений неверно. А т.к. наблюдаемый факт точно существует, то неверным оказывается предположение, т.е. мнение собеседника.

Так и в проверке гипотез. Вначале допускают, что проверяемая гипотеза верна. Затем смотрят, какие варианты событий при этом возможны. Если среди них есть наблюдаемое в реальности событие, то считают, что гипотеза не противоречит фактам и такую гипотезу не отклоняют (но и не доказывают!). Если наблюдаемое событие выходит за рамки допустимых, то ее отклоняют, как невозможную или маловероятную, еще говорят «ложную».

В литературе встречается один забавных пример, который наглядно демонстрирует практическую сторону вопроса. Однажды в Неаполе преподобный Галиани увидел человека из Базиликаты, который, встряхивая 3 игральные кости в чашке, держал пари, что выбросит три шестерки; и действительно, он немедленно получил три шестерки. Вы скажите: такая удача возможна. Однако человеку из Базиликаты это удалось во второй раз, и пари повторилось. Он клал кости назад в чашку 3, 4, 5 раз и каждый раз выбрасывал 3 шестерки. «Черт возьми, – вскричал преподобный, – кости налиты свинцом». И так оно и было.

Галиани применил метод проверки гипотезы сам того не ведая. В данном случае гипотезой было то, что кости симметричные. И если это так, то вероятность выкинуть 3 шестерки 5 раз подряд равна (1/63)5 или 2,13∙10-12, то есть настолько маловероятно, что практически невозможно. Следовательно, предположение о симметричности костей, скорее всего, неверно.

Вернемся в наши дни. В большинстве случаев аналитик имеет дело с выборкой, которая всегда ошибочна. Выборка не может показать, например, чему в точности равна средняя или доля по генеральной совокупности. По выборке можно получить только оценку, т.е. приближенное значение этой характеристики (параметра). Чтобы по таким оценкам делать строгие выводы, необходимо вначале рассчитать, а затем сделать поправку на возможные отклонения оценки от истинного значения.

Представим, что мы много-много раз (скажем, 1000) извлекаем выборки из некоторой генеральной совокупности и в каждой из них рассчитываем среднее арифметическое. Если выборки достаточны большие (более 30-ти наблюдений), то в силу действия центральной предельной теоремы выборочные средние будут распределены по нормальному закону с истинным средним в центре.

Смоделировать такой эксперимент несложно в Excel. Возьмем «генеральную совокупность», пусть даже с равномерным распределением от 0 до 1000. Извлечем из нее 1000 выборок по 30 наблюдений и отобразим распределение средних на гистограмме.

Распределение средних арифметических

В 95% среднее окажется в пределах ± 1,96 стандартных ошибок от истинной средней (матожидания). В остальных 5% средние отклонятся дальше. При однократном эксперименте мы имеем довольно мало шансов получить выборку со средней, выходящей за пределы ± 1,96 стандартной ошибки. И гораздо меньше шансов получить выборку со средней, выходящей за пределы ± 3 стандартной ошибки (3 случая из 1000). Это известные свойства нормального распределения.

Метод проверки гипотез

В реальности истинная средняя по генеральной совокупности неизвестна и ее значение можно только предполагать. Такое предположение называется статистической гипотезой, обозначается H. Если предположение противоречит наблюдаемым данным, то гипотезу отклоняют, как ложную; если не противоречит, то не отклоняют. Степень противоречия определяется вероятностью, которая в свою очередь зависит от того, как далеко фактическая выборочная средняя отклоняется от гипотезы. Если она (вероятность) достаточно маленькая, то противоречие считается доказанным (не забывая о возможной ошибке). Для расчета вероятности выбирают вероятностно-статистическую модель, которая описывает поведение оценки при многократном повторении эксперимента. В случае со средней арифметической в большой выборке подойдет стандартное нормальное распределение.

Распределение средних, если гипотеза верна

Теперь нужно определить, какова вероятность извлечь из такой генеральной совокупности имеющуюся выборочную среднюю. Если она окажется в зоне близкой к центру, то это не противоречит гипотезе, ведь такое вполне может произойти в силу случайности. Но если она окажется далеко, например, выйдет за пределы ± 1,96 стандартные ошибки, то это будет означать что, либо произошло маловероятное событие, либо выдвинутая гипотеза ложна и ее следует отклонить.

Правила проверки гипотезы (статистического вывода) показаны на рисунке.

Правила проверки статистической гипотезы

Предельное значение, которое разделяет области принятия и отклонения гипотезы, называется критическим уровнем. Область отклонения гипотезы – критическая область. Вероятность, соответствующая критической области, – уровень значимости, обозначается греческой буквой α (альфа). Например, α = 0,05 означает, что уровень значимости равен 5%. Очевидно, что между критическим уровнем и уровнем значимости существует функциональная взаимосвязь.

Чтобы определить, в какую область попадает выборочная средняя, нужно рассчитать т.н. статистический критерий, иногда говорят статистика. Большие значения критерия, как правило, свидетельствуют в пользу того, что отличие не случайно и, соответственно, гипотеза не верна. Статистический критерий для нормальной модели – это обычная z-оценка, рассчитываемая по известной формуле.

Статистический критерий при нормальном распределении

где
z – критерий
x̄ – наблюдаемое среднее арифметическое
μ – гипотетическая средняя в генеральной совокупности
s – среднеквадратическое отклонение выборочных данных
n – объем выборки

Если рассчитанный критерий оказывается по модулю больше, чем критическое значение, т.е. попадает в критическую область, значит, гипотеза отклоняется как ложная (точнее, маловероятная).

Гипотеза отклоняется

Если критерий не выходит за критическое значение, то гипотеза не отклоняется.

Гипотеза не отклоняется

Уровень значимости задается исходя из практических соображений. Часто берут 0,05, для которого критический уровень равен 1,96 (в нормальной модели). Если α = 0,01, то критический уровень – 2,58. Все это легко получить из таблиц стандартного нормального распределения. Но, конечно, быстрее посчитать на компьютере, хоть и в Excel.

В зависимости от выбранной вероятностно-статистической модели вид распределения и способ расчета критерия производится по-разному. Но суть остается прежней: статистический критерий сравнивается с критическим значением, который задается исходя из желаемого уровня значимости.

P-value

Изложенная выше методика на сегодняшний день несколько устарела. Дело в том, что, сравнивая критерий с критическим уровнем, мы не видим «силу доказательства». Ведь критерий может попасть в область, соответствующую 5% уровню значимости, а может и в 1% значимости (т.е. отклониться еще дальше). В обоих случаях гипотеза отклоняется, но уверенность, с которой это делается, не одинаковая. Одно дело «скорее всего» (как при 5%-м уровне), а другое «наверняка» (как при 1% уровне). Поэтому проверку гипотезы делают по наблюдаемому уровню значимости, который называют p-value (или р-значение).

p-value – вероятность получить наблюдаемое или еще большее отклонение оценки от гипотезы, если она (гипотеза) верна. Геометрически это площадь под кривой, которая начинается от статистического критерия в сторону от гипотезы (от центра).

p-value

Общий p-value на данном рисунке складывается из двух частей, т.к. гипотеза рассматривает отклонение в любую из сторон.

Например, если статистический критерий равен 1,96, то вероятность получить по модулю такое или еще большее значение, равна 0,05. Это и есть p-value, который в данном случае совпал с уровнем значимости. Но если критерий равен 3, то вероятность получить такое или еще больше отклонение (по модулю) равна всего 0,0027. Т.к. мы считаем возможным отклонение в обе стороны, p-value складывается из двух частей.

P-value у двухстороннего критерия

Итак, правило проверки гипотезы по наблюдаемому уровню значимости следующее: если p-value меньше, чем заданный уровень значимости (например, 0,05), то гипотеза отклоняется. В противном случае не отклоняется (не отвергается). В примере выше p-value = 0,0027, что гораздо меньше, чем 0,05. Следовательно, гипотеза отвергается.

1 и 2 сторонний критерий

Рассмотрим еще несколько важных понятий. Выше был показан т.н. двухсторонний критерий, когда проверка на отклонение производится в обе стороны.

Иногда имеет смысл рассматривать отклонение только в одну сторону. Например, если заранее известно, что отклонение от гипотезы возможно только в сторону увеличения, то левый хвост не рассматривают. Такой критерий называется односторонним. Использование одностороннего критерия вместо двухстороннего при заданном уровень значимости (α) приводит увеличению мощности критерия (его способности обнаружить эффект), что очень даже хорошо. Но про мощность поговорим в другой раз.

Вот, как на диаграмме выглядит односторонний критерий.

Односторонний статистический критерий

Однако одностороннюю гипотезу нужно формировать заранее. Нельзя для повышения убедительности выводов после проведения анализа менять двухсторонний критерий на односторонний. Это будет подгонка фактов под теорию, что увеличивает вероятность совершить ошибку.

Альтернативная гипотеза

Проверяемая гипотеза называется основной или нулевой. Она подразумевает некоторый status quo, когда между проверяемыми данными нет отличий. Гипотеза остается в силе, если оценка отклонятся не слишком далеко и находится в зоне возможных случайных колебаний.

Кроме основной (нулевой) гипотезы рассматривают альтернативную или конкурирующую. Формально, альтернативная гипотеза – это любое предположение о параметрах распределения, не совместимое с нулевой гипотезой. Однако на практике разнообразие проверяемых и альтернативных гипотез довольно ограничено. Например, основная гипотеза (нулевая) заключается в том, что средняя равна некоторому значению, а альтернативная – не равна этому значению.

Нулевая гипотеза обозначается H0, альтернативная Ha. Краткая запись условия задачи при использовании двухстороннего критерия имеет следующий вид.

H0: μ = a

Ha: μ ≠ a

Если рассматривается односторонний критерий, то запись может иметь такой вид.

H0: μ ≤ a

Ha: μ > a

При отклонении нулевой гипотезы, автоматически принимается альтернативная.

Следует отметить, что предметом доказательства, как правило, является именно конкурирующая гипотеза. То есть проверяя равенство средних в двух выборках, исследователя интересует их различие, которое должно подтвердить влияние некоторого воздействия на предмет исследования (новое лекарство, новых способ обработки материала и др.). Если есть влияние, то будет и различие, если нет, то средние будут отличаться не очень сильно, в пределах случайных колебаний оценок.

Статистический вывод

Заострим внимание на корректности статистических выводов. Вместо выражения «гипотеза не отклоняется» часто говорят «гипотеза принимается». В целом, это выражение также приемлемо, если его понимать правильно, т.е. если считать, что принимается именно гипотеза (одно из возможных объяснений), а не конкретное утверждение. Но понимают его часто неправильно, подразумевая, что в случае не отклонения гипотезы принимается сама идея гипотезы. Например, если гипотеза о равенстве вероятностей в двух выборках не отклоняется, то делают заключение, что, мол, вероятности действительно равны. Такое заключение ошибочно.

На самом деле принятие гипотезы означает, что она не противоречит данным и может рассматриваться до тех пор, пока не будет доказано обратное. Принятие гипотезы не может доказать ее правильность, для этого есть лишь один способ: исследовать все анализируемое явление в целом, собрав генеральную совокупность. По выборке можно только опровергнуть маловероятные или невозможные предположения, противоречащие фактическим данным, сузив тем самым круг для поиска истины.

Проще говоря, выдвинув ту или иную гипотезу, исследователь задает вопрос: может ли такое быть, чтобы при имеющихся данных имело место вот это событие (нулевая гипотеза об отсутствии различий или взаимосвязей)? Ответа здесь только два: 1) да, может; 2) нет, не может. Нулевую гипотезу можно только опровергнуть, но не доказать.

Эта очень важная мысль должна быть усвоена крепко. Иначе выводы будут неправильными. Так, даже в учебниках по статистике, например, проверяют гипотезу о том, что выборочные данные имеют нормальное распределение. Собрали 10 наблюдений, рассчитали какой-нибудь критерий хи-квадрат и радуются, что гипотеза не отклонена, значит мол, данные имеют нормальное распределение. Чепуха. Таким же образом можно «доказать» все, что угодно, и даже то, что данные одновременно принадлежат разным распределениям. Если нулевая гипотеза не отклоняется, это не значит, что она доказывается. Скорее всего, эффект (отличие) оказывается недостаточно заметным. А вот при большом объеме данных принятие нулевой гипотезы говорит о том, что отличие, если оно и есть, не очень большое и может рассматриваться, как будто его нет.

Онлайн курс

Статистика в MS Excel

Корпоративный тренинг

Статистика в MS Excel

Поделиться в социальных сетях:
  • Аноним

    Снимаю шляпу, отличный материал.

  • Аноним

    Спасибо огромное.

  • Аноним

    Замечательный сайт! Замечательная подача материала! Спасибо за то, что мир не без добрых людей 😉

  • Аноним

    Большое спасибо за ответ на вопрос: Почему?

  • Аноним

    Друзья, у Дмитрия есть файл в котором можно очистить данные от выбросов, можете дать ссылку на него

    • Езепов Дмитрий

      Отправил на почту.

  • Аноним

    Работаю в Газпромбанке. С упоением читаю Ваш материал — спасибо огромное!

    • Езепов Дмитрий

      Спасибо за комментарий )) Рад, если помог узнать новое и полезное!

  • https://www.binance.com/pl/register?ref=IJFGOAID Zarejestruj się na Binance

    I don’t think the title of your article matches the content lol. Just kidding, mainly because I had some doubts after reading the article.

  • https://www.gate.io/tr/signup/XlQVXVo gate.io

    I am an investor of gate io, I have consulted a lot of information, I hope to upgrade my investment strategy with a new model. Your article creation ideas have given me a lot of inspiration, but I still have some doubts. I wonder if you can help me? Thanks.

  • https://www.gate.io/tr/signup/XlQVXVo gateio

    I am a student of BAK College. The recent paper competition gave me a lot of headaches, and I checked a lot of information. Finally, after reading your article, it suddenly dawned on me that I can still have such an idea. grateful. But I still have some questions, hope you can help me.

  • https://accounts.binance.com/pl/register?ref=P9L9FQKY Zarejestruj sie

    Can you be more specific about the content of your article? After reading it, I still have some doubts. Hope you can help me. https://accounts.binance.com/pl/register?ref=P9L9FQKY

  • https://bwerpipes.com/ bwer pipe innovation iraq

    I loved as much as you will receive carried out right here. The sketch is tasteful, your authored subject matter stylish. nonetheless, you command get got an edginess over that you wish be delivering the following. unwell unquestionably come further formerly again as exactly the same nearly very often inside case you shield this hike.

  • https://bwerpipes.com/ bwer pipe solutions iraq

    I just could not leave your web site before suggesting that I really enjoyed the standard information a person supply to your visitors? Is gonna be again steadily in order to check up on new posts.

  • https://bwerpipes.com/ bwer pipe innovation iraq

    I loved as much as you’ll receive carried out right here. The sketch is tasteful, your authored material stylish. nonetheless, you command get bought an nervousness over that you wish be delivering the following. unwell unquestionably come more formerly again since exactly the same nearly a lot often inside case you shield this hike.

  • https://bwerpipes.com/ bwer Ductile Hdpe Agri Iraq

    What i do not understood is in truth how you are not actually a lot more smartly-liked than you may be now. You are very intelligent. You realize therefore significantly in the case of this topic, produced me individually imagine it from numerous numerous angles. Its like men and women don’t seem to be fascinated until it is one thing to do with Woman gaga! Your own stuffs nice. All the time care for it up!

  • https://bwerpipes.com/ bwer ductile welding iraq

    you are in reality a good webmaster. The website loading velocity is amazing. It sort of feels that you’re doing any distinctive trick. Also, The contents are masterwork. you have done a fantastic job in this topic!

  • https://bwerpipes.com/ bwer Agri Factory Iraq

    Simply wish to say your article is as amazing. The clearness in your post is just nice and i could assume you’re an expert on this subject. Well with your permission let me to grab your feed to keep updated with forthcoming post. Thanks a million and please carry on the gratifying work.

  • https://bwerpipes.com/ bwer upvc iraq

    Somebody essentially lend a hand to make significantly posts I might state. That is the very first time I frequented your web page and up to now? I surprised with the research you made to create this particular put up amazing. Excellent job!

  • https://bwerpipes.com/ bwer pipe system iraq

    Wonderful beat ! I wish to apprentice while you amend your web site, how could i subscribe for a blog web site? The account aided me a acceptable deal. I had been a little bit acquainted of this your broadcast provided bright clear idea

  • https://bwerpipes.com/ bwer upvc pipe iraq

    Its like you read my mind! You appear to know so much about this, like you wrote the book in it or something. I think that you can do with a few pics to drive the message home a little bit, but other than that, this is fantastic blog. A great read. I’ll certainly be back.

  • https://www.binance.info/ru-UA/join?ref=B4EPR6J0 binance

    I don’t think the title of your article matches the content lol. Just kidding, mainly because I had some doubts after reading the article. https://www.binance.info/ru-UA/join?ref=B4EPR6J0

  • https://www.qweqt.com/ qweqt

    Its like you read my mind You appear to know so much about this like you wrote the book in it or something I think that you can do with a few pics to drive the message home a little bit but other than that this is fantastic blog A great read Ill certainly be back

  • https://howtallis.online/ howwtalliss

    Fantastic site Lots of helpful information here I am sending it to some friends ans additionally sharing in delicious And of course thanks for your effort

  • https://firestickdownloader.co.uk/ firestickdownloaderr

    I loved as much as you will receive carried out right here The sketch is attractive your authored material stylish nonetheless you command get got an impatience over that you wish be delivering the following unwell unquestionably come more formerly again since exactly the same nearly a lot often inside case you shield this hike

  • https://howtallis.online/ howtalliss

    Just wish to say your article is as surprising The clearness in your post is just cool and i could assume youre an expert on this subject Fine with your permission allow me to grab your RSS feed to keep updated with forthcoming post Thanks a million and please keep up the enjoyable work

  • https://glucoreliefreview.shop/ Gluco Relief phone number

    I truly appreciate your technique of writing a blog. I added it to my bookmark site list and will

  • Dale4784

    Ace of Base — шведская поп-группа, образованная в 1990 году. Их музыкальный стиль сочетает в себе элементы поп-музыки, дэнса и электроники. Группа стала популярной благодаря хитам «All That She Wants», «The Sign», «Don’t Turn Around» и «Beautiful Life». Эти композиции не только покорили чарты во многих странах мира, но и остаются классикой жанра до сих пор. Ace of Base оставили неизгладимый след в истории поп-музыки, их мелодии до сих пор радуют слушателей по всему миру. Скачать музыку 2024 года и слушать онлайн бесплатно mp3.

Комментарии для сайта Cackle
Пролистать наверх