До конца XIX века нормальное распределение считалась всеобщим законом вариации данных. Однако К. Пирсон заметил, что эмпирические частоты могут сильно отличаться от нормального распределения. Встал вопрос, как это доказать. Требовалось не только графическое сопоставление, которое имеет субъективный характер, но и строгое количественное обоснование.
Так был изобретен критерий χ2 (хи квадрат), который проверяет значимость расхождения эмпирических (наблюдаемых) и теоретических (ожидаемых) частот. Это произошло в далеком 1900 году, однако критерий и сегодня на ходу. Более того, его приспособили для решения широкого круга задач. Прежде всего, это анализ категориальных данных, т.е. таких, которые выражаются не количеством, а принадлежностью к какой-то категории. Например, класс автомобиля, пол участника эксперимента, вид растения и т.д. К таким данным нельзя применять математические операции вроде сложения и умножения, для них можно только подсчитать частоты.
Наблюдаемые частоты обозначим О (Observed), ожидаемые – E (Expected). В качестве примера возьмем результат 60-кратного бросания игральной кости. Если она симметрична и однородна, вероятность выпадения любой стороны равна 1/6 и, следовательно, ожидаемое количество выпадения каждой из сторон равна 10 (1/6∙60). Наблюдаемые и ожидаемые частоты запишем в таблицу и нарисуем гистограмму.
Нулевая гипотеза заключается в том, что частоты согласованы, то есть фактические данные не противоречат ожидаемым. Альтернативная гипотеза – отклонения в частотах выходят за рамки случайных колебаний, расхождения статистически значимы. Чтобы сделать строгий вывод, нам потребуется.
- Обобщающая мера расхождения между наблюдаемыми и ожидаемыми частотами.
- Распределение этой меры при справедливости гипотезы о том, что различий нет.
Начнем с расстояния между частотами. Если взять просто разницу О — E, то такая мера будет зависеть от масштаба данных (частот). Например, 20 — 5 =15 и 1020 – 1005 = 15. В обоих случаях разница составляет 15. Но в первом случае ожидаемые частоты в 3 раза меньше наблюдаемых, а во втором случае – лишь на 1,5%. Нужна относительная мера, не зависящая от масштаба.
Обратим внимание на следующие факты. В общем случае количество категорий, по которым измеряются частоты, может быть гораздо больше, поэтому вероятность того, что отдельно взятое наблюдение попадет в ту или иную категорию, довольно мала. Раз так, то, распределение такой случайной величины будет подчинятся закону редких событий, известному под названием закон Пуассона. В законе Пуассона, как известно, значение математического ожидания и дисперсии совпадают (параметр λ). Значит, ожидаемая частота для некоторой категории номинальной переменной Ei будет являться одновременное и ее дисперсией. Далее, закон Пуассона при большом количестве наблюдений стремится к нормальному. Соединяя эти два факта, получаем, что, если гипотеза о согласии наблюдаемых и ожидаемых частот верна, то, при большом количестве наблюдений, выражение
имеет стандартное нормальное распределение.
Важно помнить, что нормальность будет проявляться только при достаточно больших частотах. В статистике принято считать, что общее количество наблюдений (сумма частот) должна быть не менее 50 и ожидаемая частота в каждой группе должна быть не менее 5. Только в этом случае величина, показанная выше, имеет стандартное нормальное распределение. Предположим, что это условие выполнено.
У стандартного нормального распределения почти все значение находятся в пределах ±3 (правило трех сигм). Таким образом, мы получили относительную разность в частотах для одной группы. Нам нужна обобщающая мера. Просто сложить все отклонения нельзя – получим 0 (догадайтесь почему). Пирсон предложил сложить квадраты этих отклонений.
Это и есть статистика для критерия Хи-квадрат Пирсона. Если частоты действительно соответствуют ожидаемым, то значение статистики Хи-квадрат будет относительно не большим (отклонения находятся близко к нулю). Большое значение статистики свидетельствует в пользу существенных различий между частотами.
«Большой» статистика Хи-квадрат становится тогда, когда появление наблюдаемого или еще большего значения становится маловероятным. И чтобы рассчитать такую вероятность, необходимо знать распределение статистики Хи-квадрат при многократном повторении эксперимента, когда гипотеза о согласии частот верна.
Как нетрудно заметить, величина хи-квадрат также зависит от количества слагаемых. Чем больше слагаемых, тем больше ожидается значение статистики, ведь каждое слагаемое вносит свой вклад в общую сумму. Следовательно, для каждого количества независимых слагаемых, будет собственное распределение. Получается, что χ2 – это целое семейство распределений.
И здесь мы подошли к одному щекотливому моменту. Что такое число независимых слагаемых? Вроде как любое слагаемое (т.е. отклонение) независимо. К. Пирсон тоже так думал, но оказался неправ. На самом деле число независимых слагаемых будет на один меньше, чем количество групп номинальной переменной n. Почему? Потому что, если мы имеем выборку, по которой уже посчитана сумма частот, то одну из частот всегда можно определить, как разность общего количества и суммой всех остальных. Отсюда и вариация будет несколько меньше. Данный факт Рональд Фишер заметил лет через 20 после разработки Пирсоном своего критерия. Даже таблицы пришлось переделывать.
По этому поводу Фишер ввел в статистику новое понятие – степень свободы (degrees of freedom), которое и представляет собой количество независимых слагаемых в сумме. Понятие степеней свободы имеет математическое объяснение и проявляется только в распределениях, связанных с нормальным (Стьюдента, Фишера-Снедекора и сам Хи-квадрат).
Чтобы лучше уловить смысл степеней свободы, обратимся к физическому аналогу. Представим точку, свободно движущуюся в пространстве. Она имеет 3 степени свободы, т.к. может перемещаться в любом направлении трехмерного пространства. Если точка движется по какой-либо поверхности, то у нее уже две степени свободы (вперед-назад, вправо-влево), хотя и продолжает находиться в трехмерном пространстве. Точка, перемещающаяся по пружине, снова находится в трехмерном пространстве, но имеет лишь одну степень свободы, т.к. может двигаться либо вперед, либо назад. Как видно, пространство, где находится объект, не всегда соответствует реальной свободе перемещения.
Примерно также распределение статистики может зависеть от меньшего количества элементов, чем нужно слагаемых для его расчета. В общем случае количество степеней свободы меньше наблюдений на число имеющихся зависимостей.
Таким образом, распределение хи квадрат (χ2) – это семейство распределений, каждое из которых зависит от параметра степеней свободы. Формальное определение следующее. Распределение χ2 (хи-квадрат) с k степенями свободы — это распределение суммы квадратов k независимых стандартных нормальных случайных величин.
Далее можно было бы перейти к самой формуле, по которой вычисляется функция распределения хи-квадрат, но, к счастью, все давно подсчитано за нас. Чтобы получить интересующую вероятность, можно воспользоваться либо соответствующей статистической таблицей, либо готовой функцией в Excel.
Интересно посмотреть, как меняется форма распределения хи-квадрат в зависимости от количества степеней свободы.
С увеличением степеней свободы распределение хи-квадрат стремится к нормальному. Это объясняется действием центральной предельной теоремы, согласно которой сумма большого количества независимых случайных величин имеет нормальное распределение. Про квадраты там ничего не сказано )).
Проверка гипотезы по критерию Хи квадрат Пирсона
Вот мы и подошли к проверке гипотез по методу хи-квадрат. В целом техника остается прежней. Выдвигается нулевая гипотеза о том, что наблюдаемые частоты соответствуют ожидаемым (т.е. между ними нет разницы, т.к. они взяты из той же генеральной совокупности). Если этот так, то разброс будет относительно небольшим, в пределах случайных колебаний. Меру разброса определяют по статистике Хи-квадрат. Далее либо полученную статистику сравнивают с критическим значением (для соответствующего уровня значимости и степеней свободы), либо, что более правильно, рассчитывают наблюдаемый p-value, т.е. вероятность получить такое или еще больше значение статистики при справедливости нулевой гипотезы.
Т.к. нас интересует согласие частот, то отклонение гипотезы произойдет, когда статистика окажется больше критического уровня. Т.е. критерий является односторонним. Однако иногда (иногда) требуется проверить левостороннюю гипотезу. Например, когда эмпирические данные уж оооочень сильно похожи на теоретические. Тогда критерий может попасть в маловероятную область, но уже слева. Дело в том, что в естественных условиях, маловероятно получить частоты, практически совпадающие с теоретическими. Всегда есть некоторая случайность, которая дает погрешность. А вот если такой погрешности нет, то, возможно, данные были сфальсифицированы. Но все же обычно проверяют правостороннюю гипотезу.
Вернемся к задаче с игральной костью. Рассчитаем по имеющимся данным значение статистики критерия хи-квадрат.
Теперь найдем критическое значение при 5-ти степенях свободы (k) и уровне значимости 0,05 (α) по таблице критических значений распределения хи квадрат.
То есть квантиль 0,05 хи квадрат распределения (правый хвост) с 5-ю степенями свободы χ20,05; 5 = 11,1.
Сравним фактическое и табличное значение. 3,4 (χ2) < 11,1 (χ20,05; 5). Расчетный значение оказалось меньшим, значит гипотеза о равенстве (согласии) частот не отклоняется. На рисунке ситуация выглядит вот так.
Если бы расчетное значение попало в критическую область, то нулевая гипотеза была бы отклонена.
Более правильным будет рассчитать еще и p-value. Для этого нужно в таблице найти ближайшее значение для заданного количества степеней свободы и посмотреть соответствующий ему уровень значимости. Но это прошлый век. Воспользуемся ЭВМ, в частности MS Excel. В эксель есть несколько функций, связанных с хи-квадрат.
Ниже их краткое описание.
ХИ2.ОБР – критическое значение Хи-квадрат при заданной вероятности слева (как в статистических таблицах)
ХИ2.ОБР.ПХ – критическое значение при заданной вероятности справа. Функция по сути дублирует предыдущую. Но здесь можно сразу указывать уровень α, а не вычитать его из 1. Это более удобно, т.к. в большинстве случаев нужен именно правый хвост распределения.
ХИ2.РАСП – p-value слева (можно рассчитать плотность).
ХИ2.РАСП.ПХ – p-value справа.
ХИ2.ТЕСТ – по двум диапазонам частот сразу проводит тест хи-квадрат. Количество степеней свободы берется на одну меньше, чем количество частот в столбце (так и должно быть), возвращая значение p-value.
Давайте пока рассчитаем для нашего эксперимента критическое (табличное) значение для 5-ти степеней свободы и альфа 0,05. Формула Excel будет выглядеть так:
=ХИ2.ОБР(0,95;5)
Или так
=ХИ2.ОБР.ПХ(0,05;5)
Результат будет одинаковым – 11,0705. Именно это значение мы видим в таблице (округленное до 1 знака после запятой).
Рассчитаем, наконец, p-value для 5-ти степеней свободы критерия χ2 = 3,4. Нужна вероятность справа, поэтому берем функцию с добавкой ПХ (правый хвост)
=ХИ2.РАСП.ПХ(3,4;5) = 0,63857
Значит, при 5-ти степенях свободы вероятность получить значение критерия χ2 = 3,4 и больше равна почти 64%. Естественно, гипотеза не отклоняется (p-value больше 5%), частоты очень хорошо согласуются.
А теперь проверим гипотезу о согласии частот с помощью теста хи квадрат и функции Excel ХИ2.ТЕСТ.
Никаких таблиц, никаких громоздких расчетов. Указав в качестве аргументов функции столбцы с наблюдаемыми и ожидаемыми частотами, сразу получаем p-value. Красота.
Представим теперь, что вы играете в кости с подозрительным типом. Распределение очков от 1 до 5 остается прежним, но он выкидывает 26 шестерок (количество всех бросков становится 78).
p-value в этом случае оказывается 0,003, что гораздо меньше чем, 0,05. Есть серьезные основания сомневаться в правильности игральной кости. Вот, как выглядит эта вероятность на диаграмме распределения хи-квадрат.
Статистика критерия хи-квадрат здесь получается 17,8, что, естественно, больше табличного (11,1).
Надеюсь, мне удалось объяснить, что такое критерий согласия χ2 (хи-квадрат) Пирсона и как с его помощью проверяются статистические гипотезы.
Напоследок еще раз о важном условии! Критерий хи-квадрат исправно работает только в случае, когда количество всех частот превышает 50, а минимальное ожидаемое значение для каждой группы не меньше 5. Если в какой-либо категории ожидаемая частота менее 5, но при этом сумма всех частот превышает 50, то такую категорию объединяют с ближайшей, чтобы их общая частота превысила 5. Если это сделать невозможно, или сумма частот меньше 50, то следует использовать более точные методы проверки гипотез. О них поговорим в другой раз.
Ниже находится видео ролик о том, как в Excel проверить гипотезу с помощью критерия хи-квадрат.
Онлайн курс
Статистика в MS Excel
Корпоративный тренинг
Статистика в MS Excel
Большое спасибо
Здравствуйте, Дмитрий.
Спасибо за доходчивое объяснение критерия согласия Пирсона.
У меня вопрос к примеру из помощи по функции ХИ2.ТЕСТ (см. https://support.office.com/ru-ru/article/%D0%A5%D0%982-%D0%A2%D0%95%D0%A1%D0%A2-%D1%84%D1%83%D0%BD%D0%BA%D1%86%D0%B8%D1%8F-%D0%A5%D0%982-%D0%A2%D0%95%D0%A1%D0%A2-2e8a7861-b14a-4985-aa93-fb88de3f260f).
В примере одновременно проверяются результаты опроса среди мужчин и женщин с тремя возможными вариантами ответа. С моей точки зрения мы имеем 6 слагаемых, 4 из которых независимы (2 по мужчинам и 2 по женщинам). Т.е. я бы использовал хи-квадрат с 4-мя степенями свободы, а не с двумя как указано в примере. Почему степени свободы в Excel в общем виде считаются по формуле df = (r — 1)(c — 1), где r и c — количество строк и столбцов.
Заранее спасибо за помощь.
С уважением,
Олег
Добрый день. Если мы знаем сумму, то количество независимых слагаемых уменьшается на 1. И так по каждой строке и столбцу. Поэтому такая формула.
В данном примере в опросе принимали участие 79 мужчин и 83 женщины, эти суммы известны. Сколько мужчин и женщин в сумме дадут ответ «согласен», «нейтрален» или «не согласен», мы не знаем заранее. Т.е. даже если мы знаем, что 58 мужчин дали ответ «согласен», мы не можем автоматически сказать, сколько женщин дали такой же ответ. Только последнюю строку в таблице с результатами мы можем посчитать, имея полностью первые две строки и два столбца. Именно поэтому я бы исходил в данном конкретном примере из 4 степеней свободы.
Хи- квадрат на видео представлен очень доступно. Хороша картинка. Поклон автору: речь нормальная, особенно приятно, что не путается в терминах. Спасибо.
Спасибо. К сожалению, есть неточности. Будет немного переделано.
Thanks
Объяснено достаточно доступно.
Но везде, например:
«Критерий хи-квадрат исправно работает только в случае, когда количество всех частот превышает 50, а минимальное ожидаемое значение для каждой градации не меньше 5. Если в какой-либо категории ожидаемая частота менее 5, но при этом сумма всех частот превышает 50, то такую категорию объединяют с ближайшей, чтобы их общая часта превысила 5».
Количество всех частот — количество выпадений всех вариантов?
А что значит «минимальное ожидаемое значение для каждой градации»?
Этот абзац вообще желательно переработать, чтобы именно понятными словами объяснить.
Именно многие работы по статанализу и страдают тем, что вводят понятия, не объясняя толком их смысл.
«Количество всех частот — количество выпадений всех вариантов?» — да.
«минимальное ожидаемое значение для каждой градации» — минимальная теоретически ожидаемое (расчетное) значение.
Спасибо за отзыв. Согласен, нужно перепроверить некоторые статьи и даже переписать видео.
Здравствуйте, Дмитрий!
Поясните, пожалуйста, что вы имеете в виду под понятием «градация» в фразе:
«В общем случае количество градаций, по которым измеряются частоты, может быть гораздо больше, поэтому вероятность того, что отдельно взятое наблюдение попадет в ту или иную категорию, довольно мала.»
Спасибо
Это количество категорий, т.е. уникальных значений для которых подсчитываются частоты. Исправил в тексте. Спасибо за вопрос, помогает писать понятнее.
Спасибо за ответ, но, однако, указанная фраза в целом осталась непонятна.
Как я понимаю, употребив словосочетание «в общем случае», Вы имели ввиду некий абстрактный пример, не связанный с игральной костью, где количество вариантов исхода опыта (уникальных значений) гораздо больше 6 (если они равновероятны). В этом случае вероятность того или иного варианта действительно стремится к «нулю», что является одним из условий закона Пуассона. Его использование, в свою очередь, лежит в основе расчета критерия Хи-квадрат Пирсона. Поправьте если я ошибаюсь.
Но отсюда вытекает следующий вопрос.
Насколько, в таком случае, справедливо применять критерий согласия хи-квадрат Пирсона к примеру с игральной костью? Ведь количество исходов выпадение игральной кости только 6, вероятность заранее известна — 1/6, что далеко не «стремится к нулю». И в таком случае такое распределение не соответствует распределению Пуассона, и следовательно к нему не применимы критерий хи-квадрат Пирсона.
Даже, если ввести (допустить) немыслимые варианты выпадения игральной кости (7, 8, 9 и т.д.), чтобы увеличить количество «уникальных значений», то вероятность истинных возможных вариантов исхода все равно останется прежней — 1/6, что опять же не не соответствует закону Пуассона.
В целом непонятна привязка к закону Пуассона.
Спасибо
Хи-квадрат используют везде из-за простоты и легкой реализации. Однако, действительно, в малых выборках хи-квадрат в зависимости от вероятностей (частот) может показывать смещенный p-value. Есть и другие критерии согласия (кроме хи-квадрат), однако на практике в большинстве случаев используют именно этот критерий.
Дмитрий, добрый день!
Еще раз возвращаюсь к распределению Пуассона. Хочу до конца разобраться.
На мой взгляд, фраза:
«В общем случае количество категорий, по которым измеряются частоты, может быть гораздо больше, поэтому ВЕРОЯТНОСТЬ того, что отдельно взятое наблюдение попадет в ту или иную категорию, довольно МАЛА. Раз так, то, распределение такой случайной величины будет подчинятся закону редких событий, известному под названием закон Пуассона» не совсем правильна.
Пересмотрев массу ссылок, сделал следующий вывод.
1. Указанное биноминальное распределение с подбрасыванием игрального кубика при достаточно большом количестве попыток (без привязки к величине вероятности) уже следует рассматривать как распределение Пуассона, где «лямбда» равна произведению попыток на вероятность i-го исхода (λ=np) и, соответственно, равна мат.ожиданю и дисперсии.
2. И только потом, при условии роста «лямбды», распределение Пуассона стремится к распределению Гаусса, то есть нормальному распределению N(λ, λ).
(материал из Википедии).
Вывод: Если бы у нас даже было только два вероятных исхода с равной вероятностью 0,5 (что немало), но при большом значении n, то «лямбда» уже будет достаточно большой чтобы такое распределение считать Пуассоновским с равными мат.ожиданием и дисперсией.
То есть, чтобы к распределению далее применять критерий хи-квадрат важно только количество попыток (всех частот), но не имеет значение величина вероятности.
Правильно ли я понял?
Спасибо
Наверное, вас запутал мой пример с кубиком. Хи-квадрат — это критерий согласия, т.е. критерий для сравнения частот категориальных переменных. Количество уникальных категорий рассматривается, как большое, чтобы построить теоретический закон предельного распределения. Поэтому и вероятность попадания в одну категорию считается малой, отсюда появляется закон редких событий. Однако хи-квадрат применяют и для сравнения частот для небольшого количества категорий, например, игральных костей или даже подбрасывания монеты, где есть только 2 категории (орел и решка). Таким образом, само Хи-квадрат распределение получено из предположения о малых вероятностях, но используются и для больших вероятностей, т.к. работает во многих случаях корректно, если количество наблюдений более 50-ти, а для каждой категории не менее 5. Только при выполнении этих условий хи-квадрат дает (и то не всегда) более-менее хорошие результаты. Во многих случаях хи-квадрат использовать не рекомендуется из-за слишком большой ошибки. Примерно так. ))
Отличное объяснение
Замечательный материал, спасибо!
Пожалуйста!. Спасибо за отзыв.
Хороший урок, спасибо
к сожалению, вы неправильно используете терминологию, например, пишете «Это и есть знамений критерий Хи-квадрат Пирсона» — то, что написано перед этой фразой — отнюдь не критерий, а только статистика этого критерия (ну и дальше по тексту то же самое). А неправильно потому, что критерий — это правило, по которому принимается решение. Например, критерием того, что мы выбираем какую-то обувь, является то, что она нам подходит по размеру, по качеству, по форме и т.д. Вычисляя значение статистики хи-квадрат, а затем сравнивая его с критическим значением (или определяя по нему p-значение, так называемый достигнутый уровень значимости) мы, собственно, и применяем критерий — если значение статистики больше критического (или, что то же самое, достигнутый уровень значимости меньше наперед заданного числа — обычно 0,05), то проверяемая гипотеза отвергается, и, в рассматриваемом случае, можно сделать вывод, что или кубик существенно отличен от идеального, или условия эксперимента были неодинаковые, что обеспечило выпадение одних чисел чаще, чем других.
Здравствуйте. Большое спасибо за ценное замечание. Конечно, Вы правы. Я некорректно использовал термин критерия. Внес исправления в текст статьи. Если вдруг заметите другие ошибки или неточности, пожалуйста, сразу сообщите. Буду крайне благодарен.
Мне, студентке, очень помог материал в подготовке к сессии. Спасибо!
Пожалуйста!
Вопрос по степеням свободы для критерия Пирсона. Во многих источниках формула числа степеней свободы k=s-1-r, где s-число интервалов, а r-число параметров предполагаемого распределения. В вашем примере(бросание кубика) вы предполагаете равномерное распределение, которое описывается двумя параметрами. Не правильнее было брать число степеней 3=6-1-2 ??? И не могли бы Вы разъяснить смысл вычитания r для нахождения числа степеней. Спасибо.
Великолепная подача материала, большое спасибо!
Превосходно, спасибо!