Выборочное наблюдение и проверка статистических гипотез. Введение

Приветствую читателей statanaliz.info. Зачинаю новую тему о выборках и статистических гипотезах. Для того чтобы провести качественный статанализ, требуется, как правило, преодолеть несколько этапов. Вначале ставится задача, потом собираются данные, которые описываются и анализируются подходящими методами, и уже в заключительной части исследования делаются выводы и рекомендации.

Получается, что аналитические расчеты – это не первый и даже не второй шаг в анализе данных. В самом начале исследователь должен четко определиться, что именно он хочет изучить. Задачи и цели бывают самые разные, поэтому не вижу смысла их перечислять. Это может быть и обзор продаж конкурентов за прошлый год, и прогнозирование, и проверка эффективности нового лекарства и все, что угодно. После внятной постановки задачи следует приступить к сбору необходимых данных. Здесь сразу возникает множество вопросов, как лучше поступить.

Первым делом определяют непосредственный объект исследования (круг людей, предприятия, партия товаров и т.д.). Затем этот объект всячески обследуют – проводят различные эксперименты, наблюдения, переписи, опросы, опыты и другие мероприятия, помогающие собрать нужные данные. Одним словом, за объектом исследования ведут наблюдение. Наблюдение, понятное дело, можно проводить самыми разными способами, вплоть до подсматривания и подслушивания. Однако с точки зрения статистики наблюдения делят на два типа: сплошные и выборочные.

Сплошное наблюдение

Сплошным наблюдением называют сбор данных со всех элементов, входящих в анализируемый объект. Все единицы такого объекта называются генеральной совокупностью. Перепись населения – отличный пример сплошного наблюдения, а население страны – есть генеральная совокупность данных. Генеральная совокупность бывает и гораздо меньших размеров. Например, экзаменационная ведомость, характеризующая успеваемость группы студентов. В общем, генеральная совокупность данных полностью охватывает весь объект исследования и отражает его целиком и полностью, без всяких условностей. Собрав такие данные, исследователь приступает к расчету различных статистических показателей и их дальнейшему анализу. На выходе даются заключения, прогнозы, рекомендации.

Однако сплошное наблюдение, особенно масштабное, как правило, затратное и требует много времени на обработку данных. По этой причине оно не всегда применимо на практике. Например, маркетолог не может быстро оббежать весь город (или страну) и опросить, какой цвет упаковки стирального порошка или запах духов покупателям нравится больше. Также организация по проведению соцопросов не в состоянии опросить все население. Невозможно и на фабрике протестировать абсолютно все выпускаемые изделия. В общем, для сбора исходных статистических данных сплошное наблюдение далеко не всегда является доступным и/или целесообразным.

В то же время часто требуется оперативная информация о состоянии того или иного объекта анализа (примеры см. выше). Для получения такой информации нужен более быстрый и дешевый метод сбора данных. Этому требованию соответствует второй тип –выборочное наблюдение.

Выборочное наблюдение (выборка)

Выборочное наблюдение – метод получения данных, при котором информация собирается не со всех элементов объекта исследования (генеральной совокупности), а только с его относительно малой части. Что это дает? Какие здесь плюсы и минусы? Для ответов на эти и другие вопросы создана отдельная рубрика о выборочном наблюдении и проверке статистических гипотез. Данная статья является вводной, где читатель в основных чертах познакомится с выборочным наблюдением, его преимуществами и недостатками.
Вкратце суть метода такова. Из объекта анализа случайным образом отбираются некоторые элементы (делают выборку), по которым производят необходимые измерения (обмеры, опросы, тестирования и проч.). Полученные таким образом данные анализируют и результаты затем распространяют на всю генеральную совокупность. Например, соцопрос населения – типичный анализ выборки. Опросили 1000 человек и вот уже готова сенсационная новость о падении или взлете рейтинга какого-нибудь политика. Анализ выборок проводят и в сугубо приземленных практических целях. Например, случайная выборка из партии изделий позволяет судить о качестве всей партии (доля брака всего 30% — отличное качество!). Пробы воды дают характеристику всему водоему (типа «купаться не рекомендуется»). Сфера применения выборок очень широка и на то есть свои причины.

Главная причина – это доступность, что выражается в относительно небольших затратах на проведение (по сравнению со сплошным наблюдением). Нет необходимости задействовать большое количество людей. На свод и обработку данных также не требуется много времени (опять же относительно сплошного наблюдения). Такой расклад делает выборочное наблюдение весьма привлекательным методом для многих исследователей (социологов, маркетологов, экономистов, контролеров качества, ньюсмейкеров и т.д и т.п.).

Второй причиной широкого использования выборок я бы назвал тот факт, что выборка часто являться единственным способом сбора данных, т.к. сплошное наблюдение в некоторых ситуациях вообще недоступно. Например, невозможно проверить эффективность лекарства на всех пациентах, которые будут его принимать в будущем. Невозможно также подсчитать количество животных или растений в лесу путем их тотального пересчета или количество проросших семян на поле в несколько гектар. Поэтому к выборочному методу прибегают еще и вынуждено, а не только из-за экономии. Есть и другие причины, но это были основные. Я считаю.

Теперь обозначим главные недостатки выборочного метода. Недостаток, по сути один. Он заключается в том, что показатели, рассчитанные по выборке, всегда ошибочны. Вот так, немного и немало – они всегда неверны относительно истинного (неявного) показателя из генеральной совокупности данных. Чтобы мы не рассчитали по выборке, это всегда неправда, точнее сказать – не совсем правда. Если показатель, рассчитанный по генеральной совокупности, отражает истинное состояние дел (при точных замерах, разумеется), то выборка всегда дает погрешность. Такова цена за все те возможности, которые она дает.
Почему же выборка дает ошибку? Потому что структура данных выборки всегда хоть немного, но отличается от структуры генеральной совокупности. Отсюда все значения показателей, рассчитанных по выборке, будут хоть немного, но отличаться от аналогичных показателей, рассчитанных по генеральной совокупности. В этом легко убедиться, если несколько раз подбросить монетку и подсчитать количество выпавших орлов и решек. Маловероятно, что их соотношение будет 50/50. Хотя в генеральной совокупности (бесконечно большого количества подбрасываний) соотношение очень близко к 50/50.

Почему тогда используют выборку, если она всегда дает ошибочные результаты? Да потому что лучше иметь неточные данные, чем не иметь вообще никаких. При этом правильное проведение выборочного наблюдения может дать довольно-таки приемлемые по точности результаты. Допустим, мы не знаем истинное соотношение выпадения орлов и решек (настоящей вероятности). Но, сделав 100 подбрасываний и получив, к примеру, соотношение 55/45 у нас уже будет неплохой ориентир. То есть 55/45 гораздо ближе к 50/50, чем, скажем, 10/90, если сделать такое предположение наугад. Далее эти результаты можно уточнить или сделать определенные допуски на разброс. Для анализа выборочных данных разработана специальная технология, которая выдвигает ряд требований и правил для того, чтобы результаты были насколько это возможно точными и трактовались насколько возможно корректно.

Самое первое требование относится к исходным данным. Они должны быть репрезентативными, то есть содержать в себе всю информацию о качестве генеральной совокупности. Внутренняя структура выборки должна соответствовать структуре данных в генеральной совокупности. Образно выражаясь, выборка должна быть максимально точной уменьшенной копией оригинального объекта исследования. Имея в наличии такую уменьшенную модель, можно проводить различные опыты и результаты распространять на оригинал. Как, например, перед строительством корабля вначале делают уменьшенную копию и проверяют в специальном бассейне с волнами и штормами. Если модель при испытаниях не переворачивается, тогда есть надежда, что и корабль не потонет.

Теория вероятностей утверждает, что для сохранения исходной структуры данных отбор следует производить в случайном порядке из всей генеральной совокупности. Ключевое слово – в случайном порядке. Это значит, что любой элемент может быть отобран с одинаковой вероятностью.

Далее по выборочным данным рассчитывают различные показатели, которые на самом деле называются оценками. Исследователь пытается оценить значение показателя по выборочным данным и получает что-то близкое к истинному значению, но всегда с некоторым отклонением (что-то вроде соотношения 55/45 вместо реального 50/50 при подбрасывании монеты). Совпадение может произойти исключительно по чистой случайности. Это первое важное понятие, которое нужно зазубрить на всю жизнь. Оценка показателя – это всего лишь оценка и при повторном проведении эксперимента (выборки) обязательно будет другой.

И быть беде, если бы ошибка выборки была абсолютно непредсказуема и не имела пределов. Результаты выборочных измерений были бы равносильны методу «пальцем в небо». К всеобщему счастью это не так. Оценки, рассчитанные по репрезентативной выборке, обладают рядом полезных свойств, которые с той или иной вероятностью определяют границы их возможных изменений, то есть интервал, в пределах которого находится истинный показатель по генеральной совокупности. Хорошее понимание таких свойств позволяет исследователю делать достаточно правдивые заключения обо всей генеральной совокупности. Естественно, делая поправку на погрешность.

Оценка показателя не всегда рассчитывается по той же формуле, что и сам показатель. Например, средняя арифметическая, будучи оценкой математического ожидания, имеет по сути ту же формулу – сумма произведений отдельных значений на их вероятности (частоты). Это хорошо видно по формуле средней арифметической взвешенной, если все слагаемые в числителе разделить на знаменатель (сумму весов). А вот формула дисперсии по выборке немного отличается от формулы дисперсии по генеральной совокупности. Если этот момент проигнорировать, то дисперсия по малой выборке получится слегка заниженной. В общем формулы показателей и их оценок лучше не путать. Хотя при выборке размером более 50 наблюдений, разница практически исчезает.

Некоторые понятия из теории выборочного наблюдения

Выборочный метод имеет глубокую математическую основу, т.к. во многом опирается на теорию вероятностей. Отсюда большое количество законов, показателей, формул. Поэтому на первом этапе знакомства с методом предлагаю еще раз дать определения основным понятиям и терминам, с которыми нам еще много раз придется встретиться. Просто, чтобы было четкое понимание и не было разночтений.

Генеральная совокупность данных – все элементы объекта исследования (вся выпускаемая продукция, все население страны и др.).

Выборка или выборочная совокупность данных – часть генеральной совокупности. После проведения анализа выборки выводы распространяются на весь объект.

Объем выборки – количество единиц в выборочной совокупности данных, которые подвергаются наблюдению.

Репрезентативность выборки – выборочные данные со структурой, как в генеральной совокупности. Одной из первостепенных задач выборочного наблюдения является получение репрезентативной выборки.

Показатель или параметр (по генеральной совокупности) – неявный показатель, который характеризует генеральную совокупность и который можно получить, проведя сплошное наблюдение.

Оценка показателя или параметра – значение показателя, полученное по выборочным данным. Сам показатель навсегда скрыт за семью замками, и в распоряжении исследователя есть лишь его оценка. Однако у оценки показателя есть ряд свойств, которые позволяют узнать степень ее ошибочности и на этом основании делать далеко идущие выводы. Собственно, суть выборочно наблюдения и сводится к анализу оценок показателей: измерению, установлению степени достоверности и т.д.

Вот основные понятия выборочного наблюдения, которые следует знать на данном этапе моего рассказа. Самое важное понятие – это оценка показателя. Нужно раз и навсегда запомнить, что это всего лишь оценка, а не истинное значение, и оно имеет некоторый разброс. Степень разброса оценки напрямую влияет на качество и точность выводов. Но об этом в другой раз.

Приведенные термины универсальны и имеют одинаковое значение во всех источниках по математической статистике. Стараюсь простыми словами, но без спецтерминов никак.

Проверка статистических гипотез

После получения оценок показателей (например, средней арифметической и доли) исследователь может задаться рядом вопросов. Какова вероятность ошибки? Какова вероятность, что оценка могла быть конкретно другим числом? Какова вероятность, что отличие оценок в двух выборках не случайно, а обусловлено действием некоторого фактора и сохранится ли это различие при повторе эксперимента?

Например, фармаколог придумал новую пилюлю от опасной заразы. Теперь нужно на практике проверить ее эффективность. Для эксперимента берут две группы пациентов. Первой группе раздают новое изобретение, во второй – старые проверенные таблетки или вообще муляж (плацебо). Далее проводят замер необходимых медицинских показателей, которые характеризуют состояние больных. Если от нового лекарства есть эффект, то показатели по двум группам больных будут разниться. И здесь возникает вопрос, насколько эта разница закономерна. Ведь она может быть и случайностью в силу разброса выборочных данных. В следующий раз показатели могут быть другими и эффекта не наблюдаться вовсе.

Для решения такой задачи выдвигают гипотезу о том, что эффекта от нового лекарства нет, то есть в случае многократного проведения эксперимента медицинские показатели в двух группах не будут отличаться. Далее с помощью специальных расчетов проверяется, насколько (при имеющемся фактическом результате эксперимента) эта гипотеза вероятна. Если такая вероятность небольшая, скажем менее 5%, то выдвинутая гипотеза (об отсутствии эффекта) отклоняется и можно сделать вывод о том, что эффект имеет место быть. Хотя это мнение может быть и ошибочным (с обозначенной выше вероятностью). Если же вероятность выдвинутой гипотезы более 5%, и исследователя такой исход не устраивает (слишком велика возможность ошибки при ее отклонении), то гипотеза не отклоняется и вопрос об эффективности остается открытым. То есть, может и да, но не факт. Это не значит, что эффекта нет, просто он не сильно заметен на фоне «естественного» разброса данных.

В проверке статистических гипотез существует тонкая грань, когда исследователь сам на свой страх и риск на основе рассчитанной вероятности и здравого смысла принимает решение о возможности или невозможности выдвинутой гипотезы. Ведь даже если вероятность ошибки равна 5%, то, отклоняя выдвинутую гипотезу, аналитик ошибается в 1 случае из 20. Много это или мало? Все зависит от цены ошибки. Поэтому критерий отклонения или не отклонения выдвинутой гипотезы может быть разным. Как правило, останавливаются на 10%-й, 5%-й или 1%-й ошибке.

Тема статистических выборок и гипотез настолько широка, что одних примеров можно привести на целый сайт. Вот и мне трудно удержаться от приступов графомании. Хотя, по правде говоря, я эту статью уже раза 3 переписал заново, чтобы читалось понятно.

Однако для вступительного слова пока хватит. Резюмирую. Главная идея выборочного наблюдения заключается в том, чтобы по малой части данных сделать вывод обо всей генеральной совокупности. Желательно, правильный. Задача проверки статистической гипотезы – исключить или не исключить возможность наступления проверяемой гипотезы.

Теперь точно все. Удачи и до новых встреч.

Поделиться в социальных сетях:
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •