интересно
Предыдущая | Содержание | Следующая

Проблема ненаблюдения при выборке

Две главные проблемы, связанные с отсутствием ответов (ненаблюдением) при проведении выборки, — это увеличение коэффициентов отклика и корректировка на неполучение данных. Ошибка неполучения данных или ненаблюдения возникает, когда некоторые потенциальные респонденты, включенные в выборку, не отвечают на вопросы исследования (см. главу 3). Это одна из наиболее существенных проблем, возникающих при проведении опроса. Неответив-шие респонденты отличаются от ответивших по демографическим, психологическим, поведенческим и личностным параметрам, а также имеют другую социальную установку и мотивацию. Если неответившие респонденты отличаются от ответивших по характеристикам, которые исследуются в данном случае, результаты выборки будут опасно смещены. Высокий коэффициент отклика обычно означает низкий коэффициент ошибки ненаблюдения, но при этом не будет его адекватным показателем. Коэффициенты отклика сами по себе не указывают, являются ли респонденты представителями начальной выборки. Увеличение коэффициента отклика может не привести к уменьшению ошибки ненаблюдения, если дополнительные респонденты не отличаются от тех, кто уже ответил, но отличаются от тех, кто еще не ответил. Поскольку низкие коэффициенты отклика увеличивают вероятность возникновения ошибки неполучения данных, следует стремиться к их увеличению.

Увеличение коэффициентов отклика

Главные причины низких коэффициентов отклика — отказы и отсутствие респондентов дома, как показано на рис. 12.2.

Отказы. Отказы, вытекающие из нежелания или неспособности людей, включенных в выборку, принимать участие в опросе, приводят к снижению коэффициента отклика и росту вероятности возникновения ошибки ненаблюдения. В телефонных опросах коэффициент отказов, т.е. процент респондентов, к которым обратились и которые отказались отвечать, колеблется в пределах от 0 до 50%. Более высокие коэффициенты отказов присущи почтовым опросам и интервью-"перехватам" в торговых центрах, а самые высокие — исследованиям, проводимым в Internet.

Большинство респондентов отказываются от сотрудничества сразу же после вступительного слова интервьюера или как только вскрывают свой почтовый пакет. При проведении национального телефонного опроса 40% опрашиваемых отказались на начальной стадии и только 6% — во время проведения интервью. Следующий пример дает более подробную информацию об отказах на начальной стадии опроса, отказах во время проведения опроса и завершенных интервью.

Учитывая различие между людьми, склонными принимать участие в опросах (группа А) и не склонными к этому (группа В), которое было выявлено в ходе этого исследования, маркетологи должны попытаться уменьшить коэффициент отказов. Достичь этого можно предварительным уведомлением, мотивацией респондентов, вознаграждением, профессиональным оформлением анкеты и проведением опроса и неоднократными попытками установить контакт.

ПРЕДВАРИТЕЛЬНОЕ УВЕДОМЛЕНИЕ

Потенциальным респондентам направляется письмо, сообщающее о предстоящем почтовом, телефонном, индивидуальном или электронном опросе, Предварительное уведомление увеличивает коэффициент отклика при обследовании широкой общественности, так как устраняет элемент неожиданности и неопределенности и создает атмосферу, располагающую к сотрудничеству.

МОТИВАЦИЯ РЕСПОНДЕНТОВ

Можно привлечь потенциальных респондентов, увеличив степень их заинтересованности и участия в опросе. Достичь этого можно двумя способами, следуя стратегии "снизу вверх" (foot-in-the-door) или стратегии "сверху вниз" (door-in-the-face). Обе эти стратегии направлены на увеличение числа участвующих с помощью последовательно расположенных вопросов. Как объяснялось в главе 6, в стратегии "снизу вверх" интервьюер начинает опрос с относительно небольших просьб, например: "Не уделите ли вы 5 минут своего времени, чтобы ответить на пять вопросов", обычно их соглашаются исполнить подавляющее большинство людей. За небольшой просьбой следует большая, решающая просьба, в которой респонденту предлагается принять участие в исследовании или эксперименте. Смысл в том, что согласие исполнить первую просьбу увеличивает вероятность согласия на исполнение следующей. Обратной этой стратегии является стратегия "сверху вниз". Первая просьба довольно существенна, и большинство людей отказывается ее выполнять. За большой просьбой следует небольшая, решающая просьба, в которой респонденту предлагается принять участие в опросе. Идея этой стратегии заключается в том, что снижение сложности выполнения последующей решающей просьбы, должно увеличить вероятность согласия. Стратегия "снизу вверх" эффективнее, чем стратегия "сверху вниз".

ВОЗНАГРАЖДЕНИЕ

Коэффициент отклика можно увеличить, предлагая вознаграждение потенциальным респондентам. Денежное вознаграждение можно выплатить заранее или обещать его Предварительно выплаченное вознаграждение предлагается по время проведения опроса или заполнения анкеты. Обещанное вознаграждение высылается только тем респондентам, которые полностью прошли опрос. Как правило, в качестве неденежного вознаграждения используются призы и награды: ручки, карандаши, книги, а также сообщаются результаты исследования [16).

Применение предварительно выплаченного вознаграждения показало большее увеличение коэффициента отклика, чем применение обещанного вознаграждения. Сумма вознаграждения может варьировать в пределах от 10 центов до 50 долларов и больше. Сумма вознаграждения положительно влияет на коэффициент отклика, но стоимость крупного денежного вознаграждения может превысить ценность дополнительной информации, полученной с его помошью.

ОФОРМЛЕНИЕ АНКЕТЫ И ПРОВЕДЕНИЕ ОПРОСА

Профессионально оформленная анкета может снизить общий коэффициент отказов, а также коэффициент отказов на отдельные вопросы (см. главу 10). Кроме того, навыки исследователей при проведении телефонных и индивидуальных опросов могут увеличить коэффициент отклика. Опытные интервьюеры умеют превращать отказы респондентов в согласие или требуют обоснования отказа. Они не принимают ответ "нет", не попытавшись привести дополнительные аргументы. Дополнительная аргументация может подчеркивать лаконичность анкеты или важность мнения респондента. Квалифицированные интервьюеры могут снизить коэффициент отказов в среднем на 1%. Процедуры проведения опросов детально рассматриваются в главе 13.

НЕОДНОКРАТНЫЕ ПОПЫТКИ УСТАНОВИТЬ КОНТАКТ

Неоднократные попытки установить контакт с неответившими респондентами или периодическое напоминание о себе после первого обращения особенно эффективно при уменьшении числа отказов в почтовых опросах. Исследователь может послать неответившим респондентам открытку или письмо с напоминанием о том, что нужно заполнить и вернуть анкету. Кроме основной почтовой отправки, потребуются две или три дополнительные. При неоднократных попытках установить контакт коэффициент отклика в почтовых опросах можно увеличить до 80% и выше. Периодически также можно напоминать по телефону, телеграфу, электронной почте или индивидуально,

ДРУГИЕ МЕТОДЫ

Персонификация или направление писем отдельным индивидуумам — эффективное средство увеличения коэффициента отклика. Врезка 12.1 "Практика маркетинговых исследований" иллюстрирует процедуру, которую применила компания Arbitron для увеличения коэффициента отклика.

Врезка 12.1. Практика маркетинговых исследований

Опыт компании Arbitron

Компания Arbitron, проводящая маркетинговые исследования, попыталась увеличить коэффициента отклика, чтобы получать более достоверные результаты в ходе своих исследований. Руководство Arbitron создало из своих служащих специальную многофункциональную команду для работы над проблемой увеличения коэффициентов отклика. Метод их работы назвали методом "научного прорыва", а вся деятельность компании Arbitron, связанная с коэффициентами отклика, была пересмотрена и изменена. Команда предложила шесть основных стратегий улучшения коэффициентов отклика.

Максимизировать эффективность первых или дополнительных звонков.

Увеличить привлекательность анкеты и простоту заполнения материалов,

Повысить популярность компании Arbitron.

Увеличить вознаграждение участников опроса.

Оптимизировать процесс поступления материалов от респондентов.

Повысить удобство и простоту обработки возвращенных анкет.

Для этих шести стратегий предпринято 80 различных действий. В результате значительно улучшился коэффициент отклика. Тем не менее, несмотря на эти обнадеживающие результаты, служащие Arbitron остаются весьма сдержанными. Они знают, что еще не все сделано, и им нужно постоянно бороться, чтобы коэффициенты отклика оставались высокими.

Отсутствие респондентов дома. Вторая по важности причина низкого коэффициента отклика — это отсутствие респондентов дома. Отсутствие потенциальных респондентов дома при попытке установить с ними контакт может снизить коэффициент отклика в телефонных опросах и индивидуальных опросах на дому. Исследование, анализирующее 182 коммерческих телефонных опроса, с общей выборкой, насчитывающей свыше миллиона потребителей, выявило большой процент потенциальных респондентов, к которым вообще не обращались. Медиана неопрошенных респондентов составила 40%. Приблизительно в 40% опросов предпринимались только одна попытка связаться с потенциальными респондентами. Результаты 259088 попыток с первого раза связаться с респондентами с помощью набора случайных телефонных номеров программой M/A/R/C Tel no System, показали, что меньше 10% звонков закончились завершенными интервью, а 14,3% опрашиваемых отказались отвечать.

Вероятность того, что потенциальных респондентов не будет дома, зависит от нескольких факторов. Респондентов с маленькими детьми можно застать дома с большей вероятностью, чем неженатых или разведенных. Потребители чаше бывают дома по выходным, чем в рабочие дни, и скорее вечером, чем в течение дня. Предварительное уведомление и назначение встреч повышают вероятность того, что респондент окажется дома при попытке установить с ним контакт.

Процент респондентов, отсутствующих дома, можно существенно уменьшить с помощью повторных звонков или периодических попыток установить контакт с неответившими респондентами. При принятии решения о количестве повторных звонков необходимо оценить пользу от уменьшения ошибки неполучения данных и сравнить ее с дополнительными затратами. После того как повторные звонки сделаны, необходимо сравнить ответивших респондентов, с теми, кто ответил раньше, чтобы определить целесообразность дальнейших звонков. При проведении потребительских опросов желательно сделать от трех до четырех повторных звонков, Несмотря на то, что первые звонки дают основную массу ответов, вторые и третьи имеют более высокий коэффициент отклика на звонок. Важно, чтобы повторные звонки осуществлялись и регулировались в соответствии с установленным планом.

Корректировка на неполучение данных

Высокий коэффициент отклика уменьшает вероятность возникновения существенной ошибки неполучения данных (ненаблюдения). Следует каждый раз составлять отчет о проценте неответивших респондентов и, по возможности, оценивать влияние неполучения данных на результат исследования. Это можно осуществить, привязав коэффициент ненаблюдения к выявленным различиям между ответившими и не ответившими респондентами. Информацию о различии между этими двумя группами можно получить на основе того же исследования. Например, можно экстраполировать различия, обнаруженные с помощью повторных телефонных звонков, или неоднократно пытаться установить контакт с подгруппой неответивших респондентов. Кроме того, информацию об этих различиях можно получить из других источников. Например, при проведении опроса среди владельцев домашней техники демографическую и другую информацию об ответивших и неответивших респондентах можно получить из гарантийных талонов. При проведении почтовых панелей разнообразную информацию об этих двух группах можно получить от компаний, проводящих синдицированные исследования. Если предполагается, что выборка представляет генеральную совокупность, то можно проводить сравнения с данными переписи. Даже если практически невозможно оценить последствия ненаблюдения, все же необходимы некоторые корректировки в процессе анализа и оценки полученной информации. Методы корректировки на ошибку ненаблюдения следующие: проведение опроса в подгруппе неответивших респондентов, замена, подстановка, субъективная оценка, анализ тенденций, простое взвешивание и приписывание.

Проведение опроса в подгруппе неответивших респондентов. Исследование подгруппы неответивших респондентов, особенно при почтовом опросе, может быть весьма эффективным способом корректировки на ошибку неполучения данных. В соответствии с этой методикой, исследователь опрашивает подгруппу неответивших респондентов, как правило, с помощью телефонных или индивидуальных интервью. Это часто приводит к высокому коэффициенту отклика в рамках данной подгруппы. Значения, полученные в результате опроса подгруппы,, распространяются затем на всех неответивших респондентов и результаты исследования корректируются с учетом неполучения данных. Этот метод позволяет оценить влияние неполучения данных на значение исследуемой характеристики.

Замена. При осуществлении замены респонденты, не ответившие на вопросы данного исследования, заменяются респондентами, не ответившими на вопросы аналогичного исследования, приведенного раньше. Исследователь пытается связаться с респондентами, не ответившими на вопросы предыдущего исследования, и задать им вопросы из анкеты данного исследования. возможно, предлагая за это подходящее вознаграждение. Важно, чтобы причина неполучения данных в текущем исследовании совпадала с причиной неполучения данных в раннем исследовании. В этих опросах должны участвовать аналогичные категории респондентов и временной интервал между ними должен быть коротким. Например, если опрос покупателей универмага повторяется год спустя, респонденты, не ответившие на вопросы текущего исследования, могут заменяться респондентами, не ответившими на вопросы раннего исследования. Подстановка. Осуществляя подстановку (substitution), исследователь использует вместо не-ответивших респондентов другие элементы основы выборки, от которых ожидает получить ответ. Основа выборки делится на подгруппы, внутренне однородные по характеристикам респондентов, но с различными показателями коэффициента отклика. Затем в этих подгруппах определяют заместителей, которые похожи на отдельных неответивших респондентов, но отличаются от респондентов, присутствующих в выборке. Следует принять во внимание, что этот метод не снизит ошибку неполучения данных, если заместители будут идентичны респондентам, присутствующим в выборке. Врезка 12.2 "Практика маркетинговых исследований" иллюстрирует применение этого метода.

Субъективная оценка. Когда увеличение коэффициента отклика посредством проведения опроса в подгруппе неответивших респондентов, замены или подстановки, невозможно, следует субъективно оценить причины и последствия ошибки ненаблюдения. Этот процесс предусматривает оценку вероятных последствий неполучения данных на основе опыта и доступной информации. Например, присутствие дома супружеских пар с маленькими детьми вероятнее, чем присутствие неженатых (незамужних) или разведенных респондентов или супружеских пар без детей. На основании этой информации оценивается влияние, которое оказывает неполучение данных из-за отсутствия респондентов дома, на результаты индивидуальных и телефонных опросов.

Анализ тенденций (trend analysis) — это попытка проследить тенденцию между ответами респондентов более раннего и более позднего исследований. Эту тенденцию исследователи распространяют на неответивших респондентов, таким образом, оценивая их исследуемые характеристики. Например, табл. 12.4 представляет результаты ряда почтовых опросов. Исследуемой характеристикой является сумма, потраченная на покупки в универмагах за последние два месяца. Известное значение данной характеристики для общей выборки приводится в нижней части таблицы. В каждом новом исследовании значение характеристики ответивших респондентов все больше приближается к значению неответивших респондентов. Например, респонденты, ответившие на вопросы второго почтового исследования, потратили 79% от суммы, потраченной респондентами, ответившими на вопросы первого исследования. Респонденты, ответившие на вопросы третьего почтового исследования, потратили 85% от суммы, потраченной респондентами, ответившими на вопросы второго исследования. Продолжая эту тенденцию, можно предположить, что неответившие респонденты потратили 91%  от суммы, потраченной респондентами, ответившими на вопросы третьего исследования, Следовательно, за последние два месяца на покупки в универмагах неответившие респонденты потратили приблизительно 252 доллара (277 х 0,91), а в среднем по выборке потрачено 288 долларов. Следует учесть, что реальная сумма, потраченная неответившими респондентами, составляла 230 долларов, а не 252, и фактически выборочное среднее равнялось 275 долларов, а не 288, которые были получены на основе анализа тенденций. Несмотря на то, что анализ тенденций содержит ошибку, величина ее меньше величины ошибки, возникающей в результате пренебрежения характеристиками неответивших респондентов. Если пренебречь характеристиками неответивших респондентов, средняя потраченная сумма для данной выборки составила бы 335 долларов.

Врезка 12.2. Практика маркетинговых исследований

Опросы после голосования

Уоррен Митофски (Warren Mitofsky), исполнительный директор Voter Research & Surveys (VRS), утверждает, что планирование процедуры опросов после голосования на президентских выборах начинается за два года до этого знаменательного события. Расположенный в Нью-Йорке штат сотрудников компании, насчитывающий обычно 22 человека, в год проведения выборов расширяется до 60 человек. В день выборов он вырастает до 6 тысяч служащих, которые руководят процедурой опросов после голосования на 1500 избирательных участках.

•Служащие К/?Лдают избирателям опросный лист, состоящий из 25 вопросов. В анкете неизменно присутствуют широко известные вопросы, определяющие выбор избирателей, в то время как другие относятся к последним событиям, в частности к политическим скандалам. Анкеты составляются в самый последний момент. Вопросы подобраны таким образом, чтобы определить не только, за кого проголосовали избиратели, но и почему они выбрали именно этого кандидата.

Одна из проблем при проведении опросов после голосования — низкая активность избирателей. Служащим VRSдается указание фиксировать основные демографические характеристики непроголосовавших избирателей. На основе полученных демографических данных создается профиль неактивного избирателя, которого заменяют активным, применяя метод подстановки. Возраст, пол, раса и место жительства в значительной мерс определяют то, как голосуют американцы. Например, молодые избиратели в своем выборе больше руководствуются нравственными критериями, тогда как избиратели постарше, в основном, уделяют внимание личным качествам кандидата. В соответствии с полученными данными, служащие КЛЛзаменяют неответивших респондентов другими потенциальными респондентами, аналогичного возраста, пола, расы и места жительства. Обширная территория проведения голосования и применение метода подстановки для замены непроголосовавших избирателей позволяет VRS ограничить величину ошибки 3—4%.

Взвешивание. Осуществляя взвешивание (weighting), исследователь делает поправку на отсутствие ответов, применяя к данным различные веса в зависимости от коэффициентов отклика [23). Например, при проведении опроса пользователей персональных компьютеров выборку стратифицировали в соответствии с доходом владельцев. Для групп с высокими, средними и низкими доходами коэффициенты отклика составили 85, 70 и 40% соответственно. При анализе полученной информации для этих подгрупп установили весовые коэффициенты, обратно-пропорциональные коэффициентам отклика, г с. для групп с высокими, средними и низкими доходами весовые коэффициенты составили (100/85), (100/70) и (100/40) соответственно. Хотя взвешивание корректирует полученные результаты с учетом дифференцированного влияния неполучения данных, оно разрушает соразмерность, заложенную в структуру выборки, и может вызвать осложнения. Взвешивание подробно рассматривается в главе 14, посвященной подготовке данных.

Приписывание. Осуществляя приписывание (imputation), исследователь приписывает или

присваивает значения исследуемой характеристики неответившим респондентам, учитывая идентичность переменных, Присущих неответившим и ответившим респондентам. Например, респонденту, не ответившему на вопрос о том, какую марку товара он предпочитает,, можно приписать ответ респондента с аналогичными демографическими характеристиками. Часто существует тесная взаимосвязь между исследуемыми характеристиками и некоторыми другими переменными. В таких случаях можно воспользоваться этой взаимосвязью, чтобы определить значения исследуемой характеристики для неответивших респондентов.

МЕЖДУНАРОДНЫЕ МАРКЕТИНГОВЫЕ ИССЛЕДОВАНИЯ

При проведении маркетинговых исследований за рубежом статистическое определение объема выборки затруднено, так как у маркетолога может отсутствовать предположительная величина дисперсии генеральной совокупности. Поэтому объем выборки часто определяется качественными характеристиками, которые paccNfaTpH вались в главе 11: важность решения; характер исследования; количество переменных; характер анализа; объемы выборок, используемых в подобных исследованиях; коэффициент охвата; коэффициент завершенности, а также ограниченность ресурсов. Если статистическое определение объема выборки вполне применимо, то величина дисперсии совокупности в разных странах может быть различной. Например, при выявлении предпочтений потребителей можно столкнуться с большей степенью неоднородности в тех странах, где эти предпочтения развиты не так сильно. Таким образом, допущение идентичности дисперсии генеральной совокупности или применение одинакового объема выборки в разных странах может быть ошибочным.

ЭТИКА МАРКЕТИНГОВЫХ ИССЛЕДОВАНИЙ

Статистическое определение объема выборки обычно объективно, тем не менее и здесь при-сутстсвуют этические нормы. Объем выборки, как следует из формулы, зависит от стандартного отклонения, которое невозможно точно определить, не собрав все данные. При расчете объема выборки используется предположительное значение стандартного отклонения, основанное на вторичных данных, суждении маркетолога или результатах небольшого экспериментального исследования. Увеличив стандартное отклонение, можно увеличить объем выборки и, следовательно, вознаграждение, которое получит фирма за исследование. Применив формулу объема выборки, можно увидеть, что при увеличении стандартного отклонения, например на 20%, объем выборки увеличится на 44%. Безусловно, неэтично увеличивать стандартное отклонение и в связи с этим объем выборки только для того, чтобы увеличить доходы маркетологов.

Этические проблемы возникают даже тогда, когда стандартное отклонение определено справедливо. Часто стандартное отклонение, полученное в ходе реального исследования, отличается от предполагаемого вначале. Если полученное значение больше предполагаемого, то и доверительный интервал больше желательного. При возникновении такой ситуации исследователь обязан обсудить ее с заказчиком и принять совместное решение о дальнейших действиях. При политических выборах особенно велики этические последствия некорректного определения доверительных интервалов, которые отражаются на результатах, полученных на основе статистических выборок.

В соответствии с этическими принципами, исследователи также обязаны рассмотреть вероятность возникновения ошибки ненаблюдения и приложить оправданные усилия для корректировки результатов. Применяемая методология и величина обнаруженной ошибки неполучения данных должны быть тесно взаимосвязаны.

Врезка 12.3. Практика маркетинговых исследований

Opinion Place делает выводы на основе мнений тысячи респондентов

В наше время фирмы, осуществляющие маркетинговые исследования, обращаются к internet для проведения онлайновых опросов. Недавно четыре ведущие компании, которые занимаются исследованиями рынка (AS/ Market Research, Custom Research Inc., M/A/R/C Research и Roper Starch Worldwide) объединились с Digital Marketing Services (DMS), Dallas для проведения опроса среди пользователей America Online (AOL).

DMS и AOL проведут онлайновый опрос на Opinion Place, странице, где пользователи AOL высказывают свои мнения. Среднее количество респондентов одного опроса составит тысячу человек. Объем выборки определялся на основе статистических соображений, так же как объемы выборок в аналогичных исследованиях, проводимых с помощью традиционных методов. Компания AOL пообещала респондентам, что они получат призовые очки (которые можно будет обменять на призы). Пользователи не должны указывать адрес своей электронной почты. Эти опросы помогут оценить эффективность рекламных кампаний, проводимых в онлайновом режиме. Главная задача этих опросов — определение отношения покупателей к предмету исследования, а также получение другой субъективной информации, которая помогла бы рекламодателям планировать свои рекламные кампании.

Преимущество онлайновых опросов в том, что исследователи уверены в охвате целевой группы (регулирование объема выборки), а также в том, что подобные опросы проводятся быстрее, чем традиционные интервью в торговых центрах или домашние интервью. Кроме того, этот вид исследований дешевле (стоимость онлайнового опроса, проводимого DMS, 20 тысяч долларов, тогда как стоимость интервью с тысячей покупателей торгового центра колеблется от 30 до 40 тысяч долларов).