интересно
Предыдущая | Содержание | Следующая

Посторонние факторы

Необходимость контроля посторонних факторов для достижения внутренней и внешней достоверности результатов эксперимента уже обсуждалась. В этом разделе рассматриваются следующие посторонние факторы: исторические, зрелости, эффект тестирования, инструментария, статистическая регрессия, отклонение выборки и убыль.

Исторические факторы

В противоположность своему названию, исторические факторы (history, H) не имеют отношения к событиям, происходившим до начала эксперимента. Под историческими факторами понимаются специфические события, посторонние по отношению к эксперименту, но происходящие одновременно с ним. Такого рода события могут воздействовать на значения зависимых переменных. Пусть имеет место эксперимент, записанный следующим образом:

представляет собой оценку влияния

равна 0, можно ли на этом основании утверждать, что новая кампания по

может оказаться неверным утверждение об эффективности маркетинговых мероприятий, если не принимались во внимание исторические факторы. Последние могут исказить результаты эксперимента. Чем больше временной промежуток между двумя наблюдениями, тем выше вероятность искажения результатов эксперимента такого типа за счет влияния исторических факторов.

Факторы зрелости

Факторы зрелости (maturation — MA) аналогичны историческим факторам, с той разницей, что касаются изменений в самих единицах наблюдения. Эти изменения не связаны с изменениями независимых или зависимых переменных, а обусловлены течением времени. Для эксперимента, в котором участвуют люди, фактор зрелости проявляется по мере того, как респонденты становятся старше, опытнее, устают или раздражаются, теряют интерес к происходящему. Зрелость затрагивает также и другие единицы наблюдения, а не только людей. Например, магазины с течением времени могут изменять площадь торгового зала, оформление, маршруты движения покупателей, структуру.

Эффекты тестирования

Эффекты тестирования (testing effects) обусловлены самим проведением эксперимента. Обычно их влияние можно оценить количественно, измеряя значения зависимых переменных до и после представления респондентам базисных факторов или условий. Существует два основных вида эффектов тестирования — основной эффект тестирования (main testing effect — МТ) и интерактивный эффект тестирования (interactive testing effect IT).

Основной эффект тестирования имеет место тогда, когда предшествующее наблюдение влияет на последующее. Рассмотрим эксперимент по определению влияния рекламы на восприятие какой-либо марки продукта. Респондентам раздается предварительная анкета для оценки уровня их осведомленности о предмете и отношения к нему. Затем им предлагают просмотреть рекламный ролик, показываемый в одной из телепрограмм. После этого им опять предлагают заполнить анкету, где, помимо прочих, содержатся и вопросы об отношении к исследуемой торговой марке. Если отношение к торговой марке до и после просмотра рекламы не изменилось, свидетельствует ли это о том, что реклама была неэффективной? Альтернативным объяснением может быть то, что респонденты пытались сохранить связь между своими оценками продукта до и после просмотра рекламы. Вследствие основного эффекта тестирования оценка товара после просмотра рекламы определялась не столько самой рекламой, сколько оценкой, высказанной до ее просмотра. Основной эффект тестирования может также носить характер ответной реакции, заставляя респондентов скрывать свое истинное отношение к предмету исследования только потому, что оно подвергается оценке. Основной эффект тестирования нарушает внутреннюю достоверность результатов эксперимента.

Интерактивный эффект тестирования (interactive testing effect — IT) заключается в том, что предварительная оценка влияет на реакцию единиц наблюдения на независимую переменную. Возвращаясь опять к примеру с экспериментом по оценке эффективности рекламы, необходимо отметить, что просьба к респондентам оценить свое отношение к данной торговой марке привлекла к ней их внимание. После этого естественна их большая готовность обратить внимание на ее рекламу по сравнению с теми, кто не участвовал в предварительном опросе. Полученные результаты нельзя будет распространить на всю генеральную совокупность, следовательно, интерактивный эффект тестирования нарушает внешнюю достоверность эксперимента.

Инструментарий

Инструментарий (instrumentation — I) включает в себя факторы, связанные с изменением в способах оценки. Иногда в процессе проведения эксперимента способы оценки совершенствуются. Применительно к эксперименту с действенностью рекламы это означает, что если дли последующей оценки использовалась новая анкета, это могло привести к изменению полученных результатов. Представим себе, что объем продаж магазина измерен до и после размещения рекламы в торговом зале (независимый фактор). Если в промежуток времени между этими двумя измерениями (между 0; и От) изменялась цена товаров безотносительно к проведению эксперимента, то имеют место изменения в инструментарии эксперимента, поскольку объем продаж до и после размещения рекламы определялся на основе различных цен за единицу товара. В этом случае изменение объема продаж {О, — О,) можно отнести за счет изменения инструментария.

Как следует из изложенного выше, влияние изменений в инструментарии имеет место большей частью тогда, когда в процессе эксперимента проводятся замеры факторов-характеристик до и после изменения базисного фактора. Эффективность действий интервьюеров также бывает различной в различное время.

Статистическая регрессия

Эффект статистической регрессии (Statistical Regression — SR) возникает в том случае, если единицы наблюдения с крайними значениями показателей приближаются к средним значениям в процессе эксперимента. В примере с определением действенности рекламы у отдельных респондентов возникло очень положительное или очень отрицательное отношение к продукту. После просмотра рекламы их отношение могло стать более умеренным. Отношение людей к различным вещам все время изменяется. У людей с ярко выраженным отношением амплитуда изменения последнего больше. Поэтому и вероятность его изменения выше. Это искажает результаты эксперимента, поскольку изменения отношения к продукту до и после просмотра рекламы могут в значительной степени объясняться действием фактора статистической регрессии, а не независимого фактора (рекламного ролика).

Отклонение выборки

Отклонение выборки, ошибка отбора (Selection Bias — SB) возникает в результате неверного определения состава групп единиц наблюдения для оценки действия независимой переменной. Это отклонение возникает, когда порядок формирования групп единиц наблюдения приводит к созданию групп, отличающихся по какой-либо зависимой переменной еше до начала эксперимента. Если единицы наблюдения объединяются в группы по собственному выбору либо на основе произвольных указаний исследователя, возможно возникновение отклонения выборки. Например, представим себе эксперимент, в котором две рекламные выкладки товаров (новая и старая) размещаются в различных универмагах. Универмаги в этих двух группах могут изначально различаться по целому ряду значимых характеристик, например размеру торговой площади. Размер торговой площади способен влиять на объем продаж независимо от того, какая выставка — новая или старая — размещена в универмаге.

Убыль

Убыль (mortality— МО) — фактор, связанный с выбытием части единиц наблюдения в процессе эксперимента. Это происходит по многим причинам, в том числе в связи с отказом части респондентов участвовать дальше в эксперименте. Убыль единиц наблюдения искажает результаты эксперимента, поскольку трудно определить, является ли реакция выбывших элементов на независимый фактор в среднем такой же, как и у оставшихся элементов. Возвращаясь к примеру с размещением рекламных выкладок в универмагах, представим, что три универмага, в которых размещены новые варианты выкладок, отказались потом в нем участвовать. Исследователь не может определить, был бы средний уровень продаж в этих универмагах в результате новых выкладок выше или ниже фактического, если бы они согласились продолжать эксперимент.

Различные типы посторонних факторов не взаимоисключающие. Они могут действовать одновременно и взаимодействовать. Например, сочетание факторов убыли, тестирования и зрелости характерно для ситуации, когда в результате проведения предварительной оценки отношения и убеждения людей изменяются в ходе эксперимента и когда присутствует значительная убыль респондентов из различных обследуемых групп.