интересно
Предыдущая | Содержание | Следующая

Многомерные шкалы

Разработка многомерных шкал требует специальной подготовки. На рис. 9.4 изображен алгоритм для построения многомерных шкал. Измеряемая характеристика часто называется конструкцией (construct). Разработка шкалы начинается с теоретического представления о том, что собой представляет данная конструкция, что необходимо не только для составления шкалы, но и для интерпретации результатов. Следующий шаг заключается в предложении маркетологом первоначального варианта всех возможных пунктов шкалы. Обычно это делается на базе теоретических положений, анализа вторичных данных и результатов качественного исследования. Из этого "котла" маркетолог отбирает ограниченное количество потенциальных пунктов шкалы. Для отбора используется определенный качественный критерий. Количество пунктов все еще достаточно велико для составления шкалы. Поэтому в дальнейшем их количество уменьшается.

Затем проводится сбор информации из достаточно большой предварительной выборки респондентов с использованием шкалы с сокращенным числом пунктов. Данные анализируются с помощью таких методов, как корреляция, факторный анализ, кластерный анализ, дискриминантный анализ и статистические критерии, обсуждаемые в этой книге. По результатам этого! статистического анализа устраняются еще несколько пунктов, после чего остаются пункты, непосредственно используемые при составлении шкалы (в следующем разделе). На основе этих оценок разрабатывается окончательный набор пунктов шкалы. Как видно из рис. 9.4, процесс разработки содержит последовательность действий, отдельные элементы которой повторяются несколько раз.

Ниже представлен пример шкалы, разработанной для промышленного маркетингового иен следования.

Оценка шкалы

При использовании многомерной шкалы нужно проверить ее точность и применимость. Как показано на рис. 9.5, этот процесс включает опенку надежности, достоверности и обобщенности шкалы. Среди различных подходов к оценке надежности отметим следующие: двойное тестирование, проверка надежности с помощью альтернативных форм и проверка внутренней согласованности. Достоверность можно оценить через рассмотрение достоверности содержания, достоверности критерия и конструкции.

Перед оценкой надежности и достоверности следует рассмотреть точность измерения как основу оценки шкалы.

Точность измерения

Как уже указывалось в главе 8, измеряя некий объект, мы с ПОМОШЪЮ чисел (показателей) определяем его отдельные характеристики. Показатель является не истинным значением характеристики, а результатом наблюдения. Действие различных факторов может вызвать ошибку измерения (measurement error), которая проявляется в отклонении показателя, т.е. полученного значения характеристики, от ее истинного значения (рис. 9.6). Модель истинной оценки (true score model) содержит основы для понимания точности измерения. Согласно этой модели,

X0=XT + XsJrXgT№

Х0_ измеренное фактическое значение

Хг- истинное значение характеристики

А^_ систематическая ошибка

. случайная ошибка

Примечательно, что обшая ошибка измерения включает систематическую ошибку (systematic error) — Xs и случайную ошибку — Л,.;. Влияние систематической ошибки на процесс измерения носит постоянный характер. Она отображает действие стабильных факторов, ВЛИЯЮЩИХ на полученный результат при каждом отдельном измерении, например механические факторы (рис. 9.6). Случайная ошибка (random variable), напротив, непостоянна. Она отображает действие временных факторов, их разному влиянию на результат при каждом отдельном измерении. К таким факторам относятся индивидуальные и ситуационные факторы. Разграничение между систематической и случайной ошибкой очень важно для понимания надежности и достоверности.

Надежность

Надежность (reliability) характеризуется тем, насколько устойчивые результаты дает применение шкалы при повторных измерениях. Систематические источники ошибок не влияют на надежность, они постоянно воздействуют на измерение и не приводят к противоречивости ее результатов. Случайная ошибка, напротив, может приводить к противоречивым результатам и соответственно — к уменьшению надежности. Надежность, таким образом, можно определить как степень отсутствия при измерении случайной ошибки — Хе. Если Х1: = 0, измерение абсолютно надежное.

Надежность оценивается определением доли систематической вариации в шкале. Это осуществляется установлением связи между оценками, полученными при использовании различных методик расчета. Если связь достаточно сильна, шкала дает согласующиеся и, следовательно, достаточно надежные результаты. К методам оценки надежности относятся повторное тестирование, метод альтернативных форм и внутренней согласованности.

Повторное тестирование надежности. При повторном тестировании надежности (test-retest reliability) опрос респондентов проводится дважды с помощью двух идентичных шкал и при как можно более сходных условиях. Интервал между тестированиями обычно составляет от двух до четырех недель. Степень схожести результатов двух измерений определяется коэффициентом корреляции (подробности — в главе 17). Чем выше коэффициент корреляции, тем выше надежность.

С определением надежности при применении метода повторного тестирования связано несколько проблем. Во-первых, данный метод сильно зависит от промежутка времени между тестированиями. При прочих равных условиях, чем дольше интервал, тем ниже надежность. Во-вторых, первоначальное измерение может изменить рассматриваемые характеристики. Например, измерение отношений респондентов к молоку с низкой жирностью может заставить опрашиваемых задуматься о его полезности для здоровья и в результате привести к повышению оценки данного продукта. В-третьих, иногда невозможно провести повторное тестирование (например, при измерении первоначальной реакции на новый продукт). В-четвертых, первое измерение может иметь эффект автоматического переноса высказанного мнения на второе и последующие измерения. В-пятых, измеряемые характеристики могут изменяться за промежуток времени между опросами. Например, благоприятная информация об объекте может улучшить отношение к объекту. Наконец, коэффициент корреляции может быть завышен из-за автокорреляции отдельных пунктов шкалы.

Из-за перечисленных выше недостатков метод дпойного тестирования применяется в сочетании с другими подходами, одним из них которых является метод альтернативных форм.

Проверка надежности с помощью альтернативных форм. При проверке надежности с помощью альтернативных форм (alternative-forms reliability) составляются две эквивалентные по сути формы шкалы. Одни и те же респонденты опрашиваются дважды, обычно с перерывом от двух до четырех недель. Для проверки надежности рассчитывается корреляция между результатами по двум шкалам [30|.

С данным подходом связано две основные проблемы. Во-первых, составление двух шкал отнимает достаточно много времени и требует дополнительных финансовых ресурсов. Во-вторых, существуют сложности с составлением двух эквивалентных шкал. Формы должны быть эквивалентны по содержанию. В строгом смысле это означает, что альтернативные шкалы должны иметь одинаковые средние, вариации и внутренними корреляциями. Даже при соблюдении этих двух условий формы не всегда эквивалентны по содержанию. Таким образом низкий коэффициент корреляции будет свидетельствовать либо о ненадежности шкалы, либо о неэквивалентности форм.

Проверка надежности через тестирование внутренней согласованности. Для проверки надежности итоговой шкалы, в которой результаты по отдельным пунктам суммируются для получения общего балла, применяется проверка надежности через тестирование внутренней согласованности (internal consistency reliability!. В подобных шкалах отдельные пункты измеряют какой-либо аспект конструкции, рассматриваемой с помощью всей шкалы, поэтому результаты по пунктам должны согласовываться между собой. Данная методика проверки согласованности фокусируется на внутренней согласованности набора пунктов, составляющих шкалу.

Наиболее простой способ измерения внутренней согласованности — это проверка надежности делением данных на половины (split-halfreliability). Пункты шкалы разделяются на две половины и затем рассчитывается корреляция между ними. Высокое значение корреляции между половинами свидетельствует о высокой внутренней согласован ности. Пункты шкалы разбиваются на две части в зависимости от четности, нечетности или случайным образом. Проблема в. том, что результаты будут зависеть от выбора способа разбивки. Популярное решение этой проблемы — расчет коэффициента "альфа".

Коэффициент "альфа" (coefficient alpha), или альфа Кронбаха (Cronbachs alpha) является средним из всех возможных половинных коэффициентов при различных делениях шкалы. Коэффициент принимает значения от 0 до 1, при значении коэффициента 0,6 и меньше внутренняя согласованность неудовлетворительная. Важное свойство коэффициента "альфа" — это увеличение его значения при увеличении количества пунктов шкалы. Таким образом, коэффициент может быть искусственно завышен за счет чрезмерно большого количества пунктов. Коэффициент "альфа" дополняет коэффициент "бета", который оценивает наличие несогласованных пунктов в процессе усреднения с помощью коэффициента альфа.

Некоторые многомерные шкалы включают несколько наборов пунктов для измерения различных аспектов многомерной конструкции. Например, имидж магазина является многомерной конструкцией, включающей качество товаров, разнообразие и ассортимент продукции, политику возврата и урегулирования конфликтов, торговое обслуживание, цены, удобство расположения, внешний вид магазина, политику оплаты и продажи в рассрочку. Следовательно, шкала, разработанная для оценки имиджа магазина, включает пункты для измерения каждого из этих показателей. Поскольку измеряемые показатели в некоторой степени не зависят один от другого, расчет внутренней согласованности даст недостоверные результаты. Если же для измерения одного показателя используется несколько пунктов, возможен расчет коэффициента согласованности для отдельного показателя, как в случае с совокупностью эмоциональных критериев Бюмонта (Beaumont emotion batiery).

Достоверность

Достоверность (validity) шкалы можно определить как степень, в которой различия между оценками, полученными по шкале, отражают истинные различия между измеряемыми характеристиками объектов, а не обусловлены случайными и систематическими ошибками. Полная достоверность предусматривает отсутствие ошибок измерения (Х,,=ХТ, XR = О, Xs— 0). Исследователи оценивают содержательную достоверность, критериальную и конструкционную.

Содержательная достоверность. Содержательная достоверность (content validity), иногда называемая лицевой достоверностью (face validity), субъективная систематическая оценка того, насколько хорошо содержание шкалы соответствует поставленной цели измерения. Исследователь, или кто-либо еше, проверяет, насколько пункты шкалы адекватно покрывают всю область измерений. Таким образом, шкала, разработанная для измерения имиджа магазина, считается неадекватной, если будет опущена одна из существенных характеристик объекта (качество, разнообразие, ассортимент предлагаемой продукции). Учитывая субъективную природу данного показателя, оценки содержательной достоверности будет недостаточно при измерении достоверности шкалы, однако она помогает правильно интерпретировать полученные результаты. Более того, формальную оценку можно получить с помощью проверки достоверности критерия.

Критериальная достоверность. Критериальная достоверность (criterion validity) отражает, насколько используемая шкала соответствуют выбранным значимым критериальным переменным. Последние могут включать демографические и психологические характеристики, измерения отношений и поведений, оценки, полученные на основании использования других шкал. В зависимости от временных рамок критериальная достоверность может принимать две формы — текущую или прогнозную достоверность.

Текущая достоверность определяется, когда данные, полученные на основе использования шкалы, и сведения о критериальных переменных собираются одновременно. Для оценки текущей достоверности разработаны краткие формы для определения характеристик личности,, как, например, совокупность критериев Бюмонта. Данные по исходным опросам и по кратким формам обрабатываются параллельно и затем сравниваются.

Для оценки прогнозной достоверности исследователь собирает данные оценок по шкале в один период времени, а по критериальным переменным — ii другой. Например, отношение к различным маркам сухих завтраков может использоваться для прогноза будущих объемов продаж сухих завтраков представителям сканернои панели. У членов панели получают информацию об их отношении к продукту, а затем их будущие закупки проверяются по данным исследования. Прогнозные и фактические данные по покупкам сравниваются для оценки прогнозной достоверности шкалы отношения.

Конструктивная достоверность. Конструктивная достоверность (construct validity) связана с ответом на вопрос, конструкцию или характеристику чего именно измеряет шкала. При оценке конструктивной достоверности исследователь попытается ответить на теоретические вопросы: почему должна использоваться эта шкала и какие выводы можно сделать из лежащей в ее основе теории. Таким образом, для оценки конструктивной достоверности необходима основательная теоретическая разработка сути конструкций и их соотношения с другими конструкциями. Конструктивная достоверность наиболее сложна в определении. Как показано на рис. 9.5, достоверность конструкции включает конвергенционную, дискриминантную и номологическую достоверности.

Конвергенционная (сходящаяся) достоверность (convergent validity) — степень, в которой шкала положительно коррелирует с другими измерителями той же конструкции. При этом не обязательно получить все значения с помощью методов обычного шкалирования. Дискриминантная достоверность (discriminant validity) показывает, насколько значения шкалы не коррелируют с другими конструкциями, от которых они предположительно отличаются. Это связано с уменьшением корреляции между различающимися конструкциями. Дискриминантную достоверность также иногда называют дифференцированной. Номологическая достоверность (nomological validity) определяется степенью корреляции значений конструкций, вытекающих из теории. Маркетологом формулируется теоретическая модель с последующими выводами и проверкой. В результате составляется номологическая сеть из нескольких систематически взаимосвязанных конструкций, Иллюстрация конструктивной достоверности приведена ниже в контексте оценки многомерной шкалы.

Примечательно, что высокий уровень надежности в этом примере приведен как доказательство конструкционной достоверности.

Взаимосвязь между надежностью и достоверностью

Механизм взаимосвязи между надежностью и достоверностью понятнее при рассмотрении его с помощью модели истинной оценки. Если измерение абсолютно достоверно, то оно одновременно абсолютно надежно. В этом случае Х„ = Хт, Хх = О, Xi = 0. Таким образом, достоверность подразумевает надежность. Если измерение ненадежно, оно не может быть достоверным, так как даже минимально Х№ = Хт + Хн. Кроме того, может быть систематическая ошибка, тогда Х$# 0. Ненадежность подразумевает недостоверность. Если измерение абсолютно надежно, оно может быть как достоверным, так и недостоверным из-за систематической ошибки {Хв= Хт + Хя). В то время как недостаток надежности отрицательно сказывается на достоверности, надежность не обязательно подразумевает достоверность. Надежность — необходимое, но недостаточное условие достоверности.

Обобщаемость

Обобщаемость (generalizability) отражает, насколько полученные в результате конкретного исследования данные можно перенести на генеральную совокупность. Набор всех используемых исследователем условий измерений, который маркетолог хочет применить ко всей генеральной совокупности, называется полным множеством обобщения. Эти условия включают категории, пункты, интервьюеров, способы наблюдения и т.д. Исследователь может обобщить шкалу, использованную при индивидуальном опросе, для использования в других моделях сбора данных, таких, например, как телефонные и почтовые опросы. Обобщаемость может также анализироваться с точки зрения перехода от выборки объектов к генеральной совокупности объектов, от выборки количества измерений к генеральной совокупности количества измерений, от выборки наблюдателей к генеральной совокупности наблюдателей И т.д..