4.2. Хорошие и устойчивые вопросы

Хорошим вопросом принято считать такой, формулировка которого значимо не влияет на распределение ответов при сохранении списка (но не порядка) альтернатив. Методические эксперименты указывают на значительные отклонения, которые могут появиться в связи с изменением формулировки.

Первый вариант: «Считаете ли Вы, что на предприятии все рабочие должны быть членами профсоюза?»

Второй вариант: «Считаете ли Вы, что на предприятии все рабочие должны быть членами профсоюза или каждый в отдельности должен решить, хочет ли он быть членом профсоюза или нет?»

На первый взгляд между ними нет принципиальных различий, поскольку спрашивают о профсоюзе как основном институте защиты прав трудящихся. Однако в первом случае подчеркивается факт 366

367

коллективного участия в профсоюзной борьбе, отлынить от которого либо нельзя, либо неудобно. Любой рабочий, находящийся в поле классового противостояния и солидарно действующий с другими рабочими, никогда не пойдет против профсоюзов, даже если не согласен с его политикой или руководством.

Однако во втором случае респонденту предоставляется возможность поразмышлять. Коллективной солидарности и классовой сплоченности противопоставлена другая, не менее сильная ценность — американская свобода выбора и высоко ценящийся индивидуализм. Профсоюз как коллективный выразитель солидарной воли пролетариата противопоставлен общенациональному менталитету, и не известно, кто окажется в выигрыше.

Таким образом, изменение формулировки одного и того же вопроса, приводящее к разным, а в данном случае противоположным результатам, свидетельствует о том, что перед нами анкетный вопрос, который нельзя считать хорошим с методической точки зрения.

Смещения в ответах наблюдаются и в других вопросах. Допустим, одну и ту же переменную «занятость в общественном производстве» мы конкретизировали двумя разными путями.

Первый вариант: «Предпочли бы Вы иметь работу, если бы это было возможным?»

Второй вариант: «Предпочли бы Вы иметь работу или Вы предпочитаете заниматься своим домашним хозяйством?»

Как и в рассмотренном выше примере, второй вариант форму-лировки вопроса содержит свободу выбора: респонденту предлагают наняться на постоянную работу или заниматься своим домашним хозяйством. Оказалось, что, когда в анкету ввели вторую формулировку, распределение ответов изменилось на 50%. Такое смещение надо считать весьма значительным. Выявились и другие, не менее любопытные подробности. Появление второй формулировки снизило число выборов «затрудняюсь ответить» с 36 до 6%4.

Видимо, многие, предпочитавшие не наемный труд, а занятость в домашнем хозяйстве, укрылись в рубрике «затрудняюсь ответить» потому, что в первом варианте они не увидели желанной для себя альтернативы, связанной с домашним хозяйством. Правомерно ли говорить о статистической валидности социологических данных, когда появляются такие смещения?

Методические исследования, проведенные американскими социологами, выявили ряд тенденций, связанных с формулировкой и формой представления анкетного вопроса. В одном из экспериментов изучалось влияние на распределение ответов порядка расположения альтернатив в вопросе-меню. Что произойдет, если, скажем, альтернативу переместить из начала в конец списка?

Всякий раз чаще выбиралась та альтернатива, которая стояла в верхней части или возглавляла список.

В результате середина списка как бы проваливалась. Она была наименее заметной, можно сказать, теневой зоной списка альтернатив. В итоге наблюдалось стремление респондентов к выбору альтернатив, находящихся на крайних позициях с некоторым преимуществом верхней позиции. Назовем подобный эффект поляризацией ответов со смещенным верхом.

В знаменитом опросе общественного мнения «Правда-76» (рук. Б.А. Грушин) провели любопытный эксперимент: на двух равных выборках в пяти вопросах давали респондентам два типа шкал — прямая и обратная. Порядок альтернатив в них менялся на противоположный, но это было заметно профессионалу и почти неприметно простому человеку. Прямой порядок альтернатив Обратный порядок альтернатив очень удовлетворен очень неудовлетворен удовлетворен неудовлетворен неудовлетворен удовлетворен очень не удовлетворен очень удовлетворен Что же обнаружили советские социологи? Во-первых, во всех пяти вопросах при прямой шкале процент не ответивших, хотя и незначительно, был ниже, чем при обратной шкале. По всей видимости, прямая шкала воспринималась как более естественная и привычная, процент активности респондентов здесь был выше. Во-вторых, при сравнении двух шкал оказалось, что высказыва-368

ния, стоящие на крайних верхних позициях, т.е. «очень удовлетворен» и «очень не удовлетворен»,набирают большее число ответивших, чем когда они стояли внизу. Таким образом, в шкальных вопросах действовал «эффект начала», существовавший в вопросах-меню.

А вот еще один поразительный пример. В нем ученые сравнили две почти одинаковые по сути формулировки анкетного вопроса. Они различались, во-первых, длиной, во-вторых, повторением в самой формулировке того, что говорилось в одном из приданных ему закрытиях. Сравним и мы:

Первый вариант: «Считаете ли Вы, что большинство компаний, которые увольняют рабочих в период спада, могли бы организовать что-то для избежания увольнения и предоставления рабочим стабильной работы?»

63% ответили, что компании могли бы избежать увольнения;

28% сказали, что не могли бы;

15% не имели определенного мнения.

Второй вариант: «Считаете ли Вы, что большинство компаний, которые увольняют рабочих в период спада, могли бы организовать что-то для избежания увольнения и предоставления рабочим стабильной работы, или Вы считаете, что увольнения неизбежны?»

35% сказали, что компании могли бы избежать увольнений;

41% сказали, что увольнения неизбежны;

24% не сделали выбора.

Отличие второго варианта от первого выделено курсивом. Вроде бы оно незначительно, всего лишь одна фраза: или Вы считаете, что увольнения неизбежны?

Но как изменилась статистика ответов! Вербализация противоположной точки зрения снизила результат утвердительной части вопроса на 28%5.

Кажется, излишним дублировать в постановочной части анкетного вопроса тот текст, который содержится в списке альтернатив к нему. Но так ли это на самом деле, показал упомянутый методический эксперимент. Его мораль такова: если разработчик анкеты в формулировке вопроса называет все точки зрения (позиции, мнения, ценности и т.п.), то их, не пропуская ни одной, следует продублировать в списке закрытий. Список альтернатив должен быть исчерпывающим, если мы хотим закрыть все имеющиеся возможности для ответа и тем самым сбалансировать вопрос.

369

Выше говорилось о том, что признавать хорошим вопросом. Напомним, речь шла о списке альтернатив. Порядок следования альтернатив в списке характеризует другой критерий —устойчивости.

Устойчивым вопросом является тот, в котором перемена альтернатив не оказывает значительного влияния. Если перемена альтернатив дает достаточно большой сдвиг, то вопрос считают неустойчивым. Незначительным признан сдвиг в 1—3%. К примеру, если порядок следования альтернатив значительно изменен или даже перевернут, а статистика ответов на него изменилась лишь на 2%, то вопрос считается устойчивым.

Колебание разницы в ответах от 4 до 8% признается статистически значимым, а соответствующие вопросы неустойчивыми.

Методисты уверяют, что формулировка вопроса влияет на статистику ответов максимальным образом именно тогда, когда у респондентов не сформировалось устойчивого мнения о предмете разговора.

Наибольшая длина хорошо уравновешенного или устойчивого вопроса составляет 26 слов, в то время как наименьшая — только 11 слов. Напротив, длина неустойчивых, несбалансированных вопросов варьируется в пределах от 21 до 46 слов. В среднем несбалансированные вопросы в полтора раза длиннее устойчивых: 31 слово к 22. Если считать только слова, используемые в альтер-нативах, исключая вводную часть или установочные фразы, то и в этом случае указанная пропорция сохраняется. Альтернативные суждения в неустойчивых вопросах в полтора раза длиннее, чем в устойчивых. Таким образом, один из главных элементов устойчивости вопроса заключается в его краткости.

Неустойчивые вопросы не только длиннее устойчивых, но содержат грамматически более сложные слова. Отсюда вытекает практический совет социологу: формулируй свои мысли не только кратко, но и просто, иначе проиграешь в качестве получаемой информации.

Новый подъем интереса к внутрипрофессиональным делам социологов наблюдался в 1960—70-е гг., когда в США происходило активное обсуждение таких аспектов, как методические особенности использования открытых и закрытых вопросов, влияние альтернатив, порядка их расположения, отсутствия градации «нет ответа» на распределение ответов респондентов и др. из крупных исследовательских центров, которые могут финансировать специальные обследования на достаточно больших выборках (от 1,5 до 2,5 тыс. респондентов), стали появляться многочисленные публикации, обобщающие методический опыт, проекты, наработки. Ученые в таких центрах проводят как специализированные методичес-370

кие эксперименты, «обкатывая» формулировки вопросов из своей, исследовательской копилке, так и вторичный анализ данных, в которых использовались сходные формулировки вопросов.

Большая работа была проделана университетами Мичигана и Северной Каролины. Исследование проводилось дважды — в январе и апреле 1979 г. Было выбрано два вопроса, показавших в 1940-х гг. наиболее значимые различия в ответах. Теперь уже был зафиксирован эффект конца списка.

В СССР и в России интерес к методической культуре анкетирования был, но не было денег на проведение массовых экспериментов, призванных совершенствовать исследовательский инструментарий. Крупные исследовательские центры, работающие с большими выборками, например ВЦИОМ и ФОМ, могли бы проводить серьезные методические эксперименты, но не проводят. Большинство анкетных вопросов используются ими по многу лет, поскольку они не давали серьезных сбоев; таким образом, сам по себе стаж служит критерием надежности вопроса. Кроме того, частая смена формулировок могла и повредить ученым: вопросы-ветераны, обкатываемые во всех исследованиях, вносят единообразие и позволяют сравнивать данные исследований разных периодов. Зачастую критерием адекватности вопроса (созданного в середине 90-х гг.) остается только доля затруднившихся ответить, и если она невелика (порядка 15-20%), исследователи предпочитают не проводить специальных экспериментов и не менять формулировки. «Менее крупные исследовательские коллективы ориентируются на экономию средств заказчиков, которыми выступают организации, выдающие гранты, или отдельные фирмы. Из-за ограничения бюджета исследования возникают сложности с серьезной апробацией вопросника, которая зачастую не проводится вообще. В результате непилотированные вопросники содержат ошибки, количество которых не поддается исчислению. Некоторые из ошибок, обнаруживаемых даже при логическом анализе

371

вопросов, приводят к серьезным смещениям в полученных данных, хотя способов проверить коммуникативную адекватность и точность формулировки вопроса наработано достаточно много. При этом большинство из них затратны, требуют значительных материальных и временных ресурсов»7.