<<
>>

3.2. Анализ качества анкеты

Социологическая анкета, помимо всего прочего, — это еще текст, изложенный по определенным грамматическим и стилистическим нормам. При его составлении ученого интересует не только язык, но и речь (по Соссюру), в том числе интерпретация вербального материала говорящим и слушающим.

Соответственно каждый вопрос представляет собой не только фрагмент или отрывок из анкетного текста, но также самостоятельную стилистическую конструкцию, подобно тому, как отдельный абзац научного или повествовательного текста представляет собой самостоятельное целое (в рамках существующей стилистической конструкции всего текста), подчиняющееся собственным жанровым законам (зачин, интрига, заключение).

Анкета существует на узком пространстве между исследователем и респондентом, тем, кто задает вопросы, и теми, кто на них отвечает. Как средство научного измерения и канал общения социологическая анкета должна в точности выполнять предписанные ей функции, обладая высокой надежностью и качеством. Качество социологической анкеты определяется рядом факторов, в том числе тем, как мудро, проницательно и умело сформулировал ее позиции разработчик, и тем, насколько адекватно его поняли респонденты.

345

К изучению того, как воспринимают респонденты анкетные вопросы, специалисты применяют разнообразные техники. Обычно практикуются следующие методы: экспертные оценки разработчиков анкеты; экспертные оценки интервьюеров; логический анализ анкеты; когнитивные методы анализа текста анкет6. При этом в основном тестируют лексическую или логическую правильность вопросов (например, сбалансированность закрытий), их семантическое соответствие теме исследования. Кроме того, специалисты обращают внимание на способы предъявления вопросов или карточек интервью, их понимание, проводят разграничение письменного текста вопросника и воспроизведения его отдельных элементов в устной речи и т.д.

Цель когнитивных методов — понять мыслительные процессы, управляющие ответами респондента при опросе, используя полученные знания для конструирования более эффективного опросного инструмента. Эмпирически удалось выяснить, что письменный вопрос и его произнесение — вслух анкетером (интервьюером) или мысленно респондентом — две разные вещи. Не существует даже такой объективной формы, как дословное произнесение текста. В большинстве случаев оно представляет собой лишь устойчивый миф, укоренившийся в среде разработчиков анкет. Социолог читает респонденту одним образом, сам респондент — другим. При этом тот и другой в разное время могут прочитать, а соответственно, и понять один и тот же текст по-разному в зависимости от своего настроения, эмоционального и физического самочувствия, форс-мажорных обстоятельств и т.д. В конечном итоге с помощью когнитивного анализа можно установить, что именно человек думает, отвечая на вопросы интервьюера. Здесь анкета трактуется не как бумажный документ с записанным текстом, а как коммуникативная среда, в которой взаимодействуют: 1) содержание, направленность и последовательность анкетных вопросов; 2) формулировка вопроса и многообразие его интерпретаций; 3) характеристики и условия ситуации опроса; 4) личность интервьюера и респондента. При когнитивном анализе используются два метода, направленных на уменьшение семантического многообразия слов и выражений: 1) улучшение формулировки вопроса и снятие неоднозначных понятий; 2) повышение качества ком-муникации между интервьюером и респондентом. По мнению Т. Димайо и Дж. Ротгеба, к первой группе относятся следую-346

щие техники: метод парафразы, метод артикулированного (проговоренного) суждения, метод оценки уверенности в ответах и метод пробных вопросов7. Вторая группа включает: метод когнитивного кодирования, метод экспертных оценок, семантическое кодирование вербального протокола, экспертное кодирование вербального протокола и метод временных характеристик8. При этом первую группу методов называют качественными, а вторую количественными.

Методы когнитивного интервью направлены на вовлечение респондента в процесс тестирования вопросника: от респондентов требуется артикулировать свои размышления по поводу вопроса и показать интервьюеру, как они понимают конкретный вопрос и формулируют на него ответ9. Метод парафразы заключается в том, что респондента просят изложить услышанный вопрос, попытаться задать его самостоятельно, используя собственные лексические конструкции. Метод оценки уверенности в ответе позволяет выявить трудности, связанные с формулированием ответа. Респондента просят оценить (например, по пятибалльной шкале) каждый ответ в зависимости от уверенности, с которой он был выбран. С помощью метода артикулированного суждения можно установить, что говорит респондент о причинах выбора определенного варианта ответа. Для этого его либо просят проговаривать все мысли, которые приходят ему в голову при ответе на вопрос, либо ответить на дополнительные вопросы типа «почему»10.

Предложенная Д.М. Рогозиным" четырехшаговая схема анализа когнитивного перехода (рис. 3.1) вскрывает лингвистичес-

347

кие ресурсы (знания и речевые навыки), которые использует респондент при ответе на анкетный вопрос. Различная когнитивная компетентность, которой обладают разные люди, заставляет их по-разному отвечать на прозвучавший вопрос. Но не только она влияет на качество получаемой информации. Не меньшее значение имеют экстралингвистические факторы, в том числе молчание, кивки, ухмылка, движения руками, покачивание головой интервьюера.

Программный вопрос

Анкетный вопрос

Прозвучавший вопрос

Услышанный вопрос

Ответ на вопрос

1 — Операционный переход

Трансформация исследовательских концептов в систему референтов. Адекватность целей исследования полученным переменным.

2 — Интерпретативный переход

Семантическая компетентность интервьюера, влияние респондента и методического аппарата исследования.

3 — Коммуникативный переход

Процесс коммуникации, определяемый когнитивными картами интервьюера и респондента; распознавание и смещение значений.

4 — Когнитивный переход

Когнитивные процессы у респондента: понимание, поиск информации, суждение, формулирование ответа.

РИС. 3.1. Транзитивная схема опроса

На первом шаге респондент интерпретирует вопрос, встраивая его в привычные для себя семантические рамки. На втором — вспоминает соответствующие ответу события, действия или высказывания. При этом респондент может обращаться к эпизодам, связанным с его собственным опытом, или ссылаться на мнения или действия других людей. На третьем шаге осуществляется интеграция вспомнившихся событий, их сопоставление между собой и установление некоторой логической структуры изложения. Как правило, в обыденной жизни респондент не задумывается над вопросами, которые интересуют исследователя, поэтому на третьем шаге он вынужден формировать собственное суждение, исходя из мобилизованных к данному моменту ресурсов. На четвертом шаге при закрытом вопросе респондент выбирает адекватный собственному суждению ответ из предложенных альтернатив, при открытом вопросе — пы-348

тается артикулировать самостоятельно выработанное суждение, используя собственный семантический словарь и навыки построения связной речи12.

Для проверки предложенной схемы в рабочих условиях Д.М. Рогозин провел в 2000 г. методический эксперимент. Цель исследования — определение характера смещений в формулировке воп-роса на каждом трансформационном переходе (интерпретативном, операциональном, коммуникативном и когнитивном). Тестировался опросный инструмент для изучения политических установок, содержащий четыре типа вопросов: закрытые вопросы с по-рядковой шкалой, псевдооткрытые вопросы с номинальной шкалой, открытые вопросы, альтернативные вопросы с порядковой шкалой13. В лабораторных условиях было проведено 42 стандартизованных интервью. Состав экспериментальной группы был выровнен по полу и образованию. В выборку попали люди в возрасте от 23 до 64 лет. Экспертным методом оценивалась речевая компетентность (грамотное построение предложений, логическая завершенность фраз, корректное использование понятий) каждо-го респондента: 42,9% респондентов были отнесены к классу с высокой речевой компетентностью, 45,2% — с низкой, в 11,9% случаев речевая компетентность не установлена.

Опрос проводили подготовленные интервьюеры с примерно одинаковым уровнем квалификации в течение 5 дней. Средняя длительность интервью составила 10 минут. Для регистрации поведения интервьюеров и респондентов использовалось аудио- и видеозаписывающее оборудование.

С помощью факторного анализа была проведена группировка переменных, описывающих изменение текста анкетного вопроса. В результате были выделены два фактора, которые объяснили 63,4% разброса признаков.

Вербальное поведение интервьюера при коммуникативном переходе описывается Д.М. Рогозиным пятью переменными: стимулирование, повторение, уточнение, прерывание и поддержка ответа. Рассматривая эту группу переменных, он выделил два латентных признака, характеризующих стратегии проведения опроса, которые использует интервьюер: давление на респондента и поддержка респондента (см. рис. 3.2; табл. 3.1). Первая компонента показала сильную взаимосвязь таких переменных, как перестановка слов в вопросе, добавление незначимых слов, пропуск и замена слов.

12

349

Таблица 3.1

Факторы вербального поведения интервьюера

(факторные нагрузки получены методом Varimax после вращения,

объясняется 52% дисперсии) Исходные переменные Компонента

Давление Поддержка Стимулирование ответа 0,697 0,209 Повторение ответа 0,705 -0,181 Уточнение ответа 0,646 0,262 Прерывание ответа 0,200 0,578 Поддержка ответа -0,004 0,830 Поддержка ! ! ! Нейтральная стратегия Давление min

Стимулирование ответа Уточнение ответа

Рис. 3.2. Коммуникативные стратегии интервьюера: давление и поддержка

Как было установлено, прерывание вопроса свидетельствует о том, что респондент еще до завершения вопроса сформулировал суждение, которое может быть ответом, а может представлять собой и уточняющий вопрос. Респондент как бы показывает, что для него вопрос абсолютно понятен и не требует дальнейшего развертывания.

Повторение респондентом отдельных смысловых единиц вопроса позволяет интервьюеру скорректировать вопрос и внести в него необходимые уточнения.

Задавая второй или третий раз видоизмененный вопрос, интервьюер будет надеяться получить более адекватный ответ. Подобная стратегия неотвратимо приводит к увеличению совокупного текста ответа. Однако любое увеличе-

ние артикулированного текста ответа будет приводить к снижению его адекватности семантическому заданию вопроса (рис. 3.3).

Повторение респондентом вопроса является отправной точкой для обсуждения самого вопроса, внесения в него необходимых уточнений и как следствие отклонения от семантического задания вопроса и производства фалыпответа. Так, наибольшая доля повторений встречается в тех случаях, когда респондент испытывает колебания, изменяет ответ или затрудняется выбрать из предложенных альтернатив. Повторение отдельных семантических единиц вопроса приводит к созданию другой версии вопроса.

Переменная «уточнение вопроса» не имеет статистически значимой связи с образованием и речевой компетентностью респондентов. Это позволяет предположить, что основной причиной уточнения вопроса являются затруднения с его формулировкой и способом представления. Переспрашивание вопроса свидетельствует о том, что респондент не смог преодолеть первый шаг когнитивного перехода. Он не стал создавать фальшвопрос, а решил обратиться за поддержкой к интервьюеру. Это может потребовать от интервьюера либо повторения вопроса, либо его уточнения. Если при возникновении вопроса у респондента интервьюер начинает уточнять анкетный вопрос, пытается прокомментировать отдельные понятия, он невольно преобразует стандартизированное интервью в беседу, которая отличается от обычного разговора лишь заданным извне фокусом.

351

<< | >>
Источник: В.И. Добреньков, А.И. Кравченко. МЕТОДЫ СОЦИОЛОГИЧЕСКОГО ИССЛЕДОВАНИЯ. 2004

Еще по теме 3.2. Анализ качества анкеты:

  1. Глава 3. ФОРМУЛИРОВКА ВОПРОСОВ И КАЧЕСТВО АНКЕТЫ
  2. Глава 4. Драматургия анкеты
  3. АНКЕТА
  4. Графическое оформление анкеты
  5. Глава 1. Программа и анкета
  6. Глава 6. Пилотаж анкеты
  7. Раздел II СОЦИОЛОГИЧЕСКАЯ АНКЕТА
  8. 2.7. Разработка анкеты
  9. Несколько слов об отношении к анкете
  10. Глава 5. Техническое оформление анкеты
  11. Объем анкеты.
  12. Анонимность анкеты.