<<
>>

3.3. Логический контроль анкеты

«Кабинетный вариант» анкеты всегда нуждается в контрольной проверке на соответствие его методическим критериям самыми разными способами. Часть вопросов доступна логическому контролю на уровне экспертных оценок, а другие вопросы требуют эмпирической, экспериментальной проверки в специализированном пробном исследовании.

Как правило, логический анализ и пробное исследование образуют две последовательные процедуры. Их цель — оценить качество разработанной методики опроса.

Логический контроль анкеты, позволяющий проверить ее на соответствие научным критериям качества, проводится в самом конце — по окончании компоновки анкеты.

Логический контроль — это соотнесение каждого вопроса анкеты, ее композиции и организационных решений по проведению опроса со списком нормативных требований. Он проводится либо самим автором, либо членами специальной экспертной комиссии (совета).

Правильно организованный логический контроль строится по двум осям декартовой системы координат (рис. 3.4).

Ось ОХ можно назвать параметром «часть-целое».

Она представляет собой контроль правильности формулировки вопросов и правильность компоновки всей анкеты, ее композиции.

Ось ОУможно назвать параметром «логическое-психологическое». Она представляет собой контроль соответствия каждого воп-роса логическим и психологическим критериями.

6

354

12. Не является ли вопрос «острым» для респондентов, связанным с социальным или психологическим «табу»? Не задевает ли он самолюбие респондента, интимные стороны его жизни?

13. Соответствует ли смысл вопроса и его содержание компетентности и информированности опрашиваемых, уровню их обыденных представлений, житейской практики?

14. Является ли вопрос достаточным для получения необхо-димой информации? Не нужно ли добавить контрольные вопро-сы на искренность и логическую непротиворечивость?

Перечень такого рода вопросов — своеобразный методический «тест», обеспечивающий контроль качества каждого воп-роса.

Технически он осуществляется так. Первый вариант: в тексте анкеты рядом с каждым вопросом записываются номе-ра тех критериев (или их сокращенные обозначения), по которым данный вопрос получил замечание. Второй вариант: рядом с каждым критерием выписываются номера вопросов, получивших замечания по данному критерию. Результатом такого анализа будет комплексная оценка каждого вопроса по всем названным критериям. Вся совокупность вопросов раз-делится на три группы в зависимости от возможности их до-работки. Первая группа — вопросы, признанные пригодными для использования в опросе без дальнейшей проверки и дора-ботки. К ним относятся не получившие замечаний и те воп-росы, где замечания доступны редактуре без эксперименталь-ной проверки. Вторая группа — вопросы, либо получившие небольшое количество замечаний, либо имеющие грубые ло-гические и методические просчеты и признанные непригод-ными к использованию. Они подлежат выбраковке. Третья группа — вопросы, нуждающиеся в экспериментальной или зондажной проверке в пробном исследовании. По поводу каж-дого (или большинства) из них необходимо знать, какие их методические характеристики будут проверяться в пробном исследовании. В зависимости от этого ставятся конкретные задачи и процедуры для пробного исследования. Приведем здесь несколько таких ситуаций.

1. Существует опасение, что некоторые слова непонятны. В пробном исследовании проводится тестирование pecпондентов по списку этих слов. Если потенциально непонятных слов мало, то их содержание проверяется дополнительными вопросами в ус-тной форме во время пробного исследования. Кроме того, по-нимание языка анкеты контролируется также методом наблюде-ния во время пробного опроса, когда анкетер фиксирует все слу-чаи непонимания прямо в анкете вместе с вопросами.

355

2. Проверяется соответствие вариантов ответов в закрытом вопросе языку и системе представлений опрашиваемых, уровню их информированности. В пробном исследовании «подозреваемые» вопросы задаются в открытой форме, а затем полученные ответы сравниваются с «кабинетными» вариантами и производится доработка.

При этом проверку нельзя заменить использованием «по-лузакрытой» формы вопроса. Среди социологов распространено мнение, что «кабинетный» вариант вопросов не нуждается в апробации, если к нему добавить вариант «другое мнение». Неявно предполагается, что все недостающие варианты допишет респондент. Однако практика показывает, что дополнений бывает очень мало. Респонденты подбирают варианты из предложенного списка даже в тех случаях, когда последний не соответствует их личному мнению.

3. Существует сомнение по поводу формы вопроса: ставить ли его в открытой или закрытой форме, какую выбрать шкалу (трех-, пяти-, семичленную), сделать ли вопрос в виде теста на незавершенное предложение либо в виде картотеки? В таком случае, после логического обоснования формы вопроса, надо провести экспериментальную проверку отобранных вариантов, сравнить результаты и выбрать наиболее пригодный.

4. Возникли сомнения в однозначности восприятия смысла вопроса. Здесь надо заранее продумать, какой (какие) дополнительный вопрос следует задать респонденту, чтобы проверить понимание смысла вопроса и ответа. Обычно достаточно попросить респондента прокомментировать или пояснить свой ответ.

Результатом логического контроля анкеты выступает совокуп-ная оценка ее качества, характеризуемая числом полученных замечаний. Те вопросы анкеты, которые содержат очевидные методические просчеты, заменяются другими, имеющими методическое решение. Весь описанный процесс предваряет разработку задач пилотажного исследования.

Окончательный вердикт качеству всей анкеты выносит пилотажное (пробное) исследование. Оно вскрывает все недочеты анкеты и особенно в составлении вопросов. Один из верных показателей непригодности вопроса — большая доля не ответивших или затруднившихся ответить на него. Значение данного показателя интерпретируется в зависимости от познавательной задачи вопроса. Если изучается распространенное явление, о котором Должны знать все или подавляющее большинство людей, а доля затруднившихся ответить высока, то это свидетельство методической погрешности в составлении вопроса.

А если измеряется информированность опрашиваемых о достаточно редком явлении и 356

357

доля не ответивших или затруднившихся ответить высока, то вполне можно заключить, что вопрос соответствует поставленной задаче.

Логические требования к разработке вопросов дополняются комплексом требований социально-психологического характера, которые учитывают такие особенности опрашиваемых, как их информированность, специфика жизненной ситуации, память, навыки самоанализа, умение устно и письменно характеризовать свои мысли, чувства, отношение к опросу и желание сообщить необходимую социологу информацию16.

Следует отметить, что логические и социально-психологические ошибки чаще всего сопутствуют друг другу. Например, ошибки, связанные с превышением информированности респондентов о предмете опроса, как правило, встречаются в вопросах, где нечетко определена познавательная задача. В них, кроме того, встречаются и научно-теоретические понятия, которые нуждаются в эмпирической интерпретации, вследствие чего нарушается требование соответствия языку опрашиваемых. Пример* такого вопроса: «Знаете ли Вы, как фактически изменились технико-экономические показатели Вашей деятельности за после-дние 12 месяцев?» Знаю точно Знаю приблизительно Не знаю 1. Производительность труда(в натуральных стоимостных показателях) 2. Фондоотдача (в рублях) 3. Выпуск продукции высшего качества Подобный вопрос имеет усложненную логическую структуру. Фактически это блок из трех вопросов, каждый из которых имеет свой предмет (производительность труда, фондоотдача, качество продукции), по поводу которого требуется получить мнение рес-пондента. Самооценка фиксируется по трехчленной шкале, причем в обобщенном виде (за последние 12 месяцев). Зрительно формулировка логического задания респонденту кажется как бы

разорванной. Чтобы получить целостное впечатление, респонденту приходится трижды «воссоединять» вводную часть вопроса со второй ее частью. Например: «Знаете ли Вы, как фактически изменилась производительность Вашего труда (в натуральных стоимо-стных показателях) за последние 12 месяцев?»; «Знаете ли Вы, как фактически изменилась фоноотдача?..» и т.д.

Табличная конструкция вопроса сильно усложняет восприятие его смысла и, следовательно, ответ на него. Она употребляется чаще всего при интервьюировании. Для обученного интервьюера не представляет труда воспроизвести табличную конструкцию в виде трех самостоятельных вопросов (он устно повторяет их), а ответы зафиксировать в таблице. Это существенно экономит затраты бумаги на тиражирование анкет. Однако при анкетировании подобный прием (несмотря на его всеобщую распространенность) увеличивает число ошибок и ведет к формальным ответам.

Табличный вопрос — типичный пример некритического переноса научной терминологии в язык анкеты. Чтобы это не случилось, надо использовать речевые эквиваленты для технических терминов типа «натуральные стоимостные показатели», «фондоотдача», «деятельность» и т.п. В терминах научного языка ставится только исследовательская задача, но не анкетный вопрос.

Понимание языка анкеты проверяется пробным исследованием с помощью постановки открытых вопросов и тестов на информи-рованность. Поскольку респондент должен самостоятельно формулировать ответы, то сразу обнаруживается непонимание им смысла вопроса или отдельных слов. Тогда респондент задает вторичные уточняющие вопросы либо просит разъяснить смысл вопросов. Тесты на информированность состоят из списков слов, которые могут быть непоняты опрашиваемыми. Респондентов просят в письменной или устной форме объяснить значение этих слов.

Полученные ответы разбиваются на три группы: совершенно правильные, частично правильные, совсем неправильные. Критерием оценки правильности ответа служит определение слова, данное в толковом словаре. Полученные оценки владения респондентами исследуемым списком терминов служат основанием для их использования или замены.

Следует отметить, что универсальных рецептов по разработке словаря анкет не существует. В каждой исследовательской ситуации социолог заново определяет соответствие разработанного инструментария социально-психологическим требованиям.

Одним из требований к формулировке вопросов выступает учет нормативных представлений респондента о «запретных» темах 358

(социологические и психологические «табу»). Нарушение приводит к тому, что на такие вопросы многие не отвечают либо дают недостоверную информацию. Это могут быть вопросы о социально неодобряемом поведении (нарушениях дисциплины, плохом качестве работы, употреблении спиртных напитков, конфликтах на работе или в семье), вопросы об интимных сторонах личной жизни, вопросы, связанные с нарушением положительной самооценки человека или необходимостью давать негативные оценки близким людям.

Выявляются «табу»-вопросы в пробном исследовании. В исследовании образа жизни было установлено, что вопрос о жизненных планах на ближайшее пятилетие, нейтральный для молодежи и лиц среднего возраста, оказался острым для людей преклонного возраста и с плохим здоровьем17.

<< | >>
Источник: В.И. Добреньков, А.И. Кравченко. МЕТОДЫ СОЦИОЛОГИЧЕСКОГО ИССЛЕДОВАНИЯ. 2004

Еще по теме 3.3. Логический контроль анкеты:

  1. СУЩНОСТЬ КОНТРОЛЯ. ПЕДАГОГИЧЕСКИЕ ТРЕБОВАНИЯ К КОНТРОЛЮ. ВИДЫ КОНТРОЛЯ
  2. Логическая последовательность вопросов
  3. Логические ошибки вопроса
  4. По единому логическому основанию
  5. Логическое ударение
  6. МЫШЛЕНИЕ СЛОВЕСНО-ЛОГИЧЕСКОЕ
  7. 3.2.4. Логический анализ основных понятий
  8. 1.3. Логическая структура вопроса
  9. 3.9. Логические ошибки
  10. Ответ на вопрос - это всегда восприятие его содержания в некотором логическом контексте рассуждений респондента.
  11. Словесно-логическая память
  12. Схема логических уровней
  13. Интуитивно-логический темперамент(ИТ)