<<
>>

4.4. Ошибки анкетера и контроль поля

Социолога-эмпирика почти за каждым углом поджидают разочарования, непредвиденные затруднения, созданные им самим и возникшие не по его вине ошибки. Многие из них относятся к разряду «ошибки выборки».

Они рассматриваются в самостоятельном разделе. Здесь мы поговорим о других ошибках, а именно тех, которые связаны не с предварительным этапом, когда рассчитывается выборка, когда совершается, особенно неопытным социологом, масса ошибок, а с проведением самого поля, т.е. полевого исследования. Оно начинается с инструктажа анкетеров (интервьюеров), снабжения их анкетами и распределения анкетеров по объектам. Но самое интересное и непредсказуемое приключение начинается с того момента, когда анкетеры встречаются непосредственно с респондентами — по месту работы, отдыха, жительства.

Выявление ошибок, контроль за поведением анкетеров (интервьюеров) и коррекция допущенных ошибок получили название контроля поля. Ошибки, связанные с организацией и проведением поля, в дальнейшем будем называть ошибками поля.

Ошибки поля имеют следующие разновидности: 1) ошибки заполнения анкеты; 2) ошибки сбора данных; 3) ошибки обра-щения с полученными данными; 4) ошибки анализа собранных данных; 5) ошибки интерпретации полученных результатов. Кроме того, существуют ошибки, обусловленные нечетким выявлением проблем, использованием неоднозначных терминов и т.п. Ошибки поля можно разделить на две большие группы: а) ошибки анкетеров (интервьюеров) и б) ошибки респондентов. Кроме 376

371

опрос в данной выборочной совокупности с помощью других анкетеров. Но это в идеале, а на практике — дефицит времени, ма-териальных и людских ресурсов. Кроме того, если одних и тех же людей опросят другие анкетеры, то это не значит, что они дадут те же ответы. Они могут быть другими. Но кто виной тому — более тактичный интервьюер или изменившееся отношение к опросу самих респондентов?

В принципе эту погрешность можно было бы уменьшить, увеличив число повторных посещений с трех до восьми-девяти, как делают западные социологи.

Однако это привело бы, во-первых, к значительному увеличению расходов на проведение полевых работ, а во-вторых, к увеличению сроков проведения поля, — справедливо полагают Е.В. Козеренко и С.Г. Новиков12.

Когда переспросить тех же респондентов другими анкетерами или устранить проблему при помощи повторных посещений нельзя, применяют вторую процедуру — перевзвешивание данных. Суть ее состоит в следующем: с помощью эмпирически найденных весов так скорректировать данные, чтобы влияние смещений снизить до оптимальных пределов. Величина смещения находится либо с помощью экспертного опроса, либо как отклонение средних значений в подвыборках от среднего значения по всему массиву13.

Жестких правил в данной области не существует, правила основаны на традициях, опыте и т.п., т.е. на неформальных подходах к определению того, какие анкеты пригодны для последующего анализа, а какие нет. Поэтому лучше ужесточить контроль за сбором данных, уменьшив таким образом проблемы предварительной оценки собранных данных.

Наиболее распространенная форма контроля качества работы интервьюера (анкетера) — выборочное повторное посещение респондентов. Контролеры-интервьюеры выясняют, состоялась ли беседа и с кем именно, спрашивают о содержании интервью и впе-чатлении, которое произвел интервьюер. По результатам контроля: поощряются или порицаются интервьюеры, осуществляется выбраковка ненадежных бланков интервью. Другим способом контро-ля может быть почтовая анкета, которая рассылается респондентам, участвовавшим в опросе. В такой анкете присутствуют вопросы, подобные тем, которые задают контролеры-интервьюеры.

Фирма «УЛТЕКС Сервис А.О.», проведшая в 1994 г. исследование в Москве и Московской области, Санкт-Петербурге и Ленинградской области, Туле, Владимире и Иваново (всего опрошен 1001 респондент), осуществляла контроль качества информации после проведения опроса, связываясь с 10% опрошенных по телефону и направляя им письма. Полученные опросные листы проверялись также на правильность заполнения.

Если судить по литературе, а также информации, доступной в Интернете, большинство компаний, занятых рекламой и маркетинговыми исследованиями, проводит не более чем 10%-ный контроль поля методом повторного посещения или телефонным звонком. Полный, т.е. 100%-ный, контроль практически невозможен, так как он существенно повышает стоимость полевых работ.

В компании ГфК МР минимальная начальная квота контроля — 20% интервью, но она может быть увеличена, если клиент готов платить. Контроль проводится повторными посещениями, по телефону и почте. Если в процессе интервью выявляется большое количество ошибок у одного и того же интервьюера, то проводится 100%-ная проверка его анкет. По результатам проверки составляется протокол, и нерадивые интервьюеры штрафуются в меру их нерадивости (до 100% штрафа). С ними компания расстается, а их фамилии заносятся в «черный список». Такая же схема применяется для региональных супервайзеров, но их штрафуют за суммарный процент ошибок в своем регионе14. По результатам работы за определенный период лучшие интервьюеры премируются. Центр бизнес-информации, социологических и маркетинговых исследований BISAM Central Asia, который ориентируется в своей деятельности на международные стандарты ESOMAR, проводит контроль как минимум 25% завершенных интервью по специально разработанным контрольным вопросам; осуществляет визуальный контроль 100% анкет; контроль ошибок ввода с помощью специальных программ.

В Аналитическом центре «Бизнес и маркетинг» после заверше-ния исследования проводится обязательная многоступенчатая проверка качества полевых работ. Первым шагом является ручная проверка полноты и качества информации, содержащейся в анкетах, а также выборочная проверка 3-4 анкет каждого интервьюера на наличие «галло-эффекта» (психологический эффект повторяемости ответов на похожие по форме вопросы). На этом этапе контроль осуществляют специально назначенные сотрудники полевого отдела, ответственные за данный проект. В этот момент

378

методом случайного отбора сотрудниками полевого отдела, не участвующими в проекте (это необходимо для обеспечения объективности), проводится телефонный контроль 10—25% опрошенных респондентов (процент варьируется в зависимости от размера выборки — при малых размерах есть возможность проконтролировать больший объем) на предмет соответствия социально-демографических характеристик респондента квотам (целевой группе)15.

На третьем этапе, который проводится параллельно со вторым, осуществляется сплошная компьютерная сверка данных на соответствие логике (валидность) и взаимоисключаемость ответов.

Осуществляют ее сотрудники отдела обработки. В случае если для опроса применялись методы CATI или CAPI(интервьюирование с использованием компьютерных технологий), часть работы по проверке на валидность проводится интервьюером уже на этапе проведения интервью. Заказчик может, при желании, принять непосредственное участие в проведении контроля исследования совместно со специалистами фирмы16.

Однако современные методы не всегда лучше тех, которые ис- пользовались нашими предшественниками 50 лет назад. 3 ноября 1951 г. Совет Министров СССР принял постановление об улучшении организации обследований бюджетов рабочих, служащих и колхозников. В постановлении отмечалось, что основной задачей ЦСУ СССР в области бюджетной статистики следует считать. разработку данных о бюджете квалифицированных и малоквали-фицированных рабочих по отраслям промышленности, тружеников совхозов и колхозов по производственным направлениям и экономическим районам. Метод контроля поля можно проследить лишь на одном регионе — Сибири. Здесь в 1950-е гг. бюджетны-ми наблюдениями, а это самый трудоемкий вид эмпирического исследования, было охвачено более 1 тыс. человек. Сбор бюджет-ной информации осуществляли специально подготовленные со-трудники статистических управлений. За каждым из них было. закреплено 20—25 рабочих семей, которые он посещал не менее двух раз в месяц. Обследуемые семьи вели вспомогательные за-писи, где ежедневно регистрировали все данные о доходах, рас- ходах и потреблении. Бюджетный бланк заполнялся статистиком путем опроса взрослых членов семей с учетом сделанных ими записей. Кроме того, использовался ряд документов: пенсионные книжки, квитанции об оплате жилплощади и коммунальных услуг, различные расчетные ведомости. Каждое предприятие, где

379

работали члены обследуемых семей, предоставляло статистическим органам сведения об их заработной плате, полученных премиях, пособиях, количестве отработанных дней и др. Правильность данных, вносимых статистиком в бюджетный бланк, не реже двух раз в квартал проверялась контролерами областных статистических управлений и инспекторами ЦСУ СССР17.

Американские специалисты по методике политологических исследований Дж. Мангейм и Р. Рич18 дают следующие советы. В случае почтового опроса каждая возвращенная анкета должна быть вскрыта, проверена на предмет правильности ее заполнения и подшита в общий комплект (файл). Каждой анкете должен быть придан серийный номер, так чтобы впоследствии можно было легко установить время ее возврата. Число анкет, поступивших за день, должно отмечаться в особом журнале, чтобы исследователь имел возможность следить за ходом возврата анкет. Если по возвращенной анкете можно установить личность респондента, то исследователю следует фиксировать поступление анкет таким образом, чтобы при этом выявлялись возможные диспропорции в ходе их возврата. Если выяснится, что какая-то географическая или демографическая группа респондентов очень пассивно отвечает на анкеты, то может понадобиться лишний раз напомнить им об опросе — иначе выборка может стать нерепрезентативной. Вдобавок к этому просматривание поступающих анкет помогает обнаружить промахи, допущенные респондентом, например пропуск последней страницы инструмента или неверное прочтение инструкции в той ее части, где говорится, как следует отмечать нужные пункты анкеты. Последующий телефонный звонок или уточняющее письмо (в случае не анонимного опроса) может помочь спасти анкету, которую иначе придется признать недействительной.

В процессе проведения анкетирования или личных интервью руководитель проекта должен постоянно проверять выполнение порученного дела. Один из эффективных способов — выслушивать устные отчеты возвращающихся с объекта интервьюеров. Руководитель также проверяет заполненные бланки интервью или анкеты с целью определить: 1) те ли люди (те ли семьи) были опрошены; 2) все ли опросные листы были заполнены и возвращены;

3) указаны ли в путеводителе дата и время проведения интервью;

4) проставлены ли в бланке код интервьюера и опознавательный

380

номер респондента; 5) для всех ли отказов давать интервью изложены соответствующие причины и везде ли, где надо, отмечена договоренность о сроке дополнительного визита к респонденту (если во время первого визита интервьюера респондент почему-либо был недоступен).

При телефонном опросе у руководителя поля есть дополнительные возможности: тайно прослушивать выборочные интервью. Эта мера усиливает у интервьюеров чувство ответственности, а также помогает обнаруживать и устранять недочеты, допускаемые ими в ходе применения инструмента19.

Контрольная проверка важна не только при анкетировании, но и при других формах опроса, например, когда интервьюер — в случае его недобросовестности — получает возможность незаметно сфальсифицировать результаты интервью, да и добросовестный интервьюер может ошибиться, опросив не того, кого надо. Бывали случаи, вспоминают Дж. Мангейм и Р. Рич, что непрофессиональные интервьюеры, чтобы избежать долгих хождений, сочиняли вымышленные интервью, а приходящие няни выдавали себя за хозяев-респондентов. Контрольная проверка позволяет исследователю устранить ошибки этого типа и удостовериться в том, что выборка формируется согласно установленной процедуре20.

Контроль результатов личного интервью обычно сводится к дополнительной встрече (разговору) с тем или иным респондентом с целью определения: 1) имело ли место интервью на самом деле; 2) все ли вопросы задал интервьюер, и все ли ответы он правильно записал. Чтобы это выяснить, спросите респондента, когда имело место интервью и сколько приблизительно оно длилось. Если респондент подтвердит факт проведения интервью, попросите его ответить еще раз на два простых вопроса (взятых из середины и из конца интервью) под тем предлогом, что его первоначальные ответы были записаны неразборчиво. Надо сверить новые ответы с теми, которые были зафиксированы ранее.

<< | >>
Источник: В.И. Добреньков, А.И. Кравченко. МЕТОДЫ СОЦИОЛОГИЧЕСКОГО ИССЛЕДОВАНИЯ. 2004

Еще по теме 4.4. Ошибки анкетера и контроль поля:

  1. Глава 4. ОШИБКИ И КОНТРОЛЬ ПОЛЯ
  2. СУЩНОСТЬ КОНТРОЛЯ. ПЕДАГОГИЧЕСКИЕ ТРЕБОВАНИЯ К КОНТРОЛЮ. ВИДЫ КОНТРОЛЯ
  3. Работа над ошибками
  4. ОШИБКА ОПЕРАТОРА
  5. ИДЕЯ 7 ОШИБКИ
  6. 2.9. Ошибка выборки
  7. 3.2. Ошибки в стремлении к полноте
  8. Вычисление ошибки выборки.
  9. Вычисление ошибки выборки.
  10. Вычисление ошибки выборки.
  11. 3.5. Ошибки и трудности в эксперименте8
  12. Ошибки и Запретные фразы
  13. 3.9. Логические ошибки