Разведывательное исследование часто называют также пилотажным ис следованием. Хотя правильнее считать его самостоятельным видом социоло гического исследования. Разведывательное и пилотажное исследования по хожи в двух аспектах:
♦ Цель — получить примерные данные о том или ином явлении либо апробировать применение методики к более широкомасштабным исследованиям.
« Объект — для проведения того и другого исследования нужна незначительная совокупность объектов, поэтому они проводятся в ограниченные сроки.
Но в отличие от разведывательного, пилотажное исследование предназначено для отработки технических процедур и приемов, чаще всего — для апробации вопросника. Предварительная проверка опросного инструментария столь же важна для успеха исследования, считают Дж. Мангейм и Р. Рич, как пробная поездка — для успешной покупки подержанного автомобиля. Она помогает обнаружить проблемы, которые в полной мере могут проявиться только в полевых условиях.
При проведении пилотажного исследования необходимо учитывать правила:
4 Объем выборки в пилотажном исследовании не имеет четкого методического обоснования. Обычно полагают достаточным опросить около 30 респондентов. Важно только, чтобы они представляли все существенные категории планируемого объекта исследования’.
+ Малая выборка в пилотаже вовсе не обязательно должна быть репрезентативной по отношению к генеральной совокупности. Куда важнее другое ее качество — разнообразие: она должна включать те группы респондентов, которые способны реагировать на инструментарий по-разному. Если малообразованные люди составят в будущей выборке незначительную долю, их необходимо опрашивать в первую очередь именно потому, что они могут отвечать на ваши умные вопросы совсем не так, как ожидается.
« В пилотажную выборку включают тех респондентов, которые представляют наиболее важные для темы опроса социально-демографичекие признаки (пол, возраст, образование, стаж работы, содержание труда и т.
В социальной психологии пилотажное исследование (рабочий термин «зондаж») применяется для установления необходимого объема выборки, уточнения содержания и числа вопросов анкеты, времени опроса и др. В зарубежной и отечественной практике применения тестов (тестологии) пилотажа (рабочий термин — «претест») служит средством выявления некоторых стандартов основного теста.
В социологии пилотаж проводится до основного исследования и выступает способом проверки обоснованности гипотез и задач, а также профессионального уровня и методической отработанности инструментария. Пилотаж помогает оценить правильность модели выборки и внести в нее в случае необходимости соответствующие исправления; уточнить некоторые характеристики объекта и предмета исследования, обосновать финансовые расходы и сроки проведения главного исследования. Пилотаж полезен также для тренировки группы интервьюеров (анкетеров).
Современные социологи придерживаются правила: прежде чем отдавать анкету в большой тираж, ее целесообразно опробовать в малотиражном (пилотажном) опросе, чтобы уточнить, правильно ли понимают вопросы респонденты, не слишком ли она длинна и утомительна, сколько времени занимает ее заполнение (или интервью), а в случае почтовой рассылки — сколько дней проходит с момента отправления анкеты до получения ответов.
Пилотажное исследование представляет собой исследование по «укороченному» плану — в нем используются малые выборки, не в полной степени проводится сбор информации, полученная информация анализируется только пс наиболее значимым критериям. Если пилотажное исследование проводится в цикле исследования хорошо изученной проблемы, оно позволяет «отточить» инструментарий исследования, выявить и устранить его дефекты и дефекты подходов к математическому анализу. Проведение пилотажного исследования в этом случае позволяет избежать сбора информации по «пустым» вопросам, ответы респондентов на которые не подлежат анализу, или неадекватно (неоднозначно) интерпретируются самими респондентами. Для поискового исследования (исследования в сфере недостаточно разработанной) пилотажное исследование предоставляет информацию для уточнения многих пунктов программы, что в дальнейшем обеспечивает немалую экономию ресурсов.
Пилотаж полезен для: а) тестирования инструментария, в котором исследователь вполне уверен, б) усовершенствования инструментария в ситуации, когда предмет исследования хуже известен исследователю. В первом случае инструментарий проходит предварительное испытание в своем окончательном варианте. Во втором исследователь может захотеть поэкспериментировать с разными вариантами (макетами) инструмента, чтобы узнать, какой из них удобнее е работе. Предварительное тестирование такого типа может включать в себя:
Тестирование различных словесных формулировок и форм вопросов.
Опробование анкеты, предназначающейся для самостоятельного заполнения респондентом, в личном интервью, чтобы в процессе живого общения с респондентом выявились возможные трудности ее заполнения.
Употребление открытых вопросов для выявления типичных ответов, которые затем можно будет включить в набор ответов на закрытые вопросы, с тем чтобы использовать последние в окончательном варианте.
Тестирование различных видов инструментария (почтовых анкет, очных интервью, телефонных интервью) с целью определения годности каждого из них2.
Рис. Тестирование различных видов инструментария
Пилотаж можно считать генеральной репетицией к главному исследованию. Он позволяет сделать первые выводы о том, насколько успешно прошел этал подготовки к нему, какими могут быть ожидаемые результаты. В ходе такогс опроса собирается методическая информация, т. информация о качестве разработанного инструментария. Проверяются все организационные и методические условия будущего исследования, и прежде всего: доступность необходимых
Мангейм Дж. , Рич Р. Политология. Методы исследования. : Весь мир, 1997. 211-212.
документов, отношение респондентов к опросу и их реакция на вопросы анкеты. Оценивая качества методики опроса, социолог регистрирует любые затруднения респондента, вызванные техникой заполнения, непониманием смысла вопросов, отдельных слов. Учитываются также все замечания и наблюдения анкетеров о методических недостатках, которые им удалось обнаружить.
Вернувшись с опроса, лучше сразу же сесть за свою анкету, просмотреть ответы на все вопросы, отметить самые проблемные, а потом сходить на объект и пообщаться с респондентами.
Пилотаж проводится в двух вариантах. В первом — всю группу респондентов приглашают в отдельную комнату, где на столах разложены анкеты. Респондентов «вводят» в ситуацию пилотажа, т. объясняют его цели и задачи, инструктируют по технике заполнения анкеты и просят высказать после заполнения критические замечания, поговорить о неясностях и о тех вопросах, которые затрудняют работу с анкетой. Заполненные анкеты опускаются в опечатанные урны, после чего начинается групповое обсуждение содержания опроса в целом. Показателями, позволяющими оценить пригодность анкетного вопроса, выступают число неответивших на вопрос и характер распределения ответов по шкале, используемой в вопросе.
Второй вариант пилотажного опроса предполагает приглашение группы из 3—4-х респондентов для обсуждения анкеты по мере ее заполнения: опрашиваемые делают пометки о качестве вопросов. Перед началом пилотажа их вводят в ситуацию экспертного опроса, объясняя, что содержание ответов не анализируется, так как опрос преследует только методические цели.
Никогда не
думайте, что Вы сделали все и
Когда анкета, по
вашему мнению, готова, когда каждое
слово и каждая фраза десятки раз обдуманы
и выверены, возникает чувство, что
сделано все и самым лучшим образом, что
совершенство достигнуто и что лучше
ничего сделать уже нельзя. Это опасное
чувство часто приводит к излишней
самоуверенности, не критичности, глухоте
и даже раздражению, если ваша анкета
вызывает замечания других специалистов.
Только после
опроса, уже на этапе анализа первичной
социологической информации, ответов
респондентов появляется осознание
того, как много недоработано, сделано
неправильно. Так хочется изменить тот
или иной вопрос, исправить фразу. И с
болью в сердце, наконец, констатируешь,
что анкета могла бы быть намного лучше. К сожалению, это понимание приходит
слишком поздно.
Когда Вам кажется,
что анкета готова, не торопитесь ее
тиражировать. Сто очков против одного,
что вы что-нибудь упустили, чего-то не
учли, какое-либо правило или требование
к составлению вопроса или анкеты не
выполнили. Возьмите свою последнюю
анкету, внимательно просмотрите ее,
проверьте, и вы увидите, что какие-то
правила в ней не соблюдены, что-то
выполнено не полностью.
Когда анкета, по
вашему мнению, готова, не отдавайте ее
в типографию, а покажите сначала своим
коллегам, специалистам-социологам и
пусть они беспристрастно оценят вашу
работу. Попытайтесь организовать
обсуждение анкеты, и как бы вам не было
неприятно за свое детище, постарайтесь
объективно выслушать все замечания.
Обсуждение анкеты
может проходить различными путями. Самым распространенным методом является
рабочее совещание небольшой группы
специалистов, не более пяти человек. Как правило, такое совещание дает хороший
результат, т. позволяет всестороннее
обсудить методику исследования, выявить
ее сильные и слабые стороны. Но это
совещание необходимо тщательно
подготовить.
Обсуждение может
проходить как в письменной, так и в
устной форме, и каждое из них имеет свои
недостатки и достоинства. Однако
независимо от того, какую форму обсуждения
вы предпочтете, оно должно пройти по
определенной схеме и в строгой
последовательности. Можно предложить
такую схему.
- Получили ли
программные вопросы достаточное
раскрытие в вопроснике? Все ли анкетные
вопросы работают на решение поставленных
задач? Нет ли случайных (необязательных)
вопросов? Можно ли сократить их общее
количество без ущерба для решения
поставленной задачи? Какие вопросы
следует добавить? - Соблюдается ли
принцип драматургии анкеты? Правильно
ли располагаются вопросы в анкете по
их трудности, типу, характеру и т.д.? Как
соблюдается принцип взаимопонимания
между исследователем и респондентом?
Соблюдаются ли правила вежливости,
корректность? Представляет ли анкета
интерес для опрашиваемых, насколько
она привлекательна, легка для заполнения?
Как субъективно воспринимается анкета,
сколько требуется времени для ее
заполнения респондентом? Какие вопросы
наиболее трудны для ответов? - Не имеют ли
вопросы слишком общего характераи
не оказывают ли они влияния друг на
друга? Соблюдено ли правило временной
определенности? Не слишком ли анкета
и вопросы многословны? Нет ли в анкете
стилистических и смысловых ошибок? Не
имеют ли формулировки вопросов
внушаемости? - Как используются
методы контролядля определения
уровня информированности опрашиваемых,
достоверности и надежности информации?
Какой тип вопроса предпочтителен для
решения той или иной поставленной
задачи? Обоснованно ли количество
альтернатив в вопросе? Правомерно ли
использование фактологических и
мотивационных вопросов? - Правомочно ли
использование контактных, буферных,
подготовительных, вводных вопросов;различных текстов для переключения
внимания, разграничения тематических
блоков, для укрепления уверенности
респондента в его силах, оживления
воспоминания, повышения заинтересованности
и т.д.? - Доступно ли
респонденту использование иностранных
слов, специальных терминов, понятий,
различных сокращений и аббревиатур? - Правильно ли
техническое оформление анкеты,
использование технических обозначений
и сигналов, применение рисунков,
картинок, а также кодировка анкеты и
подготовка ее к обработке на ЭВМ?
В каждом конкретном
случае в зависимости от задач исследования
схема обсуждения может меняться, могут
перемещаться акценты на те или иные
стороны анкеты.
Но и обсуждением
анкеты в рабочей группе не заканчивается
процедура разработки и проверки методики
исследования. Это пока еще только
умозрительные построения, которые могут
быть хорошими и красивыми, правильными
и непротиворечивыми, но еще не гарантируют
решения поставленных задач. Окончательная
проверка методики исследования, выяснение
того, насколько правильно она построена,
проходит во время так называемого
пилотажного исследования. Сколько бы
мы ни обсуждали анкету в кругу самых
высоких специалистов, только практика,
только результаты опроса, апробация
анкеты, проверка ее на реальных, а не на
гипотетических, воображаемых респондентах
может показать нам все изъяны и недостатки
нашего инструментария.
Несколько слов
о процедуре пилотажного
Пилотажное
исследование можно проводить с различными
целями: проверка основных гипотез
программы, выявление отдельных
характеристик объекта с целью определения
наиболее устойчивых для их дальнейшей
углубленной разработки, выяснение
действенности методики в целом или ее
отдельных частей, предварительная
проверка достоверности результатов
опроса и т.
Существуют различные
формы проведения пилотажного исследования. Оно может проводиться на небольших и
на больших выборках. Если этого требует
программа исследования, то пилотаж
анкеты может проходить с большой
представительной выборкой. По существу
такой пилотаж иногда выступает как
самостоятельное эмпирическое исследование,
на которое затрачивается не меньше сил
и времени, чем на основное исследование.
Однако обычно
пилотажное исследование проводится на
небольшом массиве. Точная численность
обследуемых в этом случае не устанавливается,
поскольку в каждом конкретном случае
она может быть различной. Практика
показывает, что численность опрашиваемых
чаще всего не превышает 50-100 человек. Этого количества респондентов бывает
достаточно, чтобы решить задачи, стоящие
перед пилотажным исследованием. Необходимое условие заключается в том,
что объектом исследования должны быть
те люди, которые по своим основным
характеристикам соответствуют основному
объекту исследования. При этом пилотажный
опрос проводится не на основном объекте,
а на другом «поле», близком по своим
характеристикам к основному. Это делается
для того, чтобы не испортить основное
«поле» исследования, поскольку
любое, даже самое маленькое исследование
получает резонанс, и тем или иным способом
может оказать воздействие на основное
исследование. Так, если в качестве
основного объекта исследования выступают
рабочие промышленного предприятия, то
в пилотажном опросе объектом должны
стать рабочие тоже промышленного, но
другого предприятия.
Очень важен порядок
проведения пилотажного опроса. Несмотря
на то, что анкета готовится для заочного
опроса, в пилотажном исследовании ее
лучше представить в виде формализованного
интервью. Преимущество формализованного
интервью заключается в том, что, кроме
того, что результаты пилотажного опроса
будут анализироваться в совокупности
ответов, оно дает и непосредственные
наблюдения интервьюеров за реакцией
респондентов на тот или иной вопрос и
на всю анкету в целом. В качестве
интервьюеров чаще всего выступают члены
исследовательской группы или специально
подготовленные для этого люди. По
окончании опроса интервьюеры пишут
небольшие отчеты по результатам каждого
интервью. Такие письменные отчеты, хотя
и отнимают много времени и сил и приятны
далеко не каждому интервьюеру, но играют
значительную роль в пилотажном
исследовании. Они представляют большой
интерес как документ непосредственного
наблюдения, и их анализ чрезвычайно
важен для доработки анкеты. Вот как
описывает свое впечатление от опроса
в пилотажном исследовании один из
интервьюеров.
«Первые
вопросы не затронули внимание респондента,
он остался безразличным к их содержанию. По всей видимости, он еще не успел
перестроиться и было видно, что мыслями
он еще остался на своей работе, и оторвали
мы его, по всей видимости, не в самый
удачный момент. Но как человек
добросовестный, он старался понять
задаваемые ему вопросы, не проявлял
видимого нетерпения и недовольства и
старался делать предлагаемую ему работу
добросовестно. К пятому вопросу его
внимание несколько обострилось, он уже
начал перестраиваться на наше интервью
и сделал первое замечание по ходу (вопрос
№______). Через пять-семь минут он уже
полностью включился в работу и даже
стал проявлять интерес. Первую остановку
мы сделали на вопросе №______ и довольно
долго обсуждали его, поскольку он ему
был непонятен. Я тщательно записывал
его предложения, и ему это явно понравилось
(почувствовал свою роль, значимость и
занял активную позицию). После этого он
стал еще внимательнее прислушиваться
к задаваемым вопросам и в вопросе №______
сделал, на мой взгляд, существенное
замечание о специфике работы, которая
фактически не была отражена в вопросе. Анкета, по его выражению и, надо сказать,
справедливому, как мне кажется, является
безликой в том смысле, что ее с успехом
можно было бы использовать и на других
предприятиях совершенно противоположного
характера работы.
Большие
трудности вызвали шкалы. Респондент не
прочел их с первого чтения, и ему пришлось
объяснять, как с ними надо работать. Поняв, он уже спокойно отвечал на все
остальные шкалы, правда, при этом нередко
испытывал затруднения при оценках по
предлагаемым градациям (в основном по
десятибалльной шкале). По всей видимости,
необходимо более подробно объяснять
правила работы со шкалами, а, может быть,
и пересмотреть сами шкалы.
В
целом анкета, судя по реакции респондента
и по его высказываниям, оставляет хорошее
впечатление, большинство вопросов было
понятно, времени на заполнение анкеты
было затрачено немного, в пределах
нормированного».
После сдачи
письменных отчетов, можно провести
устный обмен мнениями, который имеет
свои особенности. Не все возможно
описать, что можно высказать в устной
беседе. Коллективный обмен мнениями
позволяет уточнить некоторые специфические
представления и оценки анкеты и выработать
определенное коллективное мнение по
каждому вопросу и по анкете в целом. Руководитель исследования, за которым
остается последнее слово, синтезирует
как письменные, так и устные отчеты и
принимает окончательное решение:
оставить тот или иной вопрос в прежнем
виде или переформулировать его, ввести
новые вопросы, перестроить анкету и
т.
Что можно
получить из пилотажного опроса?
Пилотажный опрос
должен показать, является ли небольшое
наполнение альтернатив результатом их
неправильного подбора или же следствием
разброса ответа респондентами по
значимым альтернативам и выбора
приоритетных.
Большое значение
также имеет количество ответов в
совокупности по всем альтернативам
анкеты. Если суммировать все ответы
опрошенных по каждой порядковой
альтернативе всех вопросов и вывести
среднюю величину, то можно увидеть, что
не все альтернативы в порядке их
расположения набирают одинаковое
количество голосов. Об этом уже говорилось
ранее. Такое положение возникает, если
альтернативы в вопросе расположены
неправильно, скажем, когда на первое
место ставят наиболее значимую
альтернативу, ту, которую наверняка
выберут большинство респондентов, или
когда было предложено довольно большое
количество вариантов ответов.
В результате
получается, что часть альтернатив в
порядке их расположения набирает больше
голосов (чаще это бывает первая
альтернатива), а некоторые меньше (чаще
всего те, которые находятся в середине). В этом случае надо еще раз пересмотреть
расположение альтернатив в вопросах,
внести, если это необходимо, поправки,
стремясь к тому, чтобы распределение
ответов респондентов по порядковым
альтернативам было более или менее
равномерным. Следует помнить, что такое
неравномерное распределение в конечном
итоге дает неверную информацию.
а) респондент не
понял вопрос и, чтобы к нему «не
приставали», выбирает нейтральную
альтернативу или вообще не отвечает на
вопрос. (Необходимо в этом случае
переформулировать вопрос и снова
проверить);
б) респондент устал
отвечать и, чтобы не утруждать себя,
пропустил вопрос или выбрал последнюю
альтернативу: «Не знаю», «Затрудняюсь
ответить» и т. (необходимо поставить
вопрос в другое место анкеты и проверить,
как он будет работать там);
в) респондент имеет
свое мнение по данной проблеме, но оно
оказалось не предусмотренным социологом
в наборе альтернатив, а дописать негде,
места не оставлено, вопрос закрытый. Поэтому, чтобы не кривить душой и не
давать ответ, не соответствующий его
мнению, он выбирает нейтральную
альтернативу или не отвечает на вопрос
вовсе. (Дать полузакрытый вопрос);
г) вопрос настолько
неожиданный и находится вне поля зрения
респондента, что он не знает, как отвечать,
поскольку не думал о нем. (Проверить
степень компетентности и информированности
респондентов другим вопросом);
д) вопрос труден
для ответа, например, табличный,
шкалированный, с большим набором
альтернатив, он утомляет, требует
большого внимания и напряжения. Обычно
на такие вопросы бывает больше всего
отказов. (Облегчить форму вопроса,
перестроить его, ввести дополнительные
вопросы, перевести табличные,
комбинированные вопросы в обычные);
е) респондент и в
самом деле не помнить, поэтому и пишет
«Не помню», «Затрудняюсь ответить»,
«Не знаю». Возможно, вопрос не был
подготовлен другими вопросами для
оживления воспоминания. (Добавить
вопросы для оживления памяти или
перестроить вопрос).
Отказ от ответа
на содержательный вопрос может выражать
отношение респондента к отдельным
вопросам и к анкете в целом. Например,
респонденту не нравится анкета или
отдельные ее вопросы, он не стремится
понять их, отвечать добросовестно и
полно. Количество отказов от ответа
является показателем степени
незаинтересованности опрашиваемых в
работе с анкетой.
Тщательный анализ
результатов пилотажного опроса позволяет
выявить истинные причины незаинтересованности
в работе над анкетой или над отдельными
вопросами. Этот анализ бывает иногда
весьма сложным, поскольку вариантов
поведения респондента при ответе на
тот или иной вопрос может быть много. В
частности, можно использовать метод
перекрестного анализа пограничными
вопросами или вопросами одного блока. Это позволяет определить логику
рассуждения респондента. Отказываясь
отвечать на тот или иной вопрос, респондент
прерывает логику рассуждения и тем
самым нарушает всю систему рассуждения
(если, конечно, вопрос не предусматривал
вариант неответа части респондентов). Это не всегда раскрывает истинные
причины, по которым респондент отказался
отвечать, но позволяет привлечь внимание
исследователя к тому, что в данном
вопросе или блоке вопросов не все в
порядке и что его надо перестроить.
Как видно из рис. 1, количество отказов от ответа, постепенно
увеличивается и примерно к середине
анкеты, достигает своего пика. По всей
видимости, респондент теряет интерес
к анкете, внимание его снижается, и
соответственно снижается его активность. Но затем его внимание и активность
несколько повышаются, количество отказов
от ответа сокращается. К концу анкеты,
когда добирается до легких вопросов,
внимание его повышается и количество
отказов от ответа снижается.
Вот один из графиков
отказов от ответа на вопросы
Начало анкеты
Середина
анкеты
Конец
анкеты
Это только один
пример распределения отказов от ответа. Характер распределения отказов от
ответа может принимать различный вид
в зависимости от типа анкеты, сложности
вопросов и от характера исследования
в целом. Иногда в целях решения каких-то
специфических задач исследования в
анкете приходится использовать сложные
вопросы или располагать их соответствующим
образом, заранее зная, что это может
вызвать относительно большое количество
отказов от ответов на них. Но здесь уже
приходится выбирать чем жертвовать. Поэтому кривая распределения не ответов
респондентов по полю анкеты может быть
различной. В одних случаях она устойчиво
повышается, что может свидетельствовать
о снижении интереса опрашиваемых к
вопросам анкеты; в других — постоянно
понижаться, что может означать повышение
интереса респондентов к анкете; в третьих
случаях она стабильна, не изменяется
на протяжении всей анкеты, что
свидетельствует о том, что внимание,
интерес и активность респондентов на
протяжении всей анкеты не меняются.
Но, независимо от
того, что показывает общая кривая,
распределение внимания и активности
опрашиваемых может меняться на отдельных
участках анкеты. В одних случаях они
могут резко падать и так же резко
возрастать в других случаях. Это
естественно, поскольку одни вопросы
респондентам нравятся больше, другие
— меньше, внимание и активность опрашиваемых
никогда не бывают постоянными, в каких-то
определенных пределах они всегда
колеблются.
Имея кривую
распределения внимания респондентов,
получаемую в результате пилотажного
опроса, можно соответствующим образом,
используя специфические методы, управлять
вниманием и активностью респондентов,
перестраивать анкету с целью повышения
заинтересованности, внимания респондентов,
активизации их деятельности.
На приведенном
ниже рисунке показано, как изменяется
количество отказов от ответа по отдельным
участкам анкеты, искусственно разбитой
по пять вопросов.
Как видно из рис. 2, первые вопросы анкеты респондентам
не очень понравились. Здесь имеется
довольно большое количество отказов
от ответа. Затем интерес к анкете стал
повышаться, и к 20 вопросу количество
отказов от ответа постоянно снижается. К 25 вопросу оно немного стабилизировалось,
потом внимание опрашиваемых резко
упало, видимо, вопросы, расположенные
между 25-30, им совсем не понравились. Затем интерес опрашиваемых опять немного
повысился, но все-таки остался ниже, чем
в вопросах 15-20. Далее до 35 вопроса он
остается постоянным, и снова снижается
на вопросах 35-40. Видимо, и эти вопросы
оказались не интересными. На участке
40-45 внимание респондентов опять
повысилось, затем на следующем участке
оно снова понижается, но не намного. К
концу анкеты активность респондентов
снова возрастает, видимо, потому что
анкета подошла к концу и вопросы, здесь
расположенные, оказались легкими для
восприятия и ответа.
Отчего же зависит
такое неравномерное распределение
интереса и внимания респондентов, почему
на одни вопросы они отвечают охотно, а
на другие не желают отвечать?
Во-первых, это
может зависеть, как уже говорилось, от
усталости респондента. Если анкета
очень сложна, то уже со второй ее трети
респондент становится менее внимательным
и на трудные вопросы особенно в середине
и в конце анкеты просто не отвечает.
Во-вторых,
причиной отказа от ответа может быть
непонимание частью респондентов вопросов
какого-то блока. Возможно вопрос или
блок вопросов оказались так плохо
разработанными, что стали непонятными
и неинтересными.
В-третьих,
причиной отказов от ответа может служить
степень интереса, проявляемого разными
группами респондентов к различным
вопросам. Одним респондентам интересны
одни вопросы, другим — другие. Соответственно
меняется количество отказов от ответа.
В-четвертых,
количество отказов от ответа может
зависеть от типа и формы вопроса. Если
вопрос построен сложно, как, например,
табличный, или комбинированный, то он
не вызывает у большинства респондентов
особого желания утруждать себя поисками
ответа.
В-пятых, особенно
много отказов имеют вопросы личного,
интимного характера, требующие оценки,
высказывания своего мнения и т. Таковыми
могут быть вопросы, касающиеся
взаимоотношений в семье, оценки
деятельности руководителя, различные
мотивационные вопросы.
Анализ отказов от
ответа в пилотажном исследовании в
целом по анкете и по отдельным ее участкам
и вопросам наглядно показывает недоработки
в расположении вопросов в анкете,
неправильную их тестировку, недостатки
технического оформления, а также слабости
содержательного характера. Таким образом
позволяет определить, какие просчеты
имеются в анкете.
Анализ анкеты по
количеству отказов от ответа опрашиваемых,
конечно, является только одним из методов
пилотажной проверки методики, но он
весьма плодотворен и оказывает
существенную помощь при доработке
методики исследования.
В результате
пилотажного исследования можно выделить
по крайней мере четыре способа проверки
технически правильно подготовленной
анкеты. Подчеркнем «технически
правильно». Проверка содержательности
и достоверности информации является
более сложным делом и требует другого
аппарата и других методов проверки.
- Еще раз повторим,
что анкета считается правильно
подготовленной, если она в целом имеет
небольшое количество отказов от ответа.
Кроме того, график распределения
внимания и заинтересованности
опрашиваемых должен иметь положительную
направленность или хотя бы постоянную
величину. Недопустимо, если отказов от
ответа будет более 10%, если конечно,
часть вопросов не требует ответа части
респондентов. - Анкета должна
иметьравное распределение ответов
респондентов по альтернативам в порядке
их убывания. Это означает, что ни одна
альтернатива в плане технического
построения вопроса не получила
приоритета. - О том, что анкета
технически правильно построена,
свидетельствуети субъективное
время, отмеченное респондентами. Оно
должно быть равно реальному времени,
затраченному на заполнение анкеты
некоторым количеством респондентов и
зафиксированному объективными методами
или меньше его. Для определения
субъективного времени обычно в конце
анкеты при пилотажном опросе задается
вопрос: «Отметьте, пожалуйста, сколько
(примерно) времени Вы заполняли анкету?»
и предлагается временная шкала. - Конечно, этих
методов проверки анкеты недостаточно,
чтобы быть уверенным в получении
достоверной информации. Как впрочем
и технически грамотно построенная
анкета еще не является залогом получения
истинной, точной и надежной информации.
Но технически правильно построенная
анкета может служить надежным основанием
для получения точной и достоверной
информации. И, наоборот, при технически
неправильно построенной методике
исследования можно с уверенностью
сказать, что надежной информации с ее
помощью не получишь.
При пилотажном
исследовании необходимо обязательно
проверить анкету, хотя бы по тем пунктам,
о которых говорилось выше, поскольку
других методов проверки существует
мало, все они достаточно трудоемки и
занимают едва ли не больше времени, чем
само исследование. Поэтому социологи
не всегда стремятся проверять свою
анкету. Предлагаемые методы довольны
просты и надежны, их легко можно
автоматизировать, т. перевести на ЭВМ,
которая поможет при введении некоторого
формального критерия вычислить индекс
технически правильно построенной
анкеты.
После проведения
пилотажного исследования анкета вновь
проверяется по тем же правилам, по
которым разрабатывалась, но теперь уже
с учетом результатов пробного исследования,
с учетом мнения респондентов. Надо
сказать, что чаще всего пилотажный опрос
существенно поправляет первоначальный
вариант анкеты.
Обычно пилотажное
исследование проводят один раз. На самом
деле, как и любой другой инструментарий,
он требует неоднократных проверок. Пилотажное исследование необходимо
проводить не один раз, а столько сколько
необходимо, чтобы быть до конца уверенным
в том, что методика отработана полностью
и каждый вопрос построен надежно.
После устранения
недочетов и недоработок, выявленных в
результате первого пилотажного
исследования, требуется повторный
пилотажный опрос, чтобы выяснить как
работает скорректированная методика. Если инструментарий очень сложен и
требует большой точности (например, при
прогнозном исследовании), надо провести
и третье пилотажное исследование. Только
после тщательной практической отработки
методики ее можно выпускать в свет и
быть полностью уверенными, что будет
получена достоверная и надежная
информация. В естественных науках
отработка инструментария исследования
является обязательным этапом работы,
тогда как в социологии сегодня все еще
приходится доказывать и убеждать в ее
необходимости.
Нелишне еще раз
напомнить: сколько бы мы ни занимались
рассуждениями, они остаются логическими
конструкциями, которые не всегда бывают
удачными. И только практика может указать
наши ошибки. В процессе разработки
анкеты такой практикой выступает
пилотажный опрос. Поэтому игнорировать
его, как, к сожалению, это часто делают
начинающие социологи, нельзя.
В настоящей работе
не ставилась задача дать систематическое
и полное изложение проблемы вопроса и
вопросно-ответных отношений в прикладной
социологии. Она представляет собой
описание только некоторого опыта
проведения социологических исследований,
формулирования вопросов и построения
анкеты в целом. По существу данная книга
является заметками социолога, написанными
на основании собственного опыта и опыта
других социологов.
Выявление и анализ
законов и закономерностей построения
вопросов и вопросно-ответных отношений,
выработка правил их формулирования
требуют огромной практической и
теоретической работы и проведения
большого числа разнообразных
экспериментальных исследований. К
сожалению наши социологи занимаются
этим очень мало, что не позволяет в
настоящее время обратиться к большой
обобщающей работе.
Я постарался
ответить только на некоторые вопросы
о вопросах, осветить лишь основные
условия и предпосылки этой проблемы и
показать возможные направления
продолжения работы, безусловно будучи
уверен в том, что решение ее есть задача
коллективная, которую можно выполнить
только усилиями многих социологов.
Если читатель
воспримет данную книгу именно так, то
автор будет считать свою задачу
выполненной.
Несколько слов о процедуре пилотажного исследования
Пилотажное исследование можно проводить с различными целями: проверка основных гипотез программы, выявление отдельных характеристик объекта с целью определения наиболее устойчивых для их дальнейшей углубленной разработки, выяснение действенности методики в целом или ее отдельных частей, предварительная проверка достоверности результатов опроса и т.
Существуют различные формы проведения пилотажного исследования. Оно может проводиться на небольших и на больших выборках. Если этого требует программа исследования, то пилотаж анкеты может проходить с большой представительной выборкой. По существу такой пилотаж иногда выступает как самостоятельное эмпирическое исследование, на которое затрачивается не меньше сил и времени, чем на основное исследование.
Однако обычно пилотажное исследование проводится на небольшом массиве. Точная численность обследуемых в этом случае не устанавливается, поскольку в каждом конкретном случае она может быть различной. Практика показывает, что численность опрашиваемых чаще всего не превышает 50-100 человек. Этого количества респондентов бывает достаточно, чтобы решить задачи, стоящие перед пилотажным исследованием. Необходимое условие заключается в том, что объектом исследования должны быть те люди, которые по своим основным характеристикам соответствуют основному объекту исследования. При этом пилотажный опрос проводится не на основном объекте, а на другом «поле», близком по своим характеристикам к основному. Это делается для того, чтобы не испортить основное «поле» исследования, поскольку любое, даже самое маленькое исследование получает резонанс, и тем или иным способом может оказать воздействие на основное исследование. Так, если в качестве основного объекта исследования выступают рабочие промышленного предприятия, то в пилотажном опросе объектом должны стать рабочие тоже промышленного, но другого предприятия.
Очень важен порядок проведения пилотажного опроса. Несмотря на то, что анкета готовится для заочного опроса, в пилотажном исследовании ее лучше представить в виде формализованного интервью. Преимущество формализованного интервью заключается в том, что, кроме того, что результаты пилотажного опроса будут анализироваться в совокупности ответов, оно дает и непосредственные наблюдения интервьюеров за реакцией респондентов на тот или иной вопрос и на всю анкету в целом. В качестве интервьюеров чаще всего выступают члены исследовательской группы или специально подготовленные для этого люди. По окончании опроса интервьюеры пишут небольшие отчеты по результатам каждого интервью. Такие письменные отчеты, хотя и отнимают много времени и сил и приятны далеко не каждому интервьюеру, но играют значительную роль в пилотажном исследовании. Они представляют большой интерес как документ непосредственного наблюдения, и их анализ чрезвычайно важен для доработки анкеты. Вот как описывает свое впечатление от опроса в пилотажном исследовании один из интервьюеров.
Никогда не думайте, что Вы сделали все и наилучшим образом
Когда анкета, по вашему мнению, готова, когда каждое слово и каждая фраза десятки раз обдуманы и выверены, возникает чувство, что сделано все и самым лучшим образом, что совершенство достигнуто и что лучше ничего сделать уже нельзя. Это опасное чувство часто приводит к излишней самоуверенности, не критичности, глухоте и даже раздражению, если ваша анкета вызывает замечания других специалистов.
Только после опроса, уже на этапе анализа первичной социологической информации, ответов респондентов появляется осознание того, как много недоработано, сделано неправильно. Так хочется изменить тот или иной вопрос, исправить фразу. И с болью в сердце, наконец, констатируешь, что анкета могла бы быть намного лучше. К сожалению, это понимание приходит слишком поздно.
Когда Вам кажется, что анкета готова, не торопитесь ее тиражировать. Сто очков против одного, что вы что-нибудь упустили, чего-то не учли, какое-либо правило или требование к составлению вопроса или анкеты не выполнили. Возьмите свою последнюю анкету, внимательно просмотрите ее, проверьте, и вы увидите, что какие-то правила в ней не соблюдены, что-то выполнено не полностью.
Когда анкета, по вашему мнению, готова, не отдавайте ее в типографию, а покажите сначала своим коллегам, специалистам-социологам и пусть они беспристрастно оценят вашу работу. Попытайтесь организовать обсуждение анкеты, и как бы вам не было неприятно за свое детище, постарайтесь объективно выслушать все замечания.
Обсуждение анкеты может проходить различными путями. Самым распространенным методом является рабочее совещание небольшой группы специалистов, не более пяти человек. Как правило, такое совещание дает хороший результат, т. позволяет всестороннее обсудить методику исследования, выявить ее сильные и слабые стороны. Но это совещание необходимо тщательно подготовить.
Обсуждение может проходить как в письменной, так и в устной форме, и каждое из них имеет свои недостатки и достоинства. Однако независимо от того, какую форму обсуждения вы предпочтете, оно должно пройти по определенной схеме и в строгой последовательности. Можно предложить такую схему.