"Мы не должны пытаться предсказать итоги мексиканских выборов" - Митч Эггерс

Vue: Говоря о США и Канаде, как бы охарактеризовали широту охвата населения в телефонном опросе в сравнении с Интернет исследованием на базе access-панели? Насколько значима широта охвата для каждого из этих методов? Так, в телефонных опросах мы сталкиваемся с неполными базами данных номеров и высоким процентом отказов, а в онлайн исследованиях – с низким уровнем Интернет проникновения:

М.Э.: Безусловно, распространение телефонов выше Интернет проникновения: примерно 95% против 75%, соответственно. Однако при проведении телефонных интервью возникает целый ряд проблем:

1.      Респонденты должны отвечать на вопросы анкеты именно в то время, когда звонит оператор;
2.      Низкий уровень согласия принять участие в исследовании (response rate): менее 15%;
3.      Влияние интервьюера: например, доказано, что ответы респондентов различаются в зависимости от пола интервьюера;
4.      Респондентов крайне редко мотивируют к участию в телефонных интервью с помощью денежных вознаграждений или призов;
5.      Основным каналом коммуникации в последнее время становятся мобильные телефоны, однако колл-центрам в целом ряде стран не разрешено использовать мобильные базы;
6.      В телефонных интервью используется только один способ взаимодействия - голос.

Существуют также и ограничения Интернет исследований:

1.      Неопределенная основа выборки;
2.      Затрудненный доступ к некоторым слоям населения.

Недостатки этих двух методов сбора данных компенсируется с помощью различных техник.

Телефонные интервью имеют четко определенную основу выборки, а также эффективно используют технику набора случайных номеров (Random Digit Dialing, или RDD). Вместе с тем, нерешенной остается проблема низкой доли людей, соглашающихся отвечать на вопросы: в настоящее время этот показатель составляет 10-15% и неуклонно снижается.

Преимущества Интернет исследований заключаются в более высоком уровне готовности респондентов принять участие в опросе и невысокой стоимости заполненной анкеты. В онлайн исследованиях можно использовать все три способа взаимодействия с участниками опроса: визуальный, звуковой и текстовый. Онлайн исследования также менее "назойливы": респондент может заполнять анкету в любое удобное для него время.

Как правило, для достижения соответствия выборочной и генеральной совокупностей в телефонных и онлайн опросах применяется квотирование. В этом случае низкая доля согласных участвовать в опросе делает телефонное интервью более рискованным методом сбора данных, чем онлайн.

Vue: Насколько корректно для компаний-провайдеров онлайн панелей и колл-центров, использующих технику случайного набора номеров, заявлять о возможности проведения исследований среди всего населения (национальных репрезентативных опросов). Допустимы ли здесь прямые сравнения: один метод лучше другого, или можно сказать, что каждый метод должен использоваться в определенных ситуациях.

М.Э.: "Перекосы" и смещения онлайн панелей более очевидны (например, в США в панелях участвует более 50% женщин, больше людей с высшим образованием и т.п.), поэтому использовать этот метод для проведения исследований среди всего населения нужно очень осторожно. С другой стороны, многие смещения, характерные для онлайн панелей, могут считаться достоинством для исследователей. Например, большая FMCG компания хочет выводить новый продукт на мексиканский рынок. С помощью онлайн исследования она может опросить мексиканских потребителей с высокими доходами, проживающих в крупных городах и являющихся трендсеттерами или лидерами мнений. Иными словами, онлайн панели в таких странах как Мексика прекрасно отражают мнение "среднего класса". Однако мы не должны пытаться предсказать итоги мексиканских выборов, так как при всем желании мы не сможем выяснить политические предпочтения сельских жителей, не имеющих доступа к Интернету.

В США, однако, мы можем предсказывать итоги национальных выборов на основе опроса участников Интернет панели даже точнее, чем на основе телефонных опросов. Так, по итогам опроса участников панели GMI мы правильно предсказали исход последних президентских выборов в США с ошибкой 0,75% по каждому кандидату.

Таким образом, для каждого исследовательского проекта следует выбирать подходящий метод сбора данных.

Vue: Как Вы думаете, может быть исследовательским фирмам и их клиентам нужно не обсуждать преимущества и недостатки онлайн и телефонных опросов, а подумать, как можно их скомбинировать?

М.Э.: Результаты всех проводимых исследований были бы более достоверны, если бы данные собирались параллельно через Интернет и по телефону. Проблема состоит в том, что одно успешное телефонное интервью существенно дороже одной заполненной онлайн анкеты, и большинство профессиональных исследователей считает, что если применение онлайн метода уместно, то имеет смысл сэкономить.

Выборка и валидность онлайн исследований с использованием access-панелей

Vue: Важно ли для онлайн панелей рекрутировать участников случайным образом из всего населения или валидным считается набор из множества различных источников, которые, как предполагается, репрезентируют население в целом?

М.Э.: Исследователи, использующие метод телефонного интервью, утверждают, что телефонная выборка репрезентативна в силу того, что данный метод основан на технике случайного набора номеров. Однако низкий уровень согласия принятия участия в опросе (10-15%) перечёркивает все преимущества хорошо построенной выборки. Вопреки распространённому мнению исследователей, онлайн выборки не должны быть случайно рекрутированы из известной и доступной для анализа генеральной совокупности. Основа онлайн выборки может быть искусственной (то есть собранной из различных источников), а сама выборка, построенная на этой основе, может перевзвешиваться с учетом данных переписи населения в той или иной стране. При условии проведения корректировки онлайн данных, метод онлайн анкетирования с помощью Интернет панели можно считать более точным, чем телефонный опрос. Этот вывод касается стран, где Интернет проникновение превышает 50%.

Vue: Выборы – это то самое событие, по результатам которого может быть проверена валидность исследовательских методов. Каким образом компании, занимающиеся маркетинговыми исследованиями, проверяют валидность онлайн метода на основе известных показателей или событий "реального мира"?

М.Э.: Как было упомянуто ранее, компания GMI с высокой точностью предсказала исход последних выборов Президента США. Однако большинство маркетинговых компаний в США не проводит политических исследований, а большинство поллстеров не проводит исследований рынка, поэтому подобные сравнения довольно редки.

Размер онлайн панели

Vue: Компании, занимающиеся созданием онлайн панелей, всегда широко рекламируют размеры своих панелей, но практически никогда не обсуждают их качество. Понятно, что ошибка выборки при опросе, например, 1000 респондентов, будет небольшой. Есть ли тогда смысл говорить об абсолютном размере панели? Скажите, это просто часть сегодняшней маркетинговой игры или действительно значимый вопрос?

М.Э.: Большой размер панели позволяет делать более точную корректировку и взвешивание данных по итогам опроса, а также находить сложные целевые аудитории с низким уровнем достижимости. В большинстве случаев онлайн исследование начинается с большого числа контактов, но полностью на вопросы анкеты отвечают только те респонденты, которые подходят под характеристики целевой аудитории конкретного проекта.

Vue: Спасибо за Ваши ответы!