За качество ответишь

Можно ли убедиться в добросовестности исследовательской компании, опираясь не только на ее презентационные материалы?

«Вопрос о валидности получаемых результатов исследований стоит очень остро, - подтверждает Даниил Бородин, директор по исследованиям Media Arts Group. - Мне приходилось встречаться с не совсем достоверными данными. Однако, насколько мне известно, процедуры аудита, которые позволяют снять большинство вопросов качества панельных данных, существуют». Каковы же они?

«Прежде всего, необходимо развести разные виды панельных измерений, - предостерегает Андрей Милехин, президент холдинга Ромир. - На сегодняшний день их в России несколько. Это скан-панель, медиа-панель, ритейл-аудит-панель и Access-онлайн-панель. Зачастую все виды этих исследований называют одним словом - панель, что изначально вводит в заблуждение». Можно ожидать, что разными будут и системы сертификации. Так оно и оказалось.

Скан-панель

Скан-панели в России развивают холдинг Ромир и компания GfK Rus. Методы сбора данных похожи (панелисты самостоятельно  сканируют дома штрих-коды купленных ими товаров, данные передаются в исследовательскую компанию), хотя разного рода методические и технологические различия, конечно, есть. Внешний аудит не проходила ни одна из панелей, однако сами исследователи не сомневаются в валидности своих данных и призывают клиентов убедиться в этом самостоятельно.

«Один из основных принципов панели - это ее открытость, - говорит Милехин. - Каждый клиент может проследить движение и обработку информации на каждом из этапов (сбор, кодировка, обработка, формирование отчетов). В течение 2008-2009 года ряд крупнейших международных компаний, провел свой собственный аудит с привлечением специалистов из своих штаб-квартир в Европе, результатам которого стали положительные заключения и развитие сотрудничества».

«В потребительских панелях GfK существуют внутренний стандартизованный подход ко всем процессам как во время рекрута и ведения панелиста, так и на этапе чистки, кодировки, обработки данных», - рассказывает Елена Первушина, руководитель отдела потребительских панелей GfK Rus. Эти стандарты - продукт творчества самих исследователей GfK Rus. Если заказчик в чем-то сомневается и не хочет полагаться только лишь на опыт и репутацию компании, то ему остается только проверить данные самостоятельно. «Качество панельных данных вполне поддается измерению, если сравнить их с другой доступной информацией - например, знаниями клиента о рынке и своих продажах, конечно, с учетом методологических особенностей каждого источника», - советует Первушина.

Медиа-панель

В области медиа-измерений роль заказчиков в оценке качества панели также весьма велика, но здесь они предпочитают не столько оценивать, сколько контролировать ход оценки независимыми аудиторами. Так, телевизионная панель компании TNS Россия за время своего существования прошла 4 независимых аудита. Ксения Ачкасова, директор по телевизионным исследованиям TNS Россия, рассказывает, что, начиная с 2004 года, развитие этой панели, а также любые ее модификации происходят при постоянном контроле индустрии - Группы пользователей данных (ГПД), состоящей из представителей телеканалов, рекламных агентств и рекламодателей. Один раз в квартал участники ГПД собираются вместе для обсуждения текущих проблем развития панели и в т.ч. для определения ее соответствия требованиям рынка.

Юлия Волошина, медиа-исследователь агентства Media First (КГ Twiga), рассказывает, что в январе 2005 года ГПД инициировала проверку телевизионной панели международным аудитором Питером Менниром. В 2008 году проводилась проверка исследования National Readership Survey экспертом Жилем Буассоном. Эти проверки подтвердили соответствие панелей TNS международным стандартам. Информация о деятельности ГПД распространяется в профессиональных кругах достаточно широко. Например, Даниил Бородин, отвечая на вопрос о наличии в России внешнего аудита панелей, назвал именно деятельность ГПД.

Онлайн-панель

С развитием новых методов исследования на рынке появляются и новые аудиторские компании. В области онлайн-исследований это происходит следующим образом. Американская компания Mktg, Inc, являющаяся признанным независимым аудитором, выбирает несколько провайдеров, владеющих крупнейшими панелями в той или иной стране, и один раз в полгода сравнивает показатели каждой из них со средними по всем аудируемым панелям. По словам Александра Шашкина, генерального директора компании OMI, таким образом проверяется один из важнейших показателей панели - стабильность данных, т.е. повторяемость результатов трекинговых или периодических исследований, проводимых с определенным лагом по времени.

В ходе замеров Mktg определяются однородность социально-демографических показателей и поведенческие реакции панелистов, касающиеся как потребительского поведения, так и особенностей заполнения ими анкет (аномальная высокая скорость и т.п.). Владелец панели не имеет доступа к его результатам, его функция заключается лишь в отправке приглашений к опросам, все данные собирает и обрабатывает Mktg. За эту работу компания, подвергающаяся проверке, платит аудитору. Зачем? Даниил Бородин утверждает, что «исследовательская компания, которая заинтересована в долгосрочной работе на рынке, никогда не будет препятствовать проведению экспертиз, а наоборот, будет всячески содействовать данному процессу и привлекать для этого различных экспертов». Но есть более прагматичные причины. В случае, если проверка пройдет успешно, аудируемая компания получает «знак качества».

Компаниям, чьи панели соответствуют требованиям Mktg, Inc, т.е. укладываются в диапазон средних значений, присваиваются сертификаты. Их вид - золотой, серебряный или бронзовый - определяется сроком, в течение которого компания выдерживает на надлежащем уровне показатели панели. Например, в мае 2010 года компании OMI присвоен серебряный сертификат - параметры панели стабильны в трех волнах подряд, начиная с сентября 2009 года. Всего в России Mktg аудирует 7 панелей.

Динамика результатов аудита панели OMI в сравнении cо средними данными российских панелей за три периода. ( по доходу респондентов)

Источник: OMI

Динамика результатов аудита панели OMI в сравнении со средними данными российских панелей. ( по cегментам покупательского поведения)

Источник: OMI

Подобная активность исследователей, работающих с респондентами "в удаленном режиме", не случайна. Сомневающихся в том, что данные реальны, а не "виртуальны" хватает, ведь клиенту в данном случае особенно сложно проверить работу ресечеров. В этом случае независимая экспертиза становится чуть ли не обязательным элементом исследовательского бизнеса.