Количественные исследования онлайн – так ли права критика?

На пути исследователя-маркетолога всегда встречаются проблемы методологического характера. Например, для опросов – это проблемы формирования выборки, отклонений выборки, достижения репрезентативности результатов и т.п. Это отличительная черта всех количественных исследований вне зависимости от способа сбора данных – и онлайн, и оффлайн.

В этой статье мы приводим несколько аргументов, касающихся таких общих трудностей - некоторые факторы, к сожалению, можно лишь уменьшить, но не устранить; а некоторые проблемы решаются полностью.

Приведенные ниже довольно популярные «обвинения» могут успешно преодолеваться грамотным исследовательским подходом, и в частности, не относится к онлайн исследованиям, проводимым Gemius.

1. Отсутствие контроля над выборкой

Процедуры показов анкет тщательно готовятся с использованием детализированных настроек, чтобы сформировать максимально репрезентативную ко всему интернет-сообществу выборку.

Выборки онлайн-опросов формируются двумя способами:

  • Наши анкеты показываются на сайте или группе сайтов, удовлетворяющих требованиям схожести с генеральной совокупностью пользователей, и/или полноты охвата - близко к 100% пользователей (cookies), и/или концентрации целевой аудитории опроса на таком ресурсе.
  • Отправка e-mail’ов участникам онлайн-панели интернет-пользователей, согласно структуре исследуемой целевой аудитории.

Пока составляется выборка, мы утверждаем процедуры довзвешивания, чтобы устранить неточности, возникшие из-за различия структур выборки и генеральной совокупности (об этом позже). Данные относительно общей национальной структуры интернет-пользователей мы получаем из публичных оффлайн исследований или оффлайн-части мониторингового исследования gemiusAudience.

2. Для достижения достоверности выборки исследователь должен обладать базой данных с e-mail-адресами респондентов, а также получаемые результаты должны быть взвешены

Первое утверждение – неправда, и это аналогично для оффлайн-опроса.

Второе – правда, поэтому мы и довзвешиваем результаты на структуру генеральной совокупности.

Чтобы результаты опроса отражали мнение всего анализируемого сообщества (в данном случае – интернет-пользователей), выборка исследования должна в полной мере отражать его структуру.

В традиционных оффлайн исследованиях применяются случайная, неслучайная или псевдослучайная процедуры формирования выборки, а также существует множество внутренних подтипов и вариаций, зависящих от подхода конкретного агентства/исследовательского института.

Только часть таких методов использует список адресов или имен респондентов, и, тем не менее, выборка без фиксации каких-либо личных данных все равно успешно дает достоверные результаты – все зависит от алгоритма выбора респондентов исследования. Множество исследовательских агентств используют именно такой способ формирования выборки.

В случайной и неслучайной выборке появляется другая проблема – отсутствие или недостаточность отклика – т.е. часть респондентов выборки отказываются принимать участие в исследовании, по нежеланию или невозможности. Что, в свою очередь, может привести к искажению полученных результатов (большей частью к избытку числа заполненных анкет в одних группах и их недостатку в других), и тогда требуется процедура довзвешивания результатов.

Скорректированные данные, полученные при довзвешивании, становятся репрезентативными, только если переменные, взятые за основу для довзвешивания, строго взаимосвязаны с исследуемым феноменом. Исходя из нашего опыта, мы знаем, какие следует выбрать ключевые демографические переменные, характеризующие поведение пользователей в интернете, и используем их в процедуре довзвешивания.

3. Выборка – является предметом self-selection и поэтому изначально некорректна

На самом деле эта проблема гораздо шире и относится ко всем исследованиям как таковым – человеческий фактор или свобода воли (не каждый хочет заполнять анкету), вкупе с проблемой достижения нужного охвата по респондентам, дают известную проблему «отсутствия отклика». Обычно в оффлайн исследованиях процент отказов респондентов меньше, чем в онлайне, но и он иногда достигает 60% и более.

Для решения этой проблемы и в онлайн, и в оффлайн исследованиях используется ряд специальных процедур (таргетированные показы или рассылки, довзвешивание, квотированные выборки), чтобы подтвердить достоверность выборки и результатов.

Оценивая воздействие этой проблемы на достоверность результатов, следует помнить, что социологи уже давно определили отсутствие явной взаимосвязи между величиной отклонений/погрешности в результатах и процентом отклика респондентов (при условии, если соблюдаются принципы расчета объема выборки и величины стандартной ошибки).

4. Один пользователь может заполнить анкету несколько раз

Проблема характерна в основном для онлайн-опросов, однако для Gemius’а она совсем несущественна, так как наши анкеты показываются один раз одному пользователю (cookie). Механизм показов, используемый Gemius, исключает также все cookies, моложе даты начала показов, что предотвращает показы наших опросников пользователям, которые уже их заполнили и стерли после этого файлы cookie.

Конечно, возможность показа анкеты одному и тому же пользователю более одного раза все равно остается, если он использует одновременно разные компьютеры. Тем не менее, учитывая минимальную вероятность желания респондента заполнять один и тот же опросник дважды, это дает в остатке минимальное отклонение результатов исследования.

5. Опрос пользователей на нескольких сайтах – это получение только их точек зрения, а не мнения всего интернет-сообщества в целом. Соответственно результаты такого исследования нельзя отнести к обществу в целом, а только к ответившим на вопросы пользователям нескольких сайтов.

Gemius не ставит цели провести исследование, репрезентативное для всей генеральной совокупности населения страны, это пока невозможно сделать с помощью интернета, учитывая, что его проникновение, в частности в Украине, составляет около 13% по разным оценкам.

Однако мы проводим исследования, репрезентативные для сообщества интернет-пользователей определенной страны или региона. Показы наших исследовательских анкет осуществляются на таких сайтах или группах сайтов, чья структура пользователей такая же или очень похожа на структуру интернет-пользователей всей страны. Обычно мы выбираем сайты с охватом всего или большинства представителей интернет-сообщества.

Даже если охват сайтов менее 100%, мы контролируем структуру пользователей, что позволяет нам сформировать корректную выборку (такая же процедура используется в оффлайн исследованиях, например, CATI: известно, что только часть сообщества имеет доступ к стационарным телефонам из-за популярности мобильных телефонов и интернета, но, тем не менее, результаты CATI достоверны). Поэтому эта проблема решается в полной мере заданием фильтрующих механизмов опроса.

Разобрав данные критические замечания с объективной позиции, видно, что онлайн-исследования не так страшны и не так сильно отличаются от их традиционных вариантов. В то же время они обладают вполне очевидными отличительными преимуществами – такими как быстрота проведения, простота организации и значительно меньшие затраты. Что делает этот вид исследований все более привлекательным для заказчиков, тем более что и структура интернет-пользователей с каждым годом все быстрее приближается к структуре населения в целом.