Методология: как мы проектируем, проверяем и представляем исследования

Стандарты

Мы работаем по принципам Международного кодекса ICC/ESOMAR по исследованиям рынка, общественного мнения и социальным исследованиям. На практике это означает, что исследования отделены от продаж, респонденты участвуют добровольно и знают, кто и зачем собирает данные, дети и другие уязвимые группы получают дополнительную защиту, а результаты излагаются честно, включая те, которые могут не понравиться заказчику.

Мы используем ISO 20252 — международный стандарт процессов исследований рынка, общественного мнения и социальных исследований — как ориентир для планирования, документирования и проверки проекта. Мы не заявляем о сертификации по нему: его структура служит нам контрольным списком, чтобы каждый этап, от брифа до архивирования, оставлял документальный след.

Персональные данные обрабатываются в соответствии с GDPR. Респонденты дают информированное согласие, мы собираем только то, что нужно для исследования, а идентифицирующие сведения отделяются от ответов или удаляются до передачи файлов данных.

Выборка и статистика

Любая выборка начинается с определения генеральной совокупности: кого именно должны описывать результаты, в какой стране и на какую дату. Затем мы выбираем основу выборки, то есть список или источник, из которого отбираются респонденты, и указываем, в чём она расходится с генеральной совокупностью.

Большинство потребительских опросов используют квотную выборку из онлайн-панелей или телефонных баз с квотами по возрасту, полу и региону, которые отражают официальную статистику населения. Когда возможна вероятностная выборка, например из полного списка клиентов, мы применяем случайный или стратифицированный отбор. После полевого этапа небольшие перекосы исправляются взвешиванием, а мы указываем эффективный размер выборки, чтобы было видно, сколько точности теряется из-за взвешивания.

Размер выборки определяется точностью, нужной в самой малой значимой подгруппе, а не круглым числом. При уровне доверия 95% около 385 интервью дают погрешность примерно ±5 процентных пунктов для результата около 50%; арифметику показывает наш калькулятор размера выборки. Для невероятностных выборок мы приводим погрешность как ориентир, а не как строгую границу.

Контроль качества

Контроль полевого этапа

Телефонные интервью прослушиваются в реальном времени или по записям, и часть работы каждого интервьюера проверяется. Личные интервью и визиты тайных покупателей сверяются с отметками времени, геолокацией и, где возможно, чеками. Ход онлайн-опросов ежедневно отслеживается по заполнению квот, точкам прерывания и необычным паттернам ответов, а перед полным запуском мы проводим мягкий запуск, чтобы выявить ошибки в логике переходов.

Очистка данных

Перед анализом каждый массив данных опроса проходит документированную очистку данных:

• Спидеры: респонденты, завершившие анкету намного быстрее медианного времени для своего маршрута по ней, удаляются.
• Стрейтлайнинг: одинаковые ответы во всех строках табличного вопроса, особенно если утверждения направлены в противоположные стороны, отмечаются и проверяются.
• Проверки внимания: вопросы с инструкцией по ответу выявляют респондентов, которые не читают вопросы.
• Открытые ответы: бессмыслица, скопированный текст и ответы не по теме отмечаются, как и дублирующиеся респонденты.
• Согласованность: противоречия, например подробная оценка продукта человеком, который им не пользуется, проверяются в каждом случае отдельно.

В отчёте указывается, сколько интервью было удалено и почему, чтобы вы могли сами оценить очищенную выборку.

Качественные методы

Качественное исследование начинается с рекрутинга. Скринер проверяет, что каждый участник соответствует профилю, недавно не участвовал в аналогичных исследованиях и не связан с категорией профессионально. В каждую группу мы набираем участников с разными профилями, чтобы одна точка зрения не доминировала.

Модерация ведётся по заранее согласованному с вами гайду для дискуссии, но модератор может развивать неожиданные темы. Фокус-группы и глубинные интервью записываются с согласия участников и расшифровываются; наблюдатели могут следить за ходом в реальном времени, на месте или онлайн, если формат это позволяет.

Анализ тематический: расшифровки кодируются по исследовательским вопросам и по темам, которые вытекают из самого материала, а выводы подкрепляются дословными цитатами. Мы прямо говорим, что качественное исследование может показать — причины, язык, барьеры и идеи, — и чего не может: доли или объёмы рынка, для которых нужен опрос.

Открытые данные на сайте

Открытые данные на этом сайте взяты у трёх первичных издателей: Евростата — статистика по домохозяйствам, компаниям и отраслям всего ЕС, World Development Indicators Всемирного банка — население и ВВП, и CBS StatLine — потребительское доверие в Нидерландах. На каждом графике указаны издатель, код набора данных и последний показанный год, поэтому любую цифру можно проверить в источнике.

Данные загружаются напрямую из баз издателей, а не копируются со вторичных сайтов, и обновляются с выходом новых релизов. Мы не корректируем и не досчитываем официальные значения; если в ряду есть пробелы, например годы, когда модуль обследования Евростата не проводился, график показывает пробел, а не заполняет его. В отчётах у каждой цифры из кабинетного исследования прямо в тексте указаны источник и год. См. раздел рыночных данных.

Как мы используем ИИ

Мы используем инструменты ИИ там, где они экономят время, не подменяя профессионального суждения: для первичного кодирования открытых ответов, черновых резюме расшифровок интервью, черновиков переводов и поискового этапа кабинетного исследования. Каждый результат работы ИИ проверяется исследователем перед использованием, коды и темы сверяются с исходными ответами, а переводы проверяет носитель языка.

Мы не используем синтетических респондентов вместо реальных. Языковые модели могут помочь сформулировать гипотезы или проверить анкету на понятность, но их ответы — не данные о вашем рынке. Персональные данные и конфиденциальные материалы клиента не вводятся в инструменты ИИ без договорной основы, которая их защищает. Подробнее об ограничениях — в нашей статье о маркетинговых исследованиях с помощью ИИ.

Частые вопросы

Вы используете вероятностные или невероятностные выборки?

Оба типа, в зависимости от доступной основы выборки. В опросах ваших клиентов или членов организации часто можно использовать случайную выборку из полного списка. Потребительские опросы обычно опираются на онлайн-панели или телефонные базы с квотами, то есть на невероятностные выборки. Мы чётко указываем, какой тип использовался, и для квотных выборок трактуем погрешность как ориентировочную, а не точную.

Сколько интервью вы удаляете при очистке данных?

Это зависит от источника выборки, длины анкеты и целевой группы, поэтому фиксированной нормы удаления у нас нет. В каждом отчёте указано, сколько завершённых интервью было удалено, по какой причине и набирались ли замены, чтобы вы видели, как очистка повлияла на итоговую выборку.

Можем ли мы наблюдать за фокус-группами или слушать интервью?

Как правило, да. За фокус-группами можно наблюдать вживую или по видеосвязи, а также прослушивать отдельные телефонные интервью или записи при условии, что участники дали на это согласие. Наблюдатели не участвуют в дискуссии и соблюдают те же правила конфиденциальности, что и исследовательская команда.

Вы взвешиваете данные опросов?

Если полученная выборка отличается от генеральной совокупности по характеристикам, которые влияют на результаты, мы взвешиваем её по известным данным о населении, как правило по возрасту, полу и региону. Мы держим веса в разумных пределах, указываем эффективный размер выборки и приводим невзвешенные базы в таблицах, чтобы было видно, насколько сильно влияет взвешивание.

Вы пишете отчёты с помощью ChatGPT?

Ни один отчёт не пишется инструментом ИИ. Анализ и выводы пишут исследователи. Мы можем использовать ИИ для ускорения отдельных задач, например первичного кодирования открытых ответов или черновика резюме расшифровки, но исследователь сверяет каждый такой результат с исходными данными, прежде чем что-либо попадёт в отчёт.