Методологія: як ми проєктуємо, перевіряємо та подаємо результати досліджень

Стандарти

Ми працюємо за принципами Міжнародного кодексу ICC/ESOMAR щодо маркетингових, соціологічних і соціальних досліджень. На практиці це означає, що дослідження відокремлене від продажів, респонденти беруть участь добровільно і знають, хто збирає дані та навіщо, діти й інші вразливі особи отримують додатковий захист, а результати подаються чесно, навіть ті, що можуть не сподобатися клієнтові.

ISO 20252, міжнародний стандарт для процесів маркетингових, соціологічних і соціальних досліджень, ми використовуємо як орієнтир для того, як планувати, документувати й перевіряти проєкт. Ми не заявляємо про сертифікацію за ним; ми використовуємо його структуру як контрольний список, щоб кожен етап — від брифу до архівування — залишав по собі документальний слід.

Персональні дані обробляються згідно з GDPR. Респонденти дають інформовану згоду, ми збираємо лише те, що потрібно для дослідження, а ідентифікаційні дані відокремлюються від відповідей або видаляються до передачі файлів даних.

Вибірка та статистика

Кожна вибірка починається з визначення генеральної сукупності: кого саме мають описувати результати, в якій країні та на яку дату. Потім ми обираємо основу вибірки — список або джерело, з якого відбираються респонденти, — і вказуємо, у чому вона не збігається з генеральною сукупністю.

Більшість споживчих опитувань використовує квотну вибірку з онлайн-панелей або телефонних баз, із квотами за віком, статтю та регіоном, що відображають офіційну статистику населення. Там, де можлива ймовірнісна вибірка, наприклад із повного списку клієнтів, ми застосовуємо випадковий або стратифікований відбір. Після польового етапу невеликі перекоси виправляються зважуванням, а ми повідомляємо ефективний обсяг вибірки, щоб було видно, скільки точності коштує зважування.

Обсяг вибірки випливає з точності, потрібної для найменшої важливої підгрупи, а не з круглого числа. За рівня довіри 95% близько 385 інтерв’ю дають похибку вибірки приблизно ±5 відсоткових пунктів для результату близько 50%; наш калькулятор обсягу вибірки показує розрахунок. Для неймовірнісних вибірок ми подаємо похибку як орієнтир, а не як сувору межу.

Контроль якості

Контроль польового етапу

Телефонні інтерв’ю прослуховуються наживо або в записі, а частина роботи кожного інтерв’юера перевіряється. Особисті інтерв’ю та візити таємного покупця перевіряються за часовими мітками, геолокацією та чеками, якщо вони є. Онлайн-польовий етап щодня відстежується за наповненням квот, точками переривання анкети та незвичними патернами відповідей, а перед повноцінним польовим етапом ми проводимо тестовий запуск, щоб виявити помилки в логіці переходів.

Очищення даних

Перед аналізом кожен масив даних опитування проходить задокументоване очищення даних:

• Занадто швидкі респонденти (speeders): ті, хто завершує анкету значно швидше за медіанний час для свого маршруту, вилучаються.
• Одноманітні відповіді (straightlining): однакові відповіді в усіх рядках матриці, особливо там, де твердження спрямовані протилежно, позначаються та переглядаються.
• Перевірки уважності: запитання з інструкцією щодо відповіді виявляють респондентів, які не читають запитань.
• Відкриті відповіді: беззмістовні, скопійовані та не пов’язані із запитанням відповіді позначаються разом із дублікатами респондентів.
• Узгодженість: суперечності, наприклад коли той, хто не користується продуктом, детально його оцінює, перевіряються в кожному випадку окремо.

Звіт зазначає, скільки інтерв’ю вилучено і чому, тож ви можете самі оцінити очищену вибірку.

Якісні методи

Якісне дослідження починається з рекрутингу. Скринер перевіряє, що кожен учасник відповідає профілю, нещодавно не брав участі в подібних дослідженнях і не має професійного зв’язку з категорією. У кожній групі ми поєднуємо різні профілі, щоб не домінував один тип поглядів.

Модерація ведеться за гайдом для дискусії, заздалегідь погодженим із вами, проте модератор може йти за несподіваними думками учасників. Фокус-групи та глибинні інтерв’ю записуються за згодою учасників і транскрибуються; спостерігачі можуть стежити наживо або онлайн, якщо це дозволяє формат.

Аналіз тематичний: транскрипти кодуються відповідно до дослідницьких запитань і тем, що виникають із самого матеріалу, а висновки підкріплюються дослівними цитатами. Ми прямо кажемо, що може показати якісне дослідження — причини, мову, бар’єри та ідеї, — і чого воно не може, наприклад часток чи розміру ринку, для яких потрібне опитування.

Відкриті дані на цьому сайті

Відкриті дані на цьому сайті походять від трьох першоджерел: Євростату для статистики ЄС щодо домогосподарств, бізнесу та галузей, World Development Indicators Світового банку для населення та ВВП і CBS StatLine для споживчої довіри в Нідерландах. На кожному графіку вказано видавця, код набору даних і останній показаний рік, тож будь-яку цифру можна перевірити в джерелі.

Дані беруться безпосередньо з баз видавців, а не копіюються з вторинних сайтів, і оновлюються з виходом нового релізу. Ми не коригуємо й не оцінюємо офіційні значення; якщо в ряді є пропуски, наприклад роки, коли модуль обстеження Євростату не проводився, графік показує пропуск, а не заповнює його. У звітах кожна цифра з кабінетного дослідження супроводжується в тексті джерелом і роком. Див. розділ ринкових даних.

Як ми використовуємо ШІ

Ми використовуємо інструменти ШІ там, де вони заощаджують час, не замінюючи фахового судження: для попереднього кодування відкритих відповідей, чернеток резюме транскриптів інтерв’ю, перших чернеток перекладів і пошукового етапу кабінетного дослідження. Кожен результат роботи ШІ перевіряє дослідник перед використанням, коди й теми звіряються з первинними відповідями, а переклади перевіряє носій мови.

Ми не використовуємо синтетичних респондентів замість реальних. Мовні моделі можуть допомогти сформулювати гіпотези чи перевірити анкету на зрозумілість, але їхні відповіді не є даними про ваш ринок. Персональні дані та конфіденційні матеріали клієнтів не вводяться в інструменти ШІ без договірної основи, яка їх захищає. Наша стаття про дослідження ринку за допомогою ШІ докладніше розглядає ці обмеження.

Поширені запитання

Ви використовуєте ймовірнісні чи неймовірнісні вибірки?

І ті, й інші — залежно від наявної основи вибірки. Опитування ваших власних клієнтів чи членів організації часто можуть спиратися на випадкову вибірку з повного списку. Споживчі опитування зазвичай використовують онлайн-панелі або телефонні бази з квотами, тобто неймовірнісні вибірки. Ми чітко вказуємо, який тип використано, і тлумачимо похибку для квотних вибірок як орієнтовну, а не точну.

Скільки інтерв’ю ви вилучаєте під час очищення даних?

Це залежить від джерела вибірки, довжини анкети та цільової групи, тож ми не працюємо з фіксованою квотою вилучень. Кожен звіт зазначає, скільки заповнених анкет вилучено, з якої причини і чи було рекрутовано заміну, щоб ви бачили, як очищення вплинуло на підсумкову вибірку.

Чи можемо ми спостерігати за фокус-групами або слухати інтерв’ю?

Зазвичай так. За фокус-групами можна спостерігати наживо або через відеозв’язок, а вибрані телефонні інтерв’ю чи записи можна прослухати, якщо учасники на це погодилися. Спостерігачі не беруть участі в дискусії та дотримуються тих самих правил конфіденційності, що й дослідницька команда.

Чи зважуєте ви дані опитувань?

Коли отримана вибірка відрізняється від генеральної сукупності за характеристиками, що впливають на результати, ми зважуємо її до відомих показників населення, як правило за віком, статтю та регіоном. Ми тримаємо ваги в розумних межах, повідомляємо ефективний обсяг вибірки та показуємо незважені бази в таблицях, щоб ви бачили, наскільки зважування важливе.

Чи пишете ви звіти за допомогою ChatGPT?

Жоден звіт не пише інструмент ШІ. Аналіз і висновки пишуть дослідники. Ми можемо використовувати ШІ для пришвидшення окремих завдань, як-от попереднього кодування відкритих відповідей чи чернетки резюме транскрипту, але дослідник перевіряє кожен результат на відповідність первинним даним, перш ніж щось потрапить до звіту.