Кейс-стаді: як перевірити та протестувати базу знань освітньої програми за допомогою Card Sorting

У минулі роки команда організаторів HIVE School постійно отримували одні й ті самі запитання від менторів і лекторів — як до початку навчального процесу, так і під час. Через це з’явилося багато документів, які лише нагромаджувалися, але не допомагали: матеріали були розкидані по різних сховищах і чатах. Шукати в них інформацію було складно. В результаті запитань ставало тільки більше.

Щоб розв’язати цю проблему, команда HIVE Design School вирішила створити чітко структуровану базу знань (KB), де ментори й лектори змогли б швидко знаходити необхідну інформацію. Після ретроспектив і кількох раундів інтерв’ю з менторами та лекторами з’явилась чернетка нової структури. І от — момент істини: час перевірити, чи все працює. З цього й починається ця історія.

Існує безліч способів організувати інформацію. Враховуючи основну мету, я склала список UX-методик, які можуть допомогти швидко досягти якісного результату:

• структурувати дані за методом LATCH;
• влаштувати First-Click тест;
• провести юзабіліті-тестування;
• виконати tree testing (тестування ієрархії);
• здійснити сортування карток.

Розберемо кожен з методів окремо та оцінимо доцільність їх використання для нашої задачі.

LATCH

LATCH був би доречним для початкової фази, проте на даному етапі база знань уже існувала. До того ж цей підхід орієнтується на впорядкування за Локацією, Абеткою, Часом, Категорією або Ієрархією, що не відповідало користувацьким сценаріям у нащих користувачів. Наша мета - не просто класифікувати матеріали, а створити зручну систему пошуку, враховуючи природні патерни пошуку менторів та лекторів.

First-click testing («Тест першого кліку»)

First-click тест був би однією з можливих альтернатив. Цей підхід ефективний для перевірки початкових елементів навігації — він показує, наскільки природно користувачі визначають перший крок для пошуку необхідного контенту. Проте він не забезпечив би повного розуміння всієї структури бази даних та не дозволив би оцінити чи вірно розміщені навчальні матеріали. Оскільки мій фокус був на загальній систематизації, First-click тесту було б недостатньо для отримання якісних інсайтів.

Usability testing (Юзабіліті-тестування)

Юзабіліті-тестування зазвичай є цінним методом, оскільки дозволяє спостерігати за реальними користувачами, які взаємодіють із системою. Однак, для нашої мети, цей метод виявився надто трудомістким. Проведення повномасштабних тестів юзабіліті вимагало б більше підготовки, модерації сесій та розгорнутого аналізу, що зробило його менш ефективним порівняно з іншими підходами.

Tree testing («Деревоподібне» тестування)

Tree testing виглядав перспективним варіантом, оскільки допомагає оцінити якість навігації, пропонуючи учасникам відшукати певні матеріали. Проте, база знань що ми мали протестувати, мала спрощену структуру, тобто користувачам не доводилося проходити через численні рівні вкладеної інформації. Оскільки Tree testing оцінювання підходить для перевірки більш глибоко організованого контенту, цей метод також не був оптимальним рішенням.

Card sorting (Сортування карток)

Метод сортування карток зрештою став найоптимальнішим рішенням. Це простий та результативний спосіб дослідити, як користувачі інтуїтивно організовують та систематизують контент. Оскільки наша база знань включала до 20 елементів, це був зручний обсяг для аналізу, і процес навіть міг бути проведений у немодерованому форматі для прискорення отримання результатів.

Оскільки card sorting було обрано як основний метод UX-дослідження, пропоную розглянути його ключові аспекти. Детальний чекліст ви можете знайти в моїй статті: Card Sorting 101.

Визначаємо тип дослідження

Для цього дослідження, я обрала дистанційне, модероване, відкрите карткове сортування. Дистанційний підхід дозволив легко узгодити тест-сесії з графіками учасників. Завдяки модерованому тестуванню я могла фіксувати коментарі учасників в реальному часі. Також було простіше допомогти їм швидко адаптуватися до онлайн-інструменту, який я використовувала. Крім того, формат відкритого карткового сортування допоміг уникнути упередженості, пов’язаної із заздалегідь визначеними групами карток.

Інструменти

Існує чимало онлайн-сервісів для проведення карткового сортування, але не всі вони є безкоштовними. Проте, якщо кількість карток невелика, деякі сервіси дозволяють провести дослідження безкоштовно.

Для цього проєкту я використовувала такі інструменти для організації, проведення та аналізу дослідження:

Підготовка карток для сесії сортування

Я підготувала 8 карток для лекторів і 15 — для менторів. Щоб зручно керувати контентом, спершу я впорядкувала картки в Airtable, зазначивши їхні початкові групи. Важливою частиною підготовки є перенесення всіх карток до онлайн-інструменту, який ви плануєте використовувати. У моєму випадку це був kardSort, і приклад інтерфейсу можна побачити на скріншоті нижче.

Інтерфейс екрана, джерело: kardSort

Підготовка скрипту та інструкцій

Для модерованих сесій особливо важливо заздалегідь підготувати вступний скрипт, інструкції та запитання для обговорення після тесту.

1. Вступний скрипт: коротке привітання та чітке пояснення цілей сесії.
2. Інструкції: пояснення, що саме мають зробити учасники, і прохання згрупувати елементи в зрозумілий для них спосіб.
3. Запитання після тестування: заготовлені фрази на кшталт «Чому ви об’єднали ці елементи?» або «Що було незрозумілим?». Вони допомагають виявити інсайти та повторювані шаблони у відповідях.
   

Пошук учасників для тестування

Щоб отримати релевантні результати після сесій із сортування карток, зазвичай використовують систему фільтрації для відбору учасників із потрібним досвідом. У моєму випадку я запросила колишніх менторів і лекторів, які вже брали участь у попередніх потоках HIVE Design School, аби отримати максимально релевантний фідбек.

Оскільки чорновий варіант бази знань уже був створений на основі інтерв’ю та CJM(customer journey map), я обрала лише по 5 учасників для кожної ролі (усього 10 осіб) для участі в кард-сортингу.

Якби дослідження проводилось на більш ранньому етапі, така кількість могла б бути недостатньою для статистичної валідності. Але в нашому випадку цього виявилося цілком достатньо.

Вибір віддаленого підходу для сортування карток дає гнучкість — ви можете проводити модеровані сесії або дозволити учасникам виконувати завдання самостійно.

Якщо ви модеруватимете сесію, пам’ятайте основні принципи юзабіліті-досліджень: створіть сприятливу атмосферу, допоможіть учаснику почуватися комфортно, дайте чіткі інструкції — і відійдіть убік. Ваше головне завдання — переконатися, що учасник розуміє, що саме від нього очікується, надавши лаконічні та зрозумілі пояснення.

Нагадайте, що потрібно думати вголос, і підкресліть, що немає правильних чи неправильних відповідей. Ви не оцінюєте учасника — ви лише хочете побачити, як саме він би інтуїтивно згрупував інформацію. Залишайтесь дружніми й готовими підтримати, але водночас будьте чіткими та послідовними.

Під час сесії зосередьтесь на спостереженні за діями користувача та уважно слухайте його аргументи. Після того як учасник завершить сортування, приділіть кілька хвилин спільному обговоренню. Поставте уточнювальні запитання, щоб зрозуміти логіку його рішень — особливо щодо карток, які викликали труднощі. Такі інсайти допоможуть виявити слабкі місця і повторювані патерни.

Після завершення всіх запланованих сесій кард-сортингу настав час проаналізувати результати. Існує кілька способів аналізу таких даних — наприклад, можна застосовувати статистичні методи, такі як кластерний аналіз. Варто також згадати про перевагу віддаленого кард-сортингу: більшість онлайн-інструментів автоматично виконують частину статистичного аналізу, тож вам залишається лише інтерпретувати результати.

Два найпоширеніші та найефективніші способи інтерпретації результатів кард-сортингу — це матриця подібності та дендрограма (ієрархічна кластерна діаграма).

Матриця подібності (Similarity matrix)

Це матриця, яка показує відсоток учасників, що згрупували певну пару карток разом. Якщо кілька учасників вважають, що два елементи належать до однієї категорії, це сигнал, що їх варто об’єднати і в структурі інформаційної архітектури.

Приклад матриці подібності, джерело: Maze

Дендрограма

Також відомі як деревоподібні діаграми, це ієрархічні візуалізації, створені за допомогою алгоритмів кластеризації. Вони демонструють групування пов’язаних карток на основі подібності, часто базуючись на даних із матриці подібності.

Приклад дендрограми з особистого кейс-стаді

Якби я мала обрати лише один спосіб, я б точно вибрала дендрограми! Особисто мені їх простіше інтерпретувати, бо вони наочно показують, як сформовані групи.

Але варто бути обережним — не всі дендрограми однакові. Деякі інструменти створюють їх, використовуючи різні методи кластерингу (сluster linkage criteria). Ці методи впливають на те, як формуються кластери, а отже — на подальше трактування структури. Тож обов’язково перевірте, як саме це реалізовано у вашому інструменті.

Візуальна репрезентація методів класторізації

Одиничне зв’язування (Single-linkage clustering)

Визначення: вимірює мінімальну відстань між будь-якою парою точок із двох кластерів.
Коли застосовувати: підходить для наборів даних, де потрібно виявити витягнуті або нерегулярні кластери.

Повне зв’язування (Complete-linkage clustering)

Визначення: вимірює максимальну відстань між будь-якою парою точок із двох кластерів.
Коли застосовувати: ідеально підходить, якщо бажано отримати чітко відокремлені, сферичні кластери.

Середнє зв’язування (Average-linkage clustering)

Визначення: обчислює середню відстань між усіма парами точок із двох кластерів.
Коли застосовувати: добре працює для наборів даних із помірною щільністю та варіативністю кластерів.

Через обмеження, пов’язані з NDA, я не можу показати реальний зміст карток. Але натомість, я позначила на діаграмах наявну структуру (нашу відправну точку) кольоровими маркерами. Почнімо з першої частини результатів — бази знань для лекторів.

Результати сортування карток із лекторами

Дендрограми: представлення результатів сортування карток

Для бази знань для лекторів початковою точкою були 8 карток, розподілених на 3 групи.

Метод одиничного зв’язування (Single-linkage clustering) охопив лише 60% вибірки, що є недостатнім для формулювання надійних висновків — це призвело б до надмірної сегментації груп.

Дендрограми, сформовані методом кластеризації з одиничним зв’язком

Методи середнього (70%) та повного (80%) (Complete and Average-linkage clustering) зв’язування дали однакові результати кластеризації, розподіливши картки на чотири сталі категорії. Ці кластери добре відповідали очікуванням учасників.

Дендрограми, сформовані методами кластеризації із середнім зв’язком та повним зв’язком

На основі результатів та зворотного зв’язку від учасників було запропоновано два доцільні варіанти покращення наявної структури:

• Варіант 1: Зберегти поточну тригрупову структуру, але трохи змінити розміщення вмісту — це зачепить близько 50% карток.
• Варіант 2: Розширити структуру до чотирьох груп, що також вплине приблизно на 50% карток.

З огляду на високий рівень узгодженості (80%) щодо нових груп та відносно невелику кількість карток, наразі немає потреби створювати абсолютно нові категорії — достатньо реорганізації наявних груп.

Результати сортування карток із менторами

Для бази знань для менторів початковою точкою були 15 карток, розподілених на 5 груп.

Дендрограми: представлення результатів сортування карток

Метод одиничного зв’язування охоплює лише близько 50% вибірки, що є статистично слабким показником. Отримані кластери виглядають надто фрагментовано.

Дендрограми, сформовані методом кластеризації з одиничним зв’язком

Середнє зв’язування демонструє 60–70% узгодженості між учасниками й тісно відповідає початковій структурі. Оскільки наша мета не полягала в зменшенні кількості груп, рекомендовано орієнтуватися на охоплення вибірки на рівні 65% — це дозволяє зберегти баланс між узгодженістю і цілісністю поточної структури.

Дендрограми, сформовані методом кластеризації із середнім зв’язком

Кластеризація методом повного зв’язування (80%) дала майже ті самі результати, що й середнє зв’язування (65%), з однією відмінністю: утворенням окремої групи з однієї картки. Це вказує на те, що треба звернути увагу на контекст цієї конкретної картки при долученні її до конкретної групи.

Дендрограми, сформовані методом кластеризації з повним зв’язком

Для бази знань менторів структура, запропонована кластеризацією середнього зв’язування на рівні 65%, є найбільш збалансованою та узгодженою. Схожість результатів дендрограм середнього зв’язування з початковою структурою вражає: 80% карток залишилися в тих самих групах, попри попередню рандомізацію. Це ще раз підтверджує обґрунтованість початкового підходу до групування.

Дослідження за методом сортування карток підтвердило, що початкова структура бази знань була загалом ефективною — завдяки ретельній підготовчій роботі, побудованій на інтерв’ю з користувачами, мапах користувацького шляху (CJM) та аналізі їхніх задач.

Структура бази знань для менторів показала себе особливо добре — близько 80% угрупувань карток відповідали очікуванням користувачів, що вимагало лише незначних коригувань. База знань для лекторів виявила більше можливостей для покращення — близько 50% карток потребували перегрупування для досягнення більшої чіткості.

Ці результати підкреслюють важливість узгодження структури контенту з ментальними моделями користувачів та їх ролями.

Загалом, метод сортування карток виявився швидким і водночас потужним інструментом для валідації, що дозволив уточнити й покращити структуру без потреби в повному редизайні. Використання UX-методів, таких як сортування карток, для побудови освітньої інфраструктури — не лише можливо, а й дійсно ефективно.

Першоджерело