Карточная сортировка в юзабилити

Карточная сортировка может ответить на множество вопросов, связанных со структурой. Например:

• Легко ли пользователь находит необходимую функцию?
• В правильной ли категории интернет-магазина находятся эти товары?
• Сколько пунктов меню верхнего уровня стоит сделать на сайте?
• Понимает ли пользователь, что произойдёт, если он перейдёт по этому пункту меню?
• Удачно ли соотносятся пункты меню первого и второго уровней?
• Хорошо ли названы категории?
• Стоит ли радикально менять структуру сайта?

При этом важно понимать, что она не ответит на вопросы, которые мало связаны со структурой продукта. Например, об удовлетворенности продуктом в целом, о качестве контента или приятности дизайна.

Обратная карточная сортировка — метод, при котором респондент ищет требующийся товар или функцию. Фактически этот момент не является сортировкой в прямом смысле слова. Мы предлагаем респонденту по очереди вопросы или задачи, а он/она ищет этот элемент в продукте. Например, мы открываем сайт банка и просим найти, где можно открыть накопительный счёт. Испытуемый выполняет задачу, а мы фиксируем первый клик, количество возвратов, факт достижения цели, количество затраченного времени. Обратная карточная сортировка предназначена для тестирования имеющейся архитектуры. С ее помощью можно протестировать как уже существующий продукт, так и прототип (например, макет в Figma).

Прямая карточная сортировка — метод, при котором респондент распределяет данные ему карточки на группы. Мы предлагаем респонденту список элементов контента, товаров или функций, а он/она классифицирует их наиболее логичным для себя способом. Например, мы предлагаем список услуг, которые оказывает типография, а респондент распределяет услуги по группам. Прямая карточная сортировка — метод, позволяющий нам создать архитектуру продукта, имея или даже не имя предварительных гипотез о том, как это лучше сделать. Последующие разновидности относятся именно к прямой карточной сортировке.

Итак, решая, прямая или обратная карточная сортировка нам нужна, мы принимаем решение о том, хотим мы создать структуру продукта или протестировать уже имеющуюся.

Открытая и закрытая карточная сортировка
Открытая карточная сортировка — метод, при котором респондент распределяет карточки по самостоятельно определяемым категориям. Респондент самостоятельно решает, сколько категорий сделать и как их назвать. В зависимости от того, как мы поставим задачу, категории могут быть одного уровня или многоуровневые (то есть каждая категория может делиться ещё и на подкатегории). Открытая карточная сортировка подойдёт нам в том случае, если мы ищем варианты будущей структуры и варианты наименований для категорий. В этом случае мы не задаём респондентам никакого основания для классификации, он решает все сам. В результате у нас может быть очень много вариантов, в том числе интересных, удобных и элегантных, но полученные данные скорее всего будут слишком разнообразными. За нами останется выбор наиболее удачного решения. А проверить, удачное ли решение мы приняли, поможет закрытая карточная сортировка.

Закрытая карточная сортировка — метод, при котором испытуемый распределяет карточки по заранее определённым категориям. Респондент не может добавлять новые категории, но может оставить какие-то карточки не рассортированными и предлагать другие названия для заданных категорий. Например, у нас могут быть определены пункты меню сайта, и мы просим респондента распределить данный эму контент по этим пунктам. Закрытая карточная сортировка позволяет нам проверять гипотезы об оптимальной структуре продукта. Например, мы выбрали несколько 2-3 варианта структуры из результатов открытой сортировки и пытаемся решить, какой вариант удачнее. Опираться можно на ту структуру, которая оставляет наименьшее количество неоднозначно рассортированных карточек.

Итак, выбирая между открытой и закрытой карточной сортировкой, мы выбираем, ищем ли мы варианты структуры или проверяем имеющиеся гипотезы.

Строгая и нестрогая карточная сортировка
Строгая карточная сортировка — вариант карточной сортировки, при котором каждая карточка может быть определена только в одну категорию. Это предполагает, что границы категорий достаточно жесткие и никак не пересекаются. Такой метод однозначно обоснован в том случае, если сортируемый элемент контента действительно невозможно размножить. Например, мы распределяем товары по полкам в офлайн магазине или выступающих по разным сценам / дням на музыкальном фестивале. Цифровые продукты обычно позволяют нам давать ссылку на определенный товар / услугу / функцию из разных точек входа, поэтому обязательства выбирать строгую карточную сортировку у нас нет.

Нестрогая карточная сортировка — вариант карточной сортировки, при которой одна и та же карточка может быть представлена в разных категориях. Это предполгает, что некоторые элементы находятся на грани разных категорий или границы категорий в целом не очень строгие. Например, при разработке структуры электронного меню кофейни эспрессо-тоник может располагаться и в категории "кофе", и в категории "холодные напитки". Нестрогая карточная сортировка не подходит нам, если по техническим или любым другим причинам кросслинкинг (ссылки между категориями) невозможны. Например, если мы проектируем офлайн продукт.

Итак, решая, строгая или нестрогая карточная сортировка нам нужна, мы решаем, возможен ли кросслинкинг в нашем продукте или нет.

Индивидуальная и групповая карточная сортировка
Индивидуальная карточная сортировка — вариант карточной сортировки, в которой каждый респондент принимает участие в одиночку. У нас может быть много респондентов, но каждый сортирует карточки сам, независимо от других респондентов. В этом случае мы получаем информацию о том, какое распределение кажется наиболее подходящим для каждого человека. Это позволяем собрать много разнообразных вариантов сортировки. С другой стороны, респондент не будет аргументировать свое решение, если мы его не спросим.

Групповая карточная сортировка — вариант карточной сортировки, в которой одновременно участвует больше одного респондента. Группа должна предложить один общий вариант классификации. В таком случае процесс принятия решения становится видимым: респонденты аргументируют друг для друга, почему они хотят положить каждую конкретную карточку в одну категорию, а не в другую. Это особенно ценно в случае спорных карточек. С другой стороны, мы можем меньше доверять финальной сортировке, ведь на решение влияет не только оптимальность классификации, но и способность каждого респондента аргументировать свое решение. Таким образом, может победить менее популярное решение, которое продвигает более авторитарный респондент. Групповую сортировку стоит делать модерируемой. Если мы не будем наблюдать за сортировкой, записывать аргументы и включать всех участников в дискуссию, мы потеряем все преимущества этого метода.

Итак, выбирая между индивидуальной и групповой карточной сортировкой, мы опираемся на то, важнее ли нам накопить аргументы в пользу финальной структуры или рассмотреть разнообразие вариантов.

Полная и частичная карточная сортировка Полная карточная сортировка — вариант карточной сортировки, при которой мы даем респонденту все варианты контента, товаров или функций, которые будут в финальном продукте. Это позволяет нам быть уверенными в том, что получившаяся архитектура учитывает все разнообразие продукта. Другими словами, не появится контента (товара, услуги), который некуда будет расположить в структуре продукта. Но есть ограничения: многие продукты (например, интернет-магазины) включают десятки тысяч элементов или даже больше. Сортировка такого многообразия очень затруднительна. Удержать все карточки в памяти невозможно, а последовательная сортировка и пересортировка может занять часы работы. Рекомендуется использовать полную карточную сортировку только в том случае, если мы хотим классифицировать около 200 карточек или меньше.

Частичная карточная сортировка — вариант карточной сортировки, при которой респондент классифицирует не все возможные элементы контента, товаров или функций, а лишь часть из них. Это обоснованно в том случае, если элементов для сортировки очень много — более 200 карточек. Проблемы этого метода в том, что структура продукта учитывает только ту часть карточек, которую мы дали респонденту. То есть оставшиеся элементы контента (товаров, функций) могут не вписываться в получившуюся структуру, и ее придется перерабатывать. К отбору карточек для частичной сортировки можно подходить по-разному:

• Давать каждому респонденту свою случайную выборку карточек из общего пула. Тогда мы получим много вариантов структуры, которые можно будет после соединить таким образом, чтобы она учитывала все разнообразие нашего продукта.
• Самостоятельно отбросить те карточки, которые очень похожи друг на друга, и предложить для сортировки только те, возможная структура которых не очевидна. Мы должны помнить, что любое наше решение может быть не оптимальным, и получившуюся таким образом структуру стоит еще несколько раз протестировать.
• Проводить частичную сортировку по отделам. Например, если у нас есть товары интернет-магазина одежды, предлагать по отдельности сортировку верхней одежды, обуви, аксессуаров и других строго определенных категорий.

Итак, выбор между полной и частичной карточной сортировкой связан с тем, меньше ли у нас 200 элементов для сортировки или больше.

"Качественная" и "количественная" карточная сортировка По способу проведения эти виды карточной сортировки не отличаются. Отличаются только по способу анализа данных.

“Качественная" карточная сортировка предполагает, что мы анализируем каждую получившуюся структуру своими руками, самостоятельно ищем взаимосвязи, удачные идеи, спорные карточки и иные инсайты. Это позволяет нам собрать очень много информации и заметить множество деталей, оценить разнообразие возможных структур. На основные вопросы таким образом мы сможем ответить. С другой стороны, таким образом удастся оценить результаты небольшого количества сортировок: это долго и энергозатратно. Заказчику тоже непросто презентовать исследование, в котором участвовало, например, 5 человек. Элементы "качественной" сортировки стоит включать в любое исследование.

“Количественная" карточная сортировка предполагает, что мы собираем данные многих респондентов, а основной анализ за нас проводят специализированные программы: статистические пакеты и программы для визуализации. "Количественная" сортировка позволяет нам собрать статистику, то есть получить обоснованный ответ на вопросы, начинающиеся со слов "какой процент пользователей". Мы можем узнать, какому проценту пользователей удобна или неудобна предложенная структура, какой процент пользователей испытывает затруднения при поиске тех или иных продуктов или функций, какой процент пользователей понимает, что мы имеем в виду, называя категорию таким образом и так далее. Результаты "количественной" сортировки можно разными способами визуализировать: это позволяет нам проще принимать решения и легче презентовать полученные результаты заказчику.

Итак, выбирая между "качественной" и "количественной" карточной сортировкой, мы решаем, что для нас важнее: инсайты (в том числе о названиях категорий) или статистика.

Офлайн и онлайн карточная сортировка Офлайн карточная сортировка предполагает, что респондент участвует в исследовании очно, в нашем присутствии. Обычно в таком случае респондент более мотивирован, мала вероятность "случайных" результатов (то есть респондент просто отказывается включаться в решение задачи), а у нас появляется возможность задать все вопросы, которые у нас возникают к результатам сортировки. То есть полученным результатам можно доверять в большей степени, а по дороге еще получить много инсайтов. В то же время этот тип сортировки более требователен: нужно специальное пространство; сложнее найти респондентов, готовых приехать для участия в исследовании; офлайн сортировка требует больше времени.

Онлайн карточная сортировка предполагает, что респондент участвует в исследовании по сети. Это позволяет нам собрать больше респондентов за малое время, не требует специального пространства и нашего участия в процессе. С другой стороны, это требует использование специальных приложений и сервисов, а респонденты, как правило, менее добросовестно относятся к прохождению исследования.

Итак, решая, офлайн или онлайн сортировку использовать, мы решаем, важнее ли для нас инсайты (в том числе о сложностях сортировки отдельных элементов) или статистика.

Модерируемая и немодерируемая карточная сортировка Модерируемая карточная сортировка предполагает, что исследователь постоянно присутствует во время сортировки. Это позволяет задавать респонденту вопросы и уточнять, почему классификация происходит так, а не иначе, то есть находить инсайты. Почему респондент выделил именно такие категории, с какими карточками возникли вопросы, что значит это название и можно ли назвать категорию по-другому, понятны ли все карточки и так далее. С другой стороны, этот метод требует больше времени и энергии исследователя, а респондент может испытывать дискомфорт в нашем присутствии.

Немодерируемая карточная сортировка предполагает, что респондент работает самоятотельно, а мы получаем только финальный результат сортировки. Это удобно, потому что мы можем проводить параллельно много сортировок. С другой стороны, решения респодента не всегда могут быть для нас понятны, а также мы потеряем много информации: были ли другие варианты структуры, почему респодент принял такое решение при сортировке, были ли проблемы с какими-то карточками.

Итак, выбирая, использовать ли модерируемую или немодерируемую карточную сортировку, мы решаем, важнее ли нам получить инсайты (в том числе об основании для классификации) или статистика.

• Разнообрание вариантов структуры не теряется за статистикой.
• Мы видим, как каждый респодент выбирал название категорий и можем понять, на каком основании была сделана каждая сортировка.
• Какой-то респодент может предложить настолько простую и элегантную сортировку, до которой не дошли другие, но она оптимально решает нашу задачу.

С другой стороны, у качественного анализа есть важное ограничение: наша субъективная интерпретация. Если мы посчитали какой-то вариант структуры или какое-то название категории наиболее удачным, это не значит, что пользователи с нами согласятся.

В любую карточную сортировку стоит включать элементы качественного анализа, чтобы не потерять инсайты за статистикой. Но результаты качественного анализа лучше перепроверить.

Количественный анализ
Количественный анализ проводится с помощью специального статистического аппарата. Обычно используются таблицы сопряженности и кластерный анализ.

Таблицы сопряженности — инструмент, демонстрирующий, как две категориальные переменные связаны друг с другой. Например, по горизонтали могут находиться категории, по вертикали — карточки. С помощью таблицы сопряженности можно увидеть, насколько однозначно каждая карточка отнесена к каждой категории. Использовать специальный статистический критерий для определения значимости при этом не нужно. Результаты таблицы сопряженности легко визуализировать в виде тепловой карты.

Кластерный анализ — инструмент, позволяющий определить связь между элементами в базе данных на основе их характеристик. В случае карточной сортировки характеристикой является категория. Кластерный анализ как будто создает пространство, в котором какие-то элементы находятся ближе друг к другу, а какие-то дальше. Чем чаще две карточки оказываются в одной категории, тем ближе друг к другу они в этом пространстве. Есть формальные критерии, которые определяют, сколько кластеров нам стоит выделить, но они редко дают однозначные результаты. Фактически мы получаем все промежуточные варианты: от количества кластеров, равного количеству карточек, до одного кластера со всеми карточками. Второй этап объединяет несколько наиболее "близких" карточек. На третьем этапе еще какие-то карточки присоединяются к уже объединенным или выделяется новый кластер. И так далее, пока все кластеры не объединятся. Кластерный анализ можно провести в специальных статистических пакетах, например, R или SPSS. Результаты кластерного анализа легко визуализировать в виде дендрограммы.

Количественный анализ требует собрать данные не менее 10 сортировок. Чем больше данных, тем больше можно доверять результатам анализа.

Количественный анализ дает нам статистику. Нам проще принять решение, опираясь на цифры. Цифры проще презентовать заказчику. С другой стороны, у этого метода анализа есть важное ограничение: решения о методах кластеризации, о количестве кластеров, о названиях все равно приходится принимать. Существует большой соблазн принять все, что нам предлагает статистический пакет, не вдаваясь в процессы "под капотом", но так мы можем упустить очень много информации.

Визуализация
Самое главное, что может дать количественный подход к карточной сортировке — визуализацию результатов. Наглядное представление данных позволяет нам быстро их считать, проще принять решение и понятно презентовать результаты заказчику. Основные способы визуализации: тепловые карты, дендрограммы и сетевые графы.

Тепловая карта — визуализация в виде таблицы, обозначающая одним цветом частые совпадения карточек, а другим цветом редкие. Например, мы можем показать цветами, как часто разные карточки оказываются в одной и той же категории, или показать, как часто каждая карточка относится к заданной категории.

Дендрограмма — визуализация в виде дерева, которая показывает, как "близко" друг к другу находятся разные карточки. Чем чаще карточки оказываются в одной категории, тем быстрее дендрограмма соединит их в одну группу.

Сетевой граф — визуализация в виде сети, показывающая все связи между карточками. Чем чаще карточки оказываются в одной категории, тем ближе они друг к другу и тем ярче (толще) линия между ними.

Представление категорий в психике
Категоризацию называют базовой когнитивной процедурой. То есть любой познавательный процесс связан с категоризацией. Встречая любой объект, мы пытаемся в первую очередь ответить на вопросы "что это, на что это похоже"? Хорошая новость: когда мы просим людей сортировать карточки, мы даем им задачу, которую они и так решают постоянно. Плохая новость: в реальной жизни они обычно решают ее не так, как мы им предлагаем во время карточной сортировки.

Не стоит считать, что категории представлены в вашей психике четко, аккуратно и структурированно:

• Категории формируются с опытом и все время меняются. Чем больше мы взаимодействуем с каким-то классом объектом, тем детальнее и разнообразие категоризация в этой области. Например, человек, не интересующийся автомобилями, может делить их на "седаны", "джипы" и "грузовики", типичный водитель может делить их по маркам, а знаток — различать отдельные модели.
• Границы категорий редко бывают жесткими. Многие категории взаимосвязаны, частично переходят одна в другую, делят между собой объекты и так далее. Отнесение каждого объекта к категории часто ситуативно: например, днем мы можем делить животных на улице на "котов", "собак" и так далее, а ночью на "опасных" и "неопасных". Когда мы просим респондентов раскладывать карточки, мы ждем жестких границ, которых в психике обычно нет.
• Категории бывают разных уровней. Выделяются категории "базового уровня": это такие категории, на которые мы делим информацию вокруг в нейтральных условиях и для которых в языке существуют простые и понятные всем слова. Более общие категории называются суперординарными, а более частные — субординарными. Например, базовой категорией является "стол", суперординарной — "мебель", а субординарной — "обеденный стол". Когда мы даем респондентам сортировать карточки, они будут стремиться классифицировать все на базовом уровне. Это может не подходить под наши задачи. Например, если мы создаем структуру интернет-магазина столов, то мы рассчитывает на категоризацию на субординантном уровне, а категории этого уровня слабее всего выражены, наиболее индивидуальны и реже всего имеют общепринятые названия.
• Есть более и менее типичные представители категорий. Любая категория имеет более или менее типичных (или прототипичных) представителей. Это именно то, что представляет или ожидает увидеть человек, услышав название категории. Например, голубь больше похож на "птицу", чем пингвин или страус. Менее типичных представителей труднее категоризировать, они являются основной угрозой стабильности структуры нашего продукта.

Диапазон эквивалентности
В когнитивной психологии существует такое понятие, как когнитивные стили. Это наш индивидуальный способ переработки информации. Мы все познаем мир, наше познание подвержено общим закономерностям и механизмам, но вообще-то каждый из нас познает мир немного по-своему. Одной из особенностей когнитивных стилей является узость или широта диапазона эквивалентности. Это означает, что кто-то из нас в целом склонен разделять поступающую информацию на большее количество мелких категорий (диапазон эквивалентности узкий, элементы меньше похожи друг на друга), а кто-то — на меньшее количество крупных категорий (диапазон эквивалентности широкий, между элементами проще находить общие черты). В контексте проведения карточной сортировки это означает, что кто-то из наших респондентов будет склонен создавать больше мелких категорий, а кто-то — меньше крупных. Идеального для всех варианта снова не может существовать.