Как понять своих пользователей? CustDev vs User Research vs UX-tests

Делал CustDev для B2B продукта в США, и несколько раз CustDev, User research и UX тесты для mobile app продуктов. За прошлую неделю провел 20+ СustDev интервью / UX-тестов по мобайл продукту и решил структурировать опыт в данной статье.

Как понять своих пользователей на ранней стадии продукта?

Есть несколько подходов, каждый из которых имеет область применения и ограничения. Давайте рассмотрим несколько основных и постараемся понять, когда и зачем их применять.

Определения и цели:

•  CustDev — общаемся с потенциальными юзерами лично. Цель: выяснить чего им надо еще до старта разработки.
• User research — общаемся с текущими юзерами нашего продукта. Цель: понять почему они уходят/остаются, какой функционал и как не используют, какую пользу извлекают.
• UX tests — даем попробовать продукт/прототип и наблюдаем. Цель: выявить проблемы в интерфейсе до запуска/разработки и сделать его более удобным.

А как же опросники и аналитика?

•  Опросники (с открытыми вопросами или жесткими ответами) — еще не пробовал, т.к. они применяются на поздних стадиях продукта, когда уже все понятно и надо сегментировать юзеров или что-то отскорить, например, проблемы.
• Аналитика — действительно, когда у нас consumer app (не важно, website или mobile) мы можем дешево закупить 1k юзеров ($1-2k) и посмотреть все конверсии, CAC, LTV и тд. Это все круто, но не дает ответа на вопрос “почему конверсии низкие/высокие?”. Именно на этот вопрос отвечает User research.

Важные принципы, которые необходимо соблюсти:

1. Не давить на испытуемого, ничего ему не объяснять и не продавать, иначе он даст нечестные ответы.
2. Задавать открытые вопросы чтобы вытянуть серые зоны, т.е. то о чем мы не знаем что мы не знаем.
3. Не спрашивать “а такая фича нужна?”, “а как ты думаешь чего не хватает?”. Юзеры могут только открыть проблемы, а решения придется придумывать самим.
4. До интервью подготовиться и продумать вопросы, после структурировать и сделать выводы.

Все эти принципы вроде бы очевидны, и я про них 100 раз слышал, но все равно иногда почему-то нарушаю.

Окей, а какой метод лучше подходит моему продукту?

Какой метод выбрать?

А теперь давайте порассуждаем для какого продукта, какой метод и на какой стадии применять.

B2B продукт для mid-sized/enterprise

Ранняя стадия — общаемся лично, если есть прототип/MVP — даем попробовать. Я делал такой, сложность в том, что каждый такой контакт — это еще и лид, который достался нелегко, а значит надо балансировать между “вытянуть инсайты” и “продать”, что нарушает принцип 1. До CustDev мы вложились в кликабельный прототип, но можно было обойтись и без него, т.к. все равно ты ничего не знаешь о клиенте на этом этапе 🙂

Лайф-хак: если вы не вращаетесь 5 лет в индустрии, не понимаете глубоко проблемы, не знаете там многих и не можете сделать 10 интервью и 1-2 продажи до старта разработки, то лучше раскидайте купюры из окна — это хотя бы будет эффектно.

Consumer apps. Например mobile

Юзеров массового продукта найти легко среди знакомых. Но и трафик дешевый (по сравнению с лидами в mid-sized/enterprise B2B). Встает выбор: делать CustDev 1-2 мес и терять время или сразу запилить аппку, запустить рекламу, померять конверсии/CAC/LTV и потерять деньги? 🙂 А может промежуточный вариант: быстро накидать прототип в figma и ходить всем показывать?

На сегодняшний день я думаю так:

1. Если вы компания, есть фул-тайм команда, есть бенчмарки с прошлых похожих апп и вы можете потратить $6k+/год на Splitmetrics, то надо сразу делать скрины аппы, запускать рекламу и тестить CPI (цена инсталла), если норм сразу mvp app’ы, мерять конверсии/CAC/LTV (вы же знаете насколько они в среднем подымаются после тюнинга аппы), тюнить аппу/маркетинг, сводить экономику. Потому что важна скорость, а наличие проблемы/ценности +- уже доказано конкурентами.
2. Если вы бедный стартапер, с парт-тайм/аутсорс командой, без опыта, без аналитики с рынка (sensorTower/appAnnie не в счет, нужны свои данные, никому нельзя верить), денег на Splitmetrics нет да и рекламу в Fb запускаете в первый раз, то только такая последовательность: CustDev -> V1.0 -> user research -> V2.0 -> user research / ux tests -> V3.0 и надежда что к V3/V4 вы сведете экономику.
   CustDev в начале важен чтобы прочувствовать остроту проблемы и, соответственно, закрыть ключевой риск (её отсутствие). Итерации конечно длинные, но зато экономите.

А почему не фигма? Можно, но все равно придется делать аппу и проверять юнит-экономику.

Пример: юзеры сказали “уау, хотим аппу, готовы платить”, сделали аппу — оказалось неготовы, или привлечение таких юзеров не окупается или таких юзеров мало.

Лайфхак #1: можно найти и проинтервьюать людей которые уже пользуются конкурентами — это позволит сразу понять какие фичи заходят, а какие нет, какие есть сегменты юзеров, с какими проблемами и тд.

Лайфхак #2: подумал что можно вообще человеку, который не пользовался аппами-конкурентами, дать в руки такую аппу и провести CustDev и ux-test, а через пару недель пользования и user-research. Так можно сэкономить на MVP ???? В следующий раз я обещаю себе что так и сделаю.

B2B SAAS для small businesses

Нет опыта. Т.е. опыт есть, но дурацкий — без исследований. Думаю по сути, что и consumer apps, даже чуть проще. Легко найти юзеров (например, в профессиональных сообществах), трафик дешевый. Но, в отличие от аппы, не нужен дорогой splitmetrics, можно за день сделать лендинг, запуститься, померять конверсию и собрать емаилы для CustDev. Слышал, что и для апп через лендинг делают каст дев, надо пробовать.

А главное помнить: здравый смысл важнее всех методик.

Выводы

Интересные инсайты о продуктовом подходе, которые я получил в результате интервью и тестов на прошлой неделе:

Реализация важна

В предыдущей версии продукта мы придумали ключевую фичу. Запустили, почти никто ее не использовал. Мы решили она никому не нужна и выкосили. Но в процессе интервью люди спрашивали “а так можно?” имея в виду ту самую фичу. Оказалось проблема-то есть, но UX фичи в предыдущей версии был настолько непонятный и неудобный что почти никто ее даже не попробовал, а у тех кто попробовал retention этой фичи был низкий. То же самое мы получили по нескольким мелким фичам.

Вывод: реализация “решения” не менее важна чем доказательство наличия проблемы.

Общение с пользователями супер-важно

В процессе тестов оказалось, что половина наших предположений о проблемах и о решениях не верны. По итогу недели и 20+ интервью я собрал 20+ идей (больших и мелких) по улучшениям. При этом половина из них достаточно элегантны, займут день работы программиста, а ожидаем сильное улучшение UX.

Вывод #1: UX нельзя сделать за раз по best-practices, а только итеративно и наблюдая за юзерами.

Вывод #2: я сильно недооценивал CustDev, по сути это главное, чем надо заниматься на ранней стадии. Только так можно узнать о юзерах то чего возможно не знает никто.

CustDev и UX-tests — это супер-быстро

Да, в отличии от потенциальных, реальные юзеры смогут ответить на вопросы “почему скачали продукт?”, “почему пользуетесь уже месяц?”, “почему перестали пользоваться спустя 2 недели”. В аналитике можно посмотреть неочевидные юз-кейсы и тд. Это более “честные” данные. Но слабая сторона user research, особенно в мобайл продуктах, в том что сложно вытянуть реальных юзеров на разговор и зачастую нет их контактных данных. А также надо ждать, например, месяц после нагона трафика. Это долго. Напротив, выловить потенциальных юзеров для consumer продукта достаточно легко. Стоит пройтись по офису или нескольким кофейням 🙂 5 минут на выяснение поведенческих особенностей (как они решают проблему сейчас), 5 минут дать попробовать апп и посмотреть со стороны — и вот у тебя куча полезной информации. Можно интервьюать 5-10 человек в день легко.

Вывод: user research конечно круче, но CustDev легче и быстрее.

Больше интервью — лучше результат

В первых интервью я забывал вопросы, парился из-за негативной обратной связи (это ж мой продукт критикуют!) и как результат начинал оправдываться и объяснять как работают фичи. К 20му разу все эти симптомы неопытного интервьюера ушли. Я пропускал мимо ушей все лишнее цепляясь только за инсайты.

Вывод: интервью — это скилл который надо раскачивать! Дело мастера боится 🙂

20-летние vs 30-летние

Наблюдая за людьми разных возрастов заметил любопытную поведенческую особенность: +-20-летние клацают на все кнопки одновременно. +-30-летние клацают нерешительно, часто задумываясь. 35+ вообще боятся и спрашивают “а можно тут?”, “а что будет если так?” и тд, вместо того чтобы попробовать клацнуть. Разница в поведении в соц сетях и восприятии контента тоже абсолютно разная.

Вывода нет, но появилась цель: целенаправленно общаться с ребятами 15-20 лет, т.к. только понимая изменения в поведении нового поколения можно придумать новые социальные механики, продукты и тд.