ProductDo: практика продакта

Привет! Давайте завершим тему с выбором бара и доверительными интервалами, пятница не за горами.

Инструмент, который поможет нам учесть количество оценок, а не только средний рейтинг – это доверительный интервал (confidence interval, ci). В данном случаен он поможет нам оценить в каком диапазоне может находиться истинное значение рейтинга, учитывая то, что на выборке некоторого размера мы наблюдаем значение R.

Если построить доверительные интервалы для двух наших баров, то...

Bar Abraham: R = 4.6, N = 57, CI = [4.248, 4.952]
Cold Bar: R = 4.2, N = 10702, CI = [4.165, 4.235]

Однозначным победителем будет Bar Abraham со всего 57 оценками на картах.

К сожалению, у людей нет хорошей универсальной интуиции на математику, особенно – статистику. Поэтому, чтобы быть data driven, надо считать-считать-считать, и стараться не придумывать в голове историю пока не посмотришь на циферки.

Отдельным сюрпризом для меня стало то, сколько удивительных и интересных не количественных, а качественных аспектов пытались учесть продакты из нашего коммьюнити.
→ а так ли хороши популярные бары?
→ а стабильно ли качество обслуживания во времени?
→ не куплены ли отзывы за стопку водки?
→ а не реклама ли это бара/ алкоголизма/ курса по статистике

Умение везде видеть какую-то историю, и смотреть не только на цифры – это безусловно здорово. Но мне начинает казаться, что умение анализировать цифры более дефицитно среди продактов, поэтому если давать советы по образованию, то я бы советовал посмотреть в сторону курса по аналитике для продактов, или A/B тестированию.

С эмпатией и пользовательскими историями у вас и так скорее всего всё хорошо.

Вернемся к задаче про оценку баров на основе отзывов клиентов, которые видны на карте. Напомню, что мы выбираем, куда пойти с командой отмечать удачный запуск (или даже сильные результаты по итогам года).

Я предложил вам на выбор два заведения, одно с рейтингом 4.2, другое с рейтингом 4.6. Кажется, выбор очевиден? Или нет?

Почти все догадались, что для принятия настоящего дата дривен решения тут не хватает количества отзывов (я специально скрыл эту метрику, google ее показывает). Если посмотреть на полные данные:
→ 4.6 (N=56)
→ 4.2 (N=10'702)
то выбор уже не кажется таким очевидным, правда?

А теперь вспомните, как часто вы в работе брали просто значение метрики (конверсия достигает 11%!!!) и не задумывались о том на какой выборке сделано это измерение, и какая у него точность. Кто так делал ставьте реакцию 😱

Может оказаться, что на самом деле это не 11%, а [11% ±8%], что значительно поменяет ваше восприятие этой метрики, и решения, которые вы примете на основе этих данных.

Обратите внимание, что с такой проблемой сталкиваются все сервисы, которые имеют сортировку по рейтингу, или просто учитывают рейтинг. Не все рейтинги одинаковы!

Как бы вы описали своему аналитику или дата саентисту желаемое продуктовое решение этой задачи?

(Я знаю, что тут есть очень продвинутые в статистике люди, которые знают ответ на эту задачу из практики. Чтобы не спойлерить задачу всем остальным, давайте вы напишете мне просто аббревиатуру названия инструмента, который помогает ее решить, из двух английских букв. Можете дополнить ее фамилией, если хотите).

Иногда мне приходит в голову пример, который восхитительно хорошо иллюстрирует какой-то важный принцип, и это, наверное, менторский аналог ситуации "эврика".

Представьте себе, что вы хотите с друзьями пойти в бар в Амстредаме. Разумеется, вы отмечаете успешный продуктовый запуск, поэтому заведение должно быть уровня "Волк с Волл стрит".

Вы видите два достойных бара на карте недалеко от офиса. У одного рейтинг 4.6, у другого 4.2 В каком вы забронируете столик для своей команды?

Или вам не хватает данных, чтобы сделать выбор? Какую одну метрику нужно добавить на картинку, чтобы выбор стал гораздо более рациональным?

(Подсказка: гугл эту метрику показывает в интерфейсе, я специально скрыл ее на скриншотах, попробуйте догадаться не подглядывая на карты).

Правильный ответ и разбор завтра в канале. А также от продвинутых дата продактов из нашего сообщества в комментах к этому посту через 3.. 2.. 1..

Деньги или время?
Давайте проведем социальный эксперимент:

Что бы вы выбрали: личное время или деньги?

Варианты смотрите в таблице, отвечайте соответствующей реакцией.
Обсудим в комментах;)!

На связи Владимир. На прошлой неделе у нас был внутренний саммит продакт-менеджеров в Booking.com.

Когда-то, будучи аспирантом и разработчиком, я с удовольствием посещал технические конференции, потому что они были супер практичными. Спикеры делились проблемами, реальными решениями, инструментами и (почти) настоящими цифрами (NDA!), так что после двух дней я всегда возвращался с 5-10 идеями улучшений для своей работы, которые можно было сразу применить.

Когда я стал продактом, я также пробовал посещать несколько продуктовых конференций (в основном FinTech, так как работал в платежах). Я оказался не на научном или техническом мероприятии, а больше на маркетингово-нетворкинговом. Доклады стали гораздо менее конкретными, полными ничего не значащих фраз:

«AI, AI, AI», «solving customer problems», «deliver impact» (конец предложения).

Более того, казалось, что каждый спикер пытается продать свой продукт / API / консалтинг; все решения выглядели блестяще и безупречно, проблем ни у кого не было. Так что я довольно быстро потерял интерес к таким конфам.

Прошло четыре года, и было приятно снова ощутить пользу от нашего внутреннего саммита. Было ли это потому, что никто не пытался ничего продать? Или потому, что спикеры действительно могли показать реальные проблемы и данные (без NDA)? Или из-за приглашённых внешних спикеров: бывший сотрудник NASA рассказал о водородных двигателях для автомобилей и малых самолётов (кайф!), а ребята из OpenAI показали чёрную магию с новым ChatGPT.

Не знаю, но я ушёл с мероприятия с шестью пунктами в списке дел, которые могу применить к моему продукту, и это, как по мне, лучший результат любой конференции.

Вопрос к вам: можете порекомендовать продуктовые конференции, которые вы посещали и окрестили как полезные?

Последнее время я часто задумываюсь о фразе: “хороший менеджер может руководить чем угодно”.

Я с этим в корне не согласен. На мой взгляд, каждый менеджер за свою карьеру копит определенную экспертизу. Обычно помимо чисто стратегических вещей, это предполагает знание достаточно глубокого контекста или домена (мобильная реклама, аналитика, маркетплейсы и т.д.). Причем в самом домене может быть полным-полно специфических моментов и механизмов, которые нужно знать и в которых необходимо разбираться. Я не очень верю, что можно принимать качественные решения без знания контекста.

(Во многом поэтому кстати мы создаем симуляторы по отработке практических навыков, а не только рассказываем сухую теорию)

И вот в этом моменте кроется загвоздка. Я часто наблюдал людей на позициях от CPO до каких-нибудь Group Product Managers, которые не особо то “были в теме”. Приводило это в итоге к тому, что люди превращаются в таких “болванчиков”, которые смотрят в рот своему менеджеру (CPO, фаундер, и тд) и стараются всеми силами им угодить. А поскольку собственной компетенции не хватает, то приходится безоговорочно полагаться на руководителей пониже рангом. Большого смысла в таких руководителях нет, потому что принимать качественные самостоятельные решения они не способны. А помочь своим подчиненным они тоже не могут (потому что нет соответствующих навыков и знаний). Я такое явление наблюдал не раз и не два, и оно меня наводит на мысль, что весьма сложно “прыгать” между доменами и далеко не всем это удается. Даже если мы говорим о высоком уровне в плане должности.

Здесь я согласен с Марти Каганом, который в своей книге “Empowered” четко проговаривает следующую мысль. Если менеджеру не хватает компетенции (например, технической) для эффективной работы на своей позиции, то он должен найти себе “коуча” и всеми силами стараться этот пробел восполнить. В противном случае, я не понимаю, как такой человек может работать эффективно?

Встречались ли вам (или "другу") за карьеру менеджеры без хард-скиллов? Сложно было? Или наоборот, было легче выделиться?

Владимир на связи, отвечаю на (отличный!) вопрос Александра после поста про лист достижений:

>> Что делать с задачами, в которых импакт сильно дальше во времени? Спроектировали и внедрили новый инструмент для поддержки, например, но внедрение было уже в конце года и только через пару месяцев мы получим какие то данные о результатах и это будет уже в следующем году, получается и в ревью это записывать только на следующий год? Какая-то ревью дривен работа будет, если делаем только то что даст результат в этом же году.

Действительно, такая ситуация возможна, и у нее два исхода: (1) так устроена работа данного департамента (все ок) или (2) продакт увлекся большими проектами и забыл про paying-the-bills (все плохо). Давайте разбираться:

(1) Некоторые департаменты работают чисто на проектах (milestones), например, "Построить сервис X", "Внедрить инструмент Y", "Подготовиться к новому закону GDPR" и так далее. В этом случае от команды не ждут краткосрочных бизнес-результатов (например, покупки), а понимают, что это все игра в долгую. В этом случае "достижения" продакта измеряются качественно, нежели количественно: "нашел способ, как запустить MVP на 3 месяца раньше", "придумал, как воткнуть в проект забытые всеми легал-требования без срыва сроков", "заменджил планирование на 2025 между 10-ю департаментами без помощи директора". Так что если ваш менеджер играет по тем же правилам, что и вы, то проблем с "достижениями" нет — вы оба понимаете, что хорошо, а что плохо.

(2) Все гораздо грустнее, если продакту кажется, что он делает долгосрочные проекты, а на самом деле от него ждут результатов "сейчас". В зависимости от команды, баланс "профит сейчас / технологии на будущее" варьируется, но часто это что-то типа 70 / 30. В переводе на практический язык это означает, что вы улучшаете вашу бизнес метрику 70% времени понятными способами (эксперименты, фичи, и тд), а 30% занимаетесь чем-то более стратегическим, что возможно поможет потом, но пока это доказать нельзя. Поскольку заниматься этим немного проще, чем делать результат здесь и сейчас, многие продакты скатываются с 70/30 на 30/70 или вообще 0/100.

В конце года может возникнуть казус: вас спросят, где 100 продаж (или 1000 онбордингов, или 10000 меньше отмен и тд - в зависимости от вашей NSM), а вы покажете 2 новых системы. Совет тут один: обсудите с менеджером правила игры и зафиксируйте (в цифрах) ваши годовые цели. Делать, это, конечно лучше в начале года, но даже сейчас еще есть 2 месяца, чтобы подтюнить ваш результат до 31 декабря.

Спасибо Александру за хороший вопрос, а остальным — не стесняйтесь спрашивать, мы с удовольствием поделимся опытом.

Давно не было формата подкаста – давайте это исправим👇.

Текущий период – время активно думать о стратегии на 2025. За 9 минут Владимир расскажет:
- Что такое стратегия в практическом смысле (определений много а суть одна)
- Три опасности, из-за которых стратегия может пойти не туда и директор сделает вот так 🤦🏻‍♂️

Разговорчики в одном из чатов курса "Основы продакт менеджмента"...
А у вас как?

Мини-хак, который может стоить вам 10-20% вашей зарплаты и пригодится вам в декабре: список достижений.

Сначала грустная новость: никто, кроме вас, не вспомнит детали вашей работы в течение года. Это когда придет время проводить Performance Review, и определять, давать вам бонус или нет. Конечно, если вы сделали что-то космическое, то этого и не нужно, но космическое каждый год делать не получается.

Поэтому, в зависимости от того, как вы вспомните все свои достижения (реальные, разумеется), зависит сила вашего кейса. Сидеть в декабре и пытаться вспомнить, что же там было в марте – занятие печальное. В общем я (Владимир), насмотрелся, как это делает Андрей Менде и решил тоже перенять технику.

Все просто:

В начале года я создаю гуглдок с табличкой, в которой 3 колонки: описание achievement-а, какая команда/тема (я Lead PM, поэтому у меня три направления), бизнес импакт (в цифрах!). В течение года я ее понемногу заполняю.

Например, одна из строчек может быть такой (рандомный пример из Uber):
"Добавили карту поиска машины в аэропортах"
"Команда: Pickup"
"-400 отмен в день"

или вот так:
"Создал стратегию по интеграции с квадрокоптерами доставки и утвердил ее между 4-мя департаментами"
"Тема: Pickup"
"Кросс-департаментная инициатива на уровне директора"

В обоих случаях должно быть ясно, почему это "хорошо". В первом случае это прямой бизнес-результат (меньше отмен), во втором – стратегия по новому направлению и сложное междепартаментное взаимодействие, что тоже не каждый может (по сути, я помогаю директору).

Иногда бывает, что вроде что-то сделал, а в колонке импакт написать нечего. Ну что ж, сорян, такую строчку добавлять бесполезно (на нее менеджер просто "промолчит", и правильно сделает), иду стараться дальше.

В итоге за 4 квартала накапливается строчек 20, которые в декабре вспоминать уже не нужно – они готовенькие ждут в документе. Самое сложное: находить 5 минут в конце недели и спрашивать себя: "Чего полезного я в этот раз сделал?" – для этого у меня даже стоит напоминалка в кадендаре.

В общем вот такой небольшой хак, который легко может сэкономить принести вам много денег и научить думать "а зачем я это делаю". Пользуйтесь на здоровье.

Субботний мем сегодня посвящен техническим знаниям для продакта, которые программистом вас не сделают, но позволят общаться с командой на одном языке и оценивать сложность разработки.

Девушка с картинки не зря мечтает поскорее закончить просмотр заката, уснуть и побыстрее пойти в офис – ведь построение сервис-диаграмм является одним из самых захватывающих заданий продакта, переходящего от идей к фазе "строим!".

Как это выглядит? Вы смотрите на продукт (или отдельный флоу) и начинаете брейнстормить (сами или с тимлидом), из каких сервисов он состоит: сервис поиска, сервис отзывов, сервис фотографий, сервис оплаты, и т.д. Вы делаете это, не чтобы вмешиваться в работу программистов, а чтобы лучше понять реальные смысловые блоки своего продукта. Ну а когда вы понимаете детали, из которых состоит продукт, вы уже сами выбираете – управлять им "издалека" или же закопаться в отдельный элемент (например, сервис поиска картинок).

Зачем Илон Маск закопался в детали ракетостроения, когда начинал SpaceX? Потому что эффективно управлять чем-то "изделека" можно только тогда, когда вы это хорошо поняли.

Если вы хотите научиться видеть продукты через рентген сервисов, то сегодня - последний шанс впрыгнуть на интенсив (симулятор + 3 воркшопа) "Технологии для продакта". Следующая когорта уже в 2025.

На прошлой неделе у меня была рабочая поездка в Шанхай (+ захватывающий 14-часовой перелет из Амстердама). На фото — восход солнца, которым я наслаждался не потому, что я член 5 am club, просыпающийся с солнцем, а из-за 6-ти часового джетлага.

Шанхай другой:
- его население почти в два раза больше, чем население Нидерландов,
- алфавит нечитаем для европейцев,
- большинство приложений незнакомы,
- и только у некоторых есть англоязычные версии.

Несмотря на эти нюансы, люди дружелюбны, всё безопасно и хорошо организовано (для города с 25-миллионным населением). Фантастический факт: чтобы выжить, вам нужно всего одно супер-приложение (я пользовался AliPay), чтобы платить в супермаркетах, просить деньги у других, арендовать уличные велосипеды, вызывать такси, заходить в метро, ​​покупать билеты на самолет и т. д. Очень удобно!

В середине поездки я заметил интересный эффект: мой мозг начал активно генерить новые идеи для рабочих проектов, предлагал варианты пивота продуктовой стратегии, и новые подходы к повседневным проблемам. Видимо, разрыв рутины и столкновение моего ума с кучей непривычных вещей (часовой пояс, город, люди, еда и т. д.) дает эффект новизны — вы начинаете видеть старые вещи под неожиданным углом.

Раньше я замечал тот же эффект на конференциях — просто отправившись в другой город и понаблюдав, как другие решают свои проблемы с продуктом или технологиями, можно сильно повысить способность генерировать новые идеи. Даже проведение стратсессии вне офиса в нерабочем здании делает свое дело (на случай, если вам интересно, почему ваши руководители иногда уезжают в какой-то далекий город на несколько дней;))).

У кого еще были такие инсайты от смены контекстов: больших или малых? Пожалуйста, делитесь, чтобы у меня было еще больше новых идей :)

– А если все побегут прыгать с крыши применять ML в своих продуктах – ты тоже побежишь?
– Да, потому что именно так работает машинное обучение.

Сегодня last call (или третий звонок, если вы бываете в театре чаще, чем летаете на самолетах) присоединиться к живому потоку курса Machine Learning для продакт менеджеров.

Ближайшие 4 недели мы будем решать задачи в симуляторах, и разбирать кейсы на созвонах. Этот курс не сфокусирован только на LLM, мы будем говорить и о более традиционных применениях машинного обучение: поиск, релевантность, оптимизация рекламы, детекция фрода. Это те области, где ML точно не является хайпом, а уже прочно занял свое место в цепочке создания ценности.

Записаться на курс: тут

Разбираем первую задачу кейса на применение машинного обучения (ML) для обнаружения спама в объявлениях.

Команда дата саентистов создала несколько моделей, которые предсказывают вероятность того, что объявление – спам. Наша задача – определить метрику, которая бы позволила сравнивать эти модели между собой и выбрать лучшую.

Сначала может показаться, что все достаточно просто, нужно посчитать как часто каждая из моделей ошибается и выбрать ту, которая ошибается меньше.

На самом деле ситуация чуть сложнее. Модель может ошибаться двумя способами:
- назвать нормальное объявление спамом (false positive), и
- посчитать спам нормальным объявлением (false negative).

У этих двух видов ошибок принципиально разные последствия с продуктовой точки зрения. Модель, которая все считает спамом, не пропустит ни одного вредоносного объявления, но очень сильно испортит жизнь честным продавцам.

Поэтому правильный ответ: нужно минимум две метрики.

Команда ML может улучшить модель по любой из выбранных характеристик, но только продакт менеджер может выбрать правильный баланс между этими двумя видами ошибок, понимая к каким последствиям они приводят.

В эту среду стартует живой курс "ML для продакт менеджеров". На курсе помимо решения задач в симуляторе, мы будем вместе разбирать подобные кейсы, только на значительно более глубоком уровне. Я расскажу вам, какие решения приходится принимать продакт менеджеру ML команды, чтобы эффективно использовать этот мощный, но дорогой инструмент.

Записаться на курс: тут

P.S. Если у вас еще нет никакого опыта работы с ML, то на первой неделе вы сможете бесплатно пройти курс "Основы ML для продакта" и познакомиться с основными терминами и принципами машинного обучения.

Продолжим сезон продуктовых кейсов на канале ProductDo.

Сегодня у нас будет кейс на применение машинного обучения. Вы продакт доски объявлений (cian, avito), и на ваш продукт стали активно нападать спамеры. Они публикуют свои рекламные предложения под видом объявлений о товарах в самых популярных разделах.

Ваши модераторы сбиваются с ног, но спамеры активно меняют паттерны, и обходят все ваши блокировки. Вы обращаетесь к ML команде, которая создает несколько алгоритмов, которые определяют вероятность того, что объявление – спам на основе разных подходов.

Ваша задача определить метрику по которой мы будем сравнивать эти алгоритмы, чтобы выбрать тот, который лучше всего справляется с задачей.

Разбор задачи, как обычно, завтра.

Почему стартапы не могут соревноваться с корпорациями в оптимизации

Мой коллега из Flo (и серийный студент ProductDo) Александр Зинчук опубликовал вторую часть статьи про автоматизацию онбординга. Статья довольно объемная (~15 минут вдумчивого чтения). В статье Саша рассказывает очень много деталей про устройство конструктора онбордингов для мобильного приложения.

Саша построил внутренний продукт, который дал возможность другим командам во Flo запускать в несколько раз больше экспериментов на оптимизацию воронок за счет того, что все поддерживающие процессы автоматизированы, обвешаны мониторингами, и почти не требуют накладных издержек.

А теперь подумайте, может ли небольшая компания, которая не может позволить себе построить такой "комбайн" для проверки гипотез соревноваться с Flo в игре оптимизации? Единственный шанс стартапа в этой гонке – это радикально другое ценностное предложение. Заниматься микро-оптимизациями просто бессмысленно, если вы не можете нанять такого крутого продакта как Саша и дать ему отдельную команду чисто для того, чтобы делать внутренние инструменты.

И обратите внимание на то, сколько хард скиллов Саша применил при этом на весьма глубоком уровне:
- тут явно тех продакт менеджмент 80 lvl – только посмотрите сколько компонентов и их взаимодействий на схемах в статье, и насколько сложные технические решения нужно принимать, чтобы они все работали как слаженный оркестр
- в комбинации с виртуозным владением а/б экспериментированием, причем не на уровне "я могу проводить тесты", а на уровне "я могу делать инструмент и задавать методологию для других команд"

Как обычно, оставляйте свои комментарии и вопросы Саше под постом, он прочитает и ответит.

https://medium.com/flo-health/mobile-onboarding-evolution-part-2-d7c324c348fe