No Data No Growth | Pavel Bukhtik

😭 «К сожалению, мы решили остановиться на другом кандидате»

«Мы не готовы продолжить общение. Но давай оставаться на связи!»

«Мы сохраним контакт и вернемся, как только появятся другие предложения!»

Сколько раз я слышал эти фразы в свой адрес…

Проходишь кучу секций в каждую компанию, и потом обидно валишься на чем-то.

На этом собесе продуктовый кейс не очень решил, здесь чего-то по АБ не знал, или затупил на SQL-задачке. А тут дали проклятые алгоритмы или теорию вероятностей, на которых ты-то и посыпался. А без последних, знаете ли, на работе никак.

Или вроде бы по секциям все хорошо, но после финала к тебе возвращается HR’ка и с грустным смайлом сообщает, что компания не готова сделать оффер.

А все почему?

Потому что не дожал. Не впечатлил. Не запомнился. Понадеялся на свой опыт и недостаточно основательно подошел к системной подготовке к собеседованиям. А то и вовсе забил и решил не готовиться. Будь что будет.

А любой навык, если он не используется на практике – забывается, атрофируется, устаревает. Ведь на работе ты делаешь совершенно не то, чего хотят от тебя на собеседовании.

Что в итоге? Собираешь баны на полгода в интересные компании. Или того хуже – соглашаешься на не самые лучшие условия. Сойдет. Ты ведь и не знаешь, как могло бы быть по-другому.

А ведь именно ты мог быть тем, кто отказывает. Тем, кому дают контроффер после отказа на оффер. У кого есть выбор из 5 и более компаний, а не 1 несчастный оффер, на который в итоге придется согласиться.

Все, что отделяет от этого – это навык прохождения собеседований. Фактически это навык выделяться на фоне остальных кандидатов:

1️⃣ Качественно решить все задачи и глубоко разобрать кейсы;

2️⃣ Структурно подать свои мысли на каждой секции и вопросе;

3️⃣ Круто рассказать свои релевантные достижения.

Обучиться этому навыку и начать собирать офферы можно на моем онлайн-интенсиве по подготовке к собесам на продуктового аналитика.

На нем ты получишь структурное понимание и отточишь навык прохождения любых секций на твоем пути: от решения продуктовых и АБ кейсов вместе с задачами на алгоритмы и теорию вероятностей, до рассказа о себе и стратегии поиска:

https://nodatanogrowth.com/product-analyst-interview

Оставляй заявку по ссылке выше, я помогу тебе качественно вырасти в этом году – как в навыках, так и в доходе.

Какое направление работы с данными выбрать в 2025?

Аналитик данных, продуктовый аналитик, дата инженер, BI-аналитик, BI–инженер, Data Scientist, Web аналитик, бизнесовый, маркетинговый, Fullstack, Data steward, Data-партнер, Analytics Engineer...

И это даже не полный список всех возможных Data-специальностей.

Есть общие черты, но фундаментально – они все о разном. Хорошее понимание, чем занимается каждый из специалистов, поможет осознанно подойти к дальнейшему росту или переходу на смежную роль.

В видео-подкасте с Алексеем Гавриловым (автором ТГ-канала Only Analyst) мы подробно разобрали более 10 актуальных направлений, которые будут востребованы в 2025 году. Также обсудили как выбрать подходящее направление для своего профессионального роста.

Премьера состоится сегодня в 18:00 по мск по ссылке:

🔗 https://www.youtube.com/watch?v=sTQCies7Spg

Как и всегда – буду рад ответить на любые вопросы по теме под этим постом или в комментариях под видео.)

В чем разница MDE vs Effect Size vs Uplift, и как перестать их путать

Эти понятия часто ошибочно взаимозаменяются при работе с АБ на практике. Но они, конечно же, совершенно о разном. Сегодня разложу их для вас по полочкам.

MDE (Minimum Detectable Effect) — это наименьший истинный эффект, полученный от изменений, который с заданными статистической значимостью и мощностью сможет обнаружить конкретный статистический критерий.

Это тот самый эффект, который определяется на этапе дизайна эксперимента. Он говорит о том, какой эффект от эксперимента мы ожидаем засечь. Рассчитывается как разница между средними текущего значения метрики (baseline'а) и его желаемым значением на основе некоторой нашей оценки: x1 - x2. Как можно оценить MDE для эксперимента – уже рассказывал здесь.

Когда в рамках АБ тестов говорится об Effect Size (размер эффекта) – в большинстве случаев речь идет о Cohen's D (d-Коэна). Cohen's D – это стандартизированный MDE. Грубо говоря, MDE с учетом дисперсии метрики.

Идея расчета проста: разность между средними двух выборок делится на их общее стандартное отклонение — в результате получается разность, измеренная в стандартных отклонениях: (x1 - x2) / std, где std = (std1 + std2) / 2.

Зачем может пригодиться Effect Size на практике? Можно выделить 2 причины:

1️⃣ Для какой-то метрики рост в 1% – это очень много. А для другой в 5% – может быть мало. Причина этому – различные дисперсии метрик. Благодаря Effect Size можно свести все к единой шкале для всех метрик: d = 0.2 – маленький эффект, 0.5 – средний, 0.8 – большой и т. д;

2️⃣ Функции по расчету размера выборки statsmodels (tt_ind_solve_power, TTestIndPower().solve_power, NormalIndPower().solve_power) – в качестве аргумента effect_size требуют именно Effect Size, т. е. Cohen's D. Часто по ошибке этим функциям скармливается MDE.

Uplift (Lift, прирост) - фактическое изменение метрики в % непосредственно по итогам АБ: (x1 - x2) / x2. Это то, что мы проверяем на статистическую значимость, и на основе чего принимаем решение об успешности эксперимента.

Важно понимать, что MDE и Effect Size интересуют нас только на этапе дизайна эксперимента – после дизайна, забываем про них и смотрим только на статистическую значимость Uplift'а. Пытаться сравнивать Uplift и MDE будет грубой методологической ошибкой, которая часто встречается.

7 установок для кратного роста в 2025

Наверняка ты замечал, что одни специалисты растут по грейдам каждые полгода-год, а другим это даётся с большим трудом. Сегодня делюсь 7 ключевыми установками, переняв которые, ты сможешь вырасти по грейду в этом году.

1️⃣ Усердно работать – недостаточно

Результаты должны быть видно. «Продавай» их и себя. Усилия без пиара останутся незамеченными.

2️⃣ Лояльность не окупается

Компании верны прибыли, а не людям. А расти через смену работы – значимо проще. Заботься в первую очередь о своих интересах.

3️⃣ Должность не имеет значения

Фокусируйся на развитии навыков, а не названиях позиций. «Титул» не определяет твою ценность и дальнейшие перспективы.

4️⃣ Нетворкинг – ключ к возможностям

Лучшие возможности – не доходят до публичной огласки. И только качественные связи помогут их заполучить.

5️⃣ Комфорт – убивает рост

Комфорт – это упускаемые возможности и стагнация. Развитие происходит именно в моменты преодоления сложностей. Если при этом тебе некомфортно, значит, ты растёшь.

6️⃣ Перфекционизм тормозит рост

Стремись к прогрессу, а не к совершенству. Лучше делать что-то с каждым разом чуточку лучше, чем пытаться сделать сразу идеально.

7️⃣ Успех не приходит сам по себе

Бери инициативу в свои руки. Никто не выполнит за тебя твои цели на год кроме тебя самого.

---

Задумываюсь над тем, чтобы записать видео на Youtube, в котором детально раскрою каждый из пунктов и поделюсь своим личным опытом. Если было бы интересно – поставь этому посту 🐳

Поздравляю с Наступившим Новым Годом! 🥳️️

Пусть метрики радуют динамикой, гипотезы оправдывают ожидания, а данные и дашборды поражают своей точностью 🎁

Пусть доход растет в разы, жизнь наполняется только яркими положительными впечатлениями, а здоровье никогда не подводит 🎉

Спасибо вам за то, что делаете продукты лучше, а мир — удобнее и понятнее ❤️‍🔥

Счастливого 2025 года! 🎅🎁

🎙 8 минусов работы продуктовым аналитиком

Я много работаю с людьми, которые хотят стать продуктовыми аналитиками.

И я часто сталкиваюсь с идеализированностью роли такого аналитика – «можно каждый день драйвить продукт инсайтами и влиять на развитие бизнеса».

А кто уже попробовал роль на боевых задачах и столкнулся с реальностью и нюансами, с которыми приходиться бороться каждый день – стремятся найти ту самую идеальную компанию и позицию без минусов.

Вместе с Алексеем Гавриловым, автором Телеграм-канала Only Analyst, мы решили записать видео о нюансах, которые поджидают любого продуктового аналитика на работе. И самое главное – что из этого следует, как с ними бороться и как к ним относиться.

Видео уже доступно для просмотра на Youtube по ссылке:

🔗 https://www.youtube.com/watch?v=h0jzb5VRqDQ

Если вам понравится видео, поставьте ему лайк и оставьте комментарии – буду снимать еще.)

👋 О канале. Привет новым подписчикам!

За последний год канал вырос в 3 раза. Обновляю пост-знакомство с информацией обо мне и канале.

Я – Павел. Строил аналитику как Head of Product Analytics в Yandex, FindMyKids и Kupibilet. Сейчас занимаюсь консалтингом, развитием онлайн-школы по продуктовой аналитике, а также строю со своей командой полноценный продукт (пока NDA, но анонс не за горами).

В этом канале я рассказываю, как проходить собеседования, получать офферы выше среднего по рынку и быстрее расти по карьере от джуна до хеда. Также делюсь своим личным опытом, знаниями и кейсами. Особенно люблю все, что связано с АБ-тестированием, в котором имею большой опыт.

📝 Подборка самого интересного на канале:

🔥 Cборник из 210+ тестовых заданий для продуктовых аналитиков и аналитиков данных
🔥 Детальный чеклист и шаблон полного цикла АБ-экспериментов
🔥 Roadmap для детального погружения в АБ тестирование (скоро будет обновление)
🔥 Mock-интервью на продуктового аналитика
🔥 12 ошибок, которые погубят результаты любого АБ эксперимента
🔥 Как быстро вырасти начинающему аналитику
🔸 5 бесплатных симуляторов и онлайн-интерактивов для аналитиков
🔸 5 вопросов, которые сразу выдадут практический опыт в АБ на собеседовании

👨‍💻 Мои онлайн-интенсивы:

🔥 Все для прохожения собеседований и получения офферов на продуктового аналитика
🔥 Исчерпывающе и системно про АБ-тестирование и проверку гипотез на практике

📌 Пару личных фактов обо мне:

🔸 Родился и вырос в небольшом городке на юго-западе Беларуси
🔸 Закончил СПбГЭТУ «ЛЭТИ» в Санкт-Петербурге
🔸 Многие думают, что я живу в Москве. На самом деле живу в Питере (пока)
🔸 Без ума от собак и мечтаю о бордер-колли
🔸 Люблю активный отдых: сплавы, походы, велосипед, сноуборд, беговые лыжи

#️⃣ Ключевые хештеги канала:

#задачиссобеседований – задачи с собеседований и тестовых + их разбор
#абтесты – про АБ тестирование и методологию их проведения

💬 У этого канала есть чат. В нем можно общаться и задавать любые вопросы.

📞 Связаться со мной напрямую можно тут – @pbukhtik

🧑‍🎓 Также я менторю специалистов и руководителей продуктовых компаний. Узнать о том, с чем могу помочь, можно нажав сюда или на кнопку ниже.

🎉 Я запустил свой первый продукт! 🚀

И не могу нарадоваться первым органическим клиентам.)

Дело было так – я купил кормушку для птиц и прикрепил её на створку окна.

И мою идею, как и любой новый продукт на вере, ожидал полный провал – первые два дня клиентов у кормушки было просто 0.

Все потому что на соседнем доме на чьем-то окне уже была кормушка с раскрученным брендом – птицы там тусили полный световой день. А о существовании моей ещё банально не знали.

Но я не отчаялся. Проанализировав AAARRR воронку, я понял, что нужно в первую очередь работать над осведомленностью.

Сначала положил маленькую веточку илекса, чтобы привлечь внимание. Сравнение период к периоду показало – не помогло.

Тогда я привязал к крыше еловую веточку. И в тот же день у меня появился первый клиент!

«Ну все, сейчас пойдет виральность» – сказал я. В качественности своего сервиса я был уверен на все 100%, поэтому осталось только ждать.

И сегодня в мою кормушку выстраивается уже целая очередь птичек. И их присутствие радует глаз. Люблю зверушек.

С соседним брендом конкрурировать не буду. Уверен, что вместе мы сможем увеличить объем рынка, а не бороться за одних и тех же клиентов.

Первого клиента, кстати, удалось запечатлить на камеру. Взглянуть на него можно в комментариях.)

А вы знали, что 9 из 10 синиц не переживают зиму из-за голода?

Что такое Web2App воронка?

Все в большем количестве продуктов можно наблюдать Web2App воронки: Flo, Zoe, Calm, Blinklist, Headway.

Выглядят и работают они так – после рекламного креатива вас как юзера отправляют на веб-воронку, а не напрямую за приложением. Веб-воронка представляет собой лендинг с онбордингом, который прогревает на покупку продукта.

Некоторое количество живых примеров, собранные Денисом Мартынцевым, можно в деталях поразглядывать тут.

Зачем усложнять и добавлять промежуточный шаг?

Потому что у такого подхода масса жирных плюсов:

➕ Обход SKAN and Google Privacy Sandbox

Можно хоть на немного забыть о проблемах с трекингом данных в мобильных приложениях.

Анализ и оптимизация рекламных компаниий как в старые-добрые времена.

➕ Ощутимая экономия на комиссиях

Если разместить экран оплаты в конце воронки – не понадобится платить комиссию сторам.

А это, на секундочку, от 15 до 30 конских процентов со стороны App Store или Google Play.

➕ Рост CR в оплату и снижение CAC

AppsFlyer утверждает, что Web2App воронки демонстрируют высокий средний CTR воронок в районе 4,5%, а процент перехода конверсий в скачивания приложений – ~30%. Т. е. вопреки опасениям, подобные воронки хорошо конвертят.

Другой источник, хоть и менее авторитетный, говорит о росте конверсии на 40-60% относительно классического флоу.

Лучше всего для вовлеченности работает квиз. Пользователь отвечает на персонализированные вопросы, ответы на которые заставляют его задуматься о проблеме. А также почувствовать, что его понимают, и у вас есть решение его боли.

➕ Низкий порог входа

Web2App воронки – это No-Code решения, которые быстро собираются.

Их легко персонализировать, можно без труда тестировать через АБ, а всю собранную аналитику интегрировать с остальной частью продукта.

---

Конечно, есть и минусы: воронку нужно еще сделать и сделать её хорошо, есть издержки по ASO, возникает больше пользовательских путей для анализа, есть нюансы с мультиканальной атрибуцией.

Тем не менее, плюсы тоже говорят сами за себя. Так что если вы еще не используете Web2App воронки в своем продукте – присмотритесь к ним.

Подумали, что это пост-реклама конкретного сервиса? А вот и нет. Просто присмотрел подход и конкретное решение для своего проекта, захотелось поделиться.

А если бы ты хотел видеть больше подобных продуктовых постов на канале – то поставь 🐳

«Удаленка это так классно, можно работать из любой точки мира!»

А что на самом деле?

Все видели красивый контент в соц. сетях: макбук на столике в кафе или на фоне моря, чашка кофе и улыбка человека, который «работает в кайф».

Вдохновившись, идем в кафе:

Громко играет музыка. Разговаривают и смеются люди. Кофемашина молет зерна. Эргономика стула и стола намекает, что нужно допить кофе и освободить место следующему.

Перемещаемся на пляж:

Особое извращение, придуманное только для красивых картинок. Солнечные блики на экране, песок на клавиатуре. Работать «лёжа» или в позе креветки — «очень удобно». Этим летом пробовал – не советую. И это в целом касается любой работы на улице.

Отдельная боль в любом месте – Wi-Fi:

Просто лотерея. «У нас хороший интернет» – говорят при посуточной аренде квартиры. «В отеле будет нормальный» – каждый раз думаешь ты. Иногда везет. В большинстве случаев – нет. А вот что почти всегда работает стабильно плохо – мобильный интернет.

Да, работать на удаленке из любой точки мира можно. Но есть только одно место, где действительно удобно работать удаленно – у себя дома. Край – коворкинг или офис IT-компании (своей или чужой).

Мне нравится иногда поработать из кафе. А время в поезде и самолете – у меня одно из самых продуктивных. Но важный нюанс - для задач, которые не требуют доступа к интернету.

Был забавный эпизод, когда после подачи диплома на апостиль, не успевал домой и зашёл созвониться в кафе рядом с Невской Ратушью (правительственное здание). И там не ловил интернет от слова совсем. Вероятно, работали глушилки.

Вердикт – работа «из любой точки» слишком романтизирована.

В это воскресенье я составлял план поездок на следующий год. И я четко осознал, что со своими созвонами, я привязан к точкам с хорошим интернетом. Не хочется, чтобы собеседники пытались разобрать мою речь на фоне кофемашины и разговаривающих людей. А коворкинг есть далеко не в каждом городе, что усложняет путешествия.(

А как вы справляетесь с удаленной работой в поездках? Поделитесь, пожалуйста, своими советами и рекомендациями в комментариях.

Можно ли отказаться от оффера после его принятия?

🔹 Сделали оффер. Наступил день выхода кандидата. А его нет. На сообщения и звонки не отвечает. Через пару дней от него поступил ответ – «передумал»;

🔹 Девушка вышла на позицию и проработала 3 дня. На 4-ый сообщила, что уходит – ей долетел оффер от «компании мечты»;

🔹 Девушка приняла оффер. Потом отказала. Потом снова приняла (и на это согласились). В конечном итоге? Отказалась…

🔹 Сделали оффер. Уведомил текущую компанию, что ухожу. Они ушли думать. Думали неделю, поэтому успел принять оффер. Но вернулись с контр-оффером, который в итоге принял.

Кейсы выше – случаи из моего опыта. Последний – мой личный кейс.

Ситуации бывают разные: изменились личные обстоятельства, поступили новые предложения, всплыли детали принятого оффера.

Я не знаю ни единого случая, когда за отказ от принятого оффера следовали какие-либо проблемы, кроме испорченных отношений с работодателем. Тем более юридические. Даже если уже подписали договор.

А если уже вышли на работу – испытательный срок нужен не только для проверки вас как кандидата, но и проверки компании вами. Компания может попрощаться с вами за три дня – вы тоже можете сделать так и свободно уйти.

Действовать в своих лучших интересах – нормально.

Но если вы оказались в такой ситуации – пожалуйста, сообщите работодателю об этом как можно раньше. Будьте честны и уважительны перед ним и собой.

Ведь есть и обратная сторона медали – работодатель тоже может «передумать» еще до вашего выхода на работу. Сам я с таким не сталкивался, но в социальных сетях часто мелькают подобные сообщения. Человек уже написал заявление, может даже уволился, построил какие-то планы, а его оставили ни с чем.

А как вы относитесь к подобным ситуациям? Поделитесь в комментариях 👇

🎙 Подкаст «Туда и обратно: можно ли выйти из найма в свое дело или наоборот»

Подкаст про работу вне найма с ребятами из «Карьеры без багов» наконец-то опубликован 🚀

На нем мы с ведущими подкаста затронули следующие темы:

- Что мотивирует специалистов уходить из найма;
- Совпадают ли ожидания от выхода из найма с реальностью;
- С какими неочевидными трудностями сталкиваешься;
- Советы для тех, кто думает о переходе в частную практику;
- Как мотивировать себя и не прокрастинировать;
- Где находить единомышленников;
- Кому точно не подойдет работа вне найма.

Получилось интересно. Послушать подкаст можно здесь:

🔗 careerwithoutbugs.mave.digital/ep-34

В рамках подкаста мы, конечно же, не успели обсудить все те вопросы, которые вы задали под постом-анонсом. Поэтому отвечу на каждый из них в комментариях под этим постом.

Можете также накидать в комментариях новых вопросов, которые вам интересны о работе вне найма. С радостью на все отвечу.)

4 задачи на алгоритмы на Python с собеседований

Все мы любим алгоритмические задачки на собеседованиях (нет).

Поэтому сегодня предлагаю размять мозги на них.

Правило прежнее: сначала попробуй предложить решение сам, после – сверяйся с моим вариантом. И желательно, чтобы решение было оптимальным.

Ну как, сколько задач из 4 удалось решить оптимально?

Если все, то поставь 🐳. Если подчеркнул для себя что-то новое – ✍️.

#задачиссобеседований

🤔 Сотрудник: «У меня проблема, что делать?»

На это руководитель выдает пошаговый план решения проблемы.

Если проблема сложная –> разбирается с ней сам.
Что-то серьезное сломалось –> бросается исправлять.
Кто-то что-то не понимает –> разбирается сам и объясняет.

Именно так поступает руководитель, который привык брать все на себя.

И такое поведение – это дорога в никуда. С ростом команды, руководитель будет только больше зашиваться. А самостоятельности у членов команды не прибавится.

Более того, у сотрудников формируется привычка: зачем разбираться самому, если можно обратиться к руководителю, который подумает и всё сделает за него?

Хороший руководитель не выполняет работу за подчиненного.

Если ответ на вопрос уже есть в базе знаний –> он отправляет сотрудника туда.
Если проблема новая –> задает вопрос: «Как ты сам видишь решение проблемы?».

Далее сотрудник предлагает свои варианты, а руководитель дает обратную связь: указывает на слабые места и нюансы, делится опытом, сводит с теми, кто решал схожую проблему.

Такой подход помогает сотрудникам развиваться: они учатся самостоятельно находить решения и брать ответственность, растут профессионально.

Руководитель же освобождается от роли «пожарника», который только и делает, что устраняет проблемы, а не сосредоточен на стратегических задачах.

И самое важное — руководитель избавляется от ложного убеждения, что без него компания развалится, а земля остановится. Напротив, он выстраивает команду, которая эффективно работает даже в его отсутствие.

7 популярных вопросов по Excel с собеседований

Все мы так или иначе работаем с Excel или Google Sheets. Отчеты для менеджмента, когортный анализ, подведение итогов по АБ, работа с legacy данными или просто быстрый анализ.

Представь, что ты пришел на собеседование, и тебе решили задать контрольные вопросы по Excel.

Справишься?

Правило прежнее: сначала попробуй ответить сам, после – сверяйся с моим вариантом.

Ну как, на сколько вопросов из 7 удалось ответить корректно?

Если на все, то поставь 🐳. Если подчеркнул для себя что-то новое – ✍️. А если Excel это не твое – 🤯

#задачиссобеседований

🎉 Курс по АБ стартует уже на следующей неделе

Осталось 2 дня, чтобы присоединиться ко второму потоку и вывести свой навык АБ тестирования на качественно новый уровень 🚀

Все свои знания и опыт по АБ мне приходилось 7 лет собирать из статей, книг, курсов, конференций, нетворкинга и кучи собственных ошибок.

И спустя столько лет так и не появилось единого места, где можно было бы получить полную и глубокую картину проведения АБ на практике.

И даже пройдя немалоизвестные курсы, люди все равно приходят ко мне с болями:

♦️ «Была база по АБ, а в рабочих задачах все равно много вопросов»

♦️ «Никто не объяснял большую картину, как все взаимосвязано и работает на практике»

♦️ «Меня все равно разворачивают на собеседованиях, т. к. моих ответов по АБ недостаточно»

По этой причине, собрав всю свою экспертизу, я разработал собственную программу. И я ставлю перед собой цели:

🔸 Дать системное понимание всего разнообразиях подходов, методов и инструментов – буквально во всех аспектах АБ;

🔸 Заложить глубокое понимание и практическую отработку необходимых для рабочих задач скиллов на максимально прикладных задачах и трудностях;

🔸 Чтобы после каждого занятия вы могли сразу же переносить полученные знания и навыки на рабочие задачи.

И по отзывам участников первого потока – мне это удалось. Второй поток, со всеми его обновлениями, будет только лучше.

Этот курс – это:

🔹 12 теоретических онлайн-занятий в Zoom. На них я даю систему и лучшие практики. Подкрепляю примерами из реальной практики. Отвечаю на все вопросы;

🔹 12 практических занятий в группах по ~10 человек: никто не останется без внимания. На них мы тренируемся справляться с прикладными ситуациями и задачами, решаем кейсы с вашей практики;

🔹 12 комплектов доп. материалов в виде чеклистов, шаблонов, статей, видео и книг для еще более углубленного погружения в любую из рассмотренных на занятиях тем;

🔹 12 индивидуальных домашних заданий с последующей развернутой обратной связью их выполнения;

🔹 Комьюнити единомышленников, которые активно обмениваются своим опытом и кейсами на занятиях и в чате потока.

На второй поток (старт 2 декабря) осталось 8 мест. Поэтому оставь заявку на сайте:

🔗 nodatanogrowth.com/product-analyst-ab-testing 👈

Войди в новый год с качественно новым уровнем проведения АБ 🚀

И до встречи на занятиях.)

Как я не устроился продуктовым аналитиком в Miro в 2022 году

Я откликнулся в Miro в середине апреля 2022 года. Резюме вместе с сопроводительным письмом я отправил через сайт. Но через хороших знакомых и несколько рукопожатий попросил их протолкнуть.

На тот момент компания уже полностью покинула свой Пермский офис и позиционировала себя как иностранная. Про русские корни можно было в целом забыть. Как я узнаю позднее – все этапы на английском, ни одного русского я не встречу, команда тоже англоязычная. Успешного кандидата будут релоцировать либо в Амстердам, либо в Берлин.

Только спустя 1.5 месяца, 25 мая мне на почту пришло письмо, что меня рады рассмотреть на позицию. Несмотря на то, что откликнулся на позицию Senior, с моим опытом меня решили рассмотреть на позицию Lead Product Data Analyst.

Первую встречу-скрининг удалось назначить только на 31 июня. Я боялся, что не смогу понять акцент HR, так как увидел, что он из Индии. Но не смотря на мое стереотипное на тот момент мышление – он очень хорошо говорил по-английски. Разборчиво, но при этом очень бегло. Благо моего уровня английского и опыта собеседований на нем хватило.

На HR-скрининге мне сказали, что всего будет 7 этапов. 1) HR встреча → 2) Знакомство с нанимающим менеджером → 3) Тестовое задание → 4) Тех. секция по SQL → 5) Защита кейса → 6) Что-то еще → 7) Финал

Второй этап назначили на 9 июня. Приятно пообщались с местным парнем из Амстердама за опыт и жизнь, поотвечал на behavioural вопросы.

В тот же день вечером мне выслали тестовое задание. Дали 7 дней на его выполнение. Когда пришлю – проверят за 5 дней. Само тестовое задание, кстати, можно найти в моем сборнике тестовых заданий.

Дальше тут могло быть «отправил тестовое, позвали дальше». Но я хоть и сделал тестовое, но отправил HR’у сообщения: «сори, я не готов общаться дальше».

Я с середины апреля искал работу. На этапе тестового в Miro, я уже собрал офферов и онбордился в стартапе FindMyKids в Перми. Компания мне понравилась, а нагрузка была высокая, поэтому решил сфокусироваться на испытательном сроке.

Если бы я продолжил собеседоваться в Miro, то по моим прогнозам я бы дошел до потенциального оффера к середине июля. А это 4 месяца с момента отклика. Для одной компании, по меркам РФ – это очень долго.

Поэтому, если планируете искать работу в иностранной компании – закладывайте минимум полгода на поиск работы. Оптимально – 9-12 месяцев. Мой кейс – не единичный. Это не РФ, где с неплохим опытом можно найти работу за 2-4 недели.

Расскажи о своем опыте прохождения собеседований в зарубежные компании. Был ли он схож с моим?

Как писать (и НЕ писать) сопроводительные письма: мои примеры

Первое я писал в Netflix в 2020 году. Честно, до отправки дело не дошло, т. к. это было домашним заданием на занятиях по английскому языку. Поскольку письмо никогда не было отправлено – оно не имеет даты. Но это был мой первый опыт написания чего-то вменяемого. И писал от души, т. к. мне правда нравится Netflix.

Второе – писал в Miro. В этот раз писал уже целенаправленно, т. к. хотел попасть к ним на работу. Поэтому письмо было зареферено через несколько рукопожатий и дошло до адресата. В Miro меня, кстати, пригласили на собеседования. Но как это было и как я их проходил – совсем другая и забавная история для отдельного поста. Если интересно – то поставь 🐳, и расскажу уже завтра.

Третье нашел в архиве HH за 2019 год. И тут я понял, что как будто с себя писал пример плохого письма 😂. Честно, увидел его сегодня впервые спустя 4 года. Надеялся, что оно будет хотя бы чуточку лучше. Но нет.)

Первые два письма, кстати, тоже не лишены недостатков. Кто подсветит их в комментариях – тот большой молодец.

Зачем нужен сертификат прохождения курса?

Знаю, что сейчас сертификатами никого не удивишь, но всё равно приятно получать подтверждение того, что ты прошёл какое-то обучение. У меня самого порядка 50+ разных сертификатов.

Меня спрашивали, буду ли я выдавать такие по прохождению своих курсов. И я решил, что да. Правда в формате «по-запросу» и для тех, кто принимал активное участие на практиках и делал домашки.

В основном, ребята кладут сертификат в какую-нибудь папочку на память. Но мне приятно, что большинство выпускников указывают прохождение моего курса в резюме. А нанимающие менеджеры, видя такую запись, понимают, что кандидат прошел качественное обучение у меня. По запросу – я могу подтвердить подлинность прохождения обучения и дать характеристику кандидата.

Из менее очевидных плюшек – с прохождения курса можно получить налоговый вычет. Если вы уже принимали участие в одном из моих курсов, или планируете – я предоставлю все необходимые документы.

Также, обучение всегда можно оплатить за счет работодателя. А можно прийти с заявкой на корпоративное обучение, и я адаптирую программу под вашу специфику.

Старт второго потока по АБ уже 2 декабря. Узнать детали и оставить заявку можно по ссылке 👇

nodatanogrowth.com/product-analyst-ab-testing

Приходите за практикой и систематизацией знаний ❤️

Нужно ли в 2025 году писать сопроводительные письма?

Если твое сопроводительное письмо выглядит так:

«Здравствуйте! Прошу рассмотреть мое резюме на позицию X. Спасибо!»

То можешь даже не тратить время на его рассылку.

Если ты начинающий специалист – такое письмо никак не поможет.

Если имеешь минимальный релевантный и хорошо описанный опыт, а работу ищешь в РФ или в компаниях с русскими корням за границей – с тобой и без сопроводительного будут хотеть пообщаться.

При этом, написав лишнего в письме, можно только ухудшить свои шансы быть приглашенным на HR-скрининг.

Сопроводительное письмо – это про возможность выделиться на фоне остальных кандидатов.

Оно дает эффект тогда, когда вы очень хотите повысить шансы приглашения на собеседование на конкретную позицию.

Другой сценарий – когда понимаете, что конкуренция высока. Это актуально как для начинающих специалистов, так и для тех, кто ищет работу в иностранных компания без русских корней. В последних даже если у вас уверенный опыт в резюме, получить приглашение – та еще задача.

Письмо особенно хорошо сработает, если сможете найти человека, который вас зареферит и передаст письмо HR напрямую.

Как написать сопроводительное так, чтобы оно действительно выделяло?

Самое главное – письмо должно быть персонализировано под каждую конкретную позицию. В нем нужно показать вашу мотивацию и почему вы match для конкретной позиции.

Оно должно быть коротким, но содержательным. Объем – 3-5 небольших абзаца. Это примерно половина листа, или около 1000 символов. Стиль – деловой, но не слишком формальный.

Оптимальная структура и ключевые аспекты следующие:

1️⃣ Поприветствуйте потенциального работодателя и представьтесь. Напишите, на какую вакансию откликаетесь. Укажите название компании и должность, на которую откликаетесь, так, как они написаны в вакансии.

2️⃣ Объясните, почему хотите работать в этой компании и что именно вас привлекает в вакансии.

3️⃣ Расскажите о своих профессиональных качествах, которые будут полезны компании. Для этого читаем требования вакансии и пишем про свои скиллы, которые помогут решить их задачи. При этом максимально используем формулировки и ключевые слова из вакансии.

4️⃣ Почему я лучший среди остальных? Описываем достижения в цифрах. Даем понять, что вы не просто работу работаете, а приносите конкретные результаты.

5️⃣ Благодарим за то, что потенциального работодатель прочитал ваше письмо до конца. Пишем Call-to-Action (например: звоните – буду рад пообщаться).

6️⃣ В конце оставляем контакты: имя, телефон, почтовый адрес, телеграм, прочие контакты. по которым рекрутер сможет с вами связаться.

Пример сопроводительного письма на позицию продуктового аналитика, которая предполагает решение проблемы с количеством ad-hocов и выстраивание системы дашбордов на Tableau – смотрите в комментариях к этому посту.

А как вы относитесь к сопроводительным письмам? Поделитесь своим опытом в комментариях.

Сможешь провести АБ без ошибок? Проверь себя!

Представь, что ты — продуктовый аналитик в мобильном приложении для планирования личных дел (а.к.а. To-Do List).

Менеджер продукта обращается к тебе на встрече:

«Привет! У нас беда. Метрика удержания пользователей падает уже второй месяц подряд.

Команда предложила конкретные улучшения дизайна экранов с задачами — сделать их более минималистичными.

Мы хотим запустить АБ-тест для проверки этой гипотезы. Но появились нюансы, которые я хотел бы обсудить. Сможешь помочь?»

Готов помочь продакту и команде провести АБ? Тогда смотри его вопросы в карточах выше.

Как тебе пост в таком формате? Если зашел и хочешь больше подобного – то поставь 🔥

12 ошибок, которые погубят результаты любого АБ эксперимента

Последние 7 лет я занимаюсь всем что связано с продуктовой аналитикой, развитием experiment-driven культуры и АБ тестами. Последние 4 года в найме – в качестве Head'а продуктовой аналитики.

За это время мне удалось приложить руку к развитию культуры разных компаний: как крупных и средних, так и быстрорастущих стартапов.

И вне зависимости от размера компании и уровня развития аналитической культуры, продуктовые менеджеры и аналитики сталкиваются со схожими ошибками. Эти ошибки в свою очередь могут свести на нет результаты любого АБ-теста.

С докладом на эту тему я выступил на онлайн секции Матемаркетинга'24. С идентичным докладом, чуть ранее, но уже в оффлайне, я выступил на локальном митапе от Garage Eight в Санкт-Петербурге.

Сегодня хочу поделиться записью оффлайн выступления с вами:

🔗 https://youtu.be/hNrP_zvkKY8

Уверен, что вы найдете в докладе что-то полезное для себя, и это поможет избежать подобных ошибок в своей работе.

Как проводить АБ, когда мало трафика?

«Мы еще не доросли до АБ. У нас нет сотни тысяч уникальных пользователей в месяц»

Это частое заблуждение, которое я слышу от компаний в самом начале своего experiment-driven пути.

В прошлом месяце я выступил на закрытом митапе сообщества founder’ов и с-level’а global-стартапов – R-Founders.

На нем я поделился 5 лайфхаками, которые позволят проводить АБ даже если у вас всего десятки, а то и несколько тысяч пользователей.

Сегодня делюсь ими с вами в карточках выше.

Хочешь разбираться во всех тонкостях АБ тестирования? Тогда напоминаю, что идет набор на второй поток моего практика-ориентированного курса по АБ и проверке гипотез.

Узнать детали и оставить заявку можно по ссылке:

🔗 nodatanogrowth.com/product-analyst-ab-testing

Следующий поток будет только осенью 2025 года. Поэтому не упусти возможность вывести качество своих АБ на новый уровень уже в этом году.)

Как работать с Ratio-метриками – Delta-method

В посте с видами метрик в АБ-тестах я рассказал о трех видах метрик: долях, непрерывных и метриках отношения (ratio-метриках).

Больше всего интереса вызывает именно последний вид, поскольку к ratio-метрикам нельзя просто взять и применить привычные стат. критерии.

Проблема заключается в том, что в ratio-метриках числитель (num) и знаменатель (denom) зависимы. А тот же t-test, как и многие другие тесты, предполагают независимость данных. Как итог – мы неправильно оцениваем дисперсию метрики.

Один из вариантов решения проблемы – применение delta-method’а. Суть метода проста. В нем мы корректируем нашу дисперсию на корреляцию. Для это нам понадобится следующая функция оценки дисперсии:

def est_ratio_var(num, denom):

    mean_num, mean_denom = np.mean(num), np.mean(denom)
    var_num, var_denom = np.var(num), np.var(denom)
    
    cov = np.cov(num, denom)[0, 1]
    
    ratio_var = (
            (var_num / mean_denom ** 2)
            - (2 * (mean_num / mean_denom ** 3) * cov)
            + ((mean_num ** 2 / mean_denom ** 4) * var_denom)
    )
    
    return ratio_var

Рассмотрим работу метода на примере метрики CTR. Т. е. у нас будут колонки 'clicks' и 'views' на каждого user_id. Тогда можно выделить 2 ключевых момента работы с ней:

1️⃣ Расчет размера выборки.

В коде ниже, rel_mde – относительный MDE, cohen_d – стандартизированный MDE. Пользователей делим 90 на 10.

rel_mde = 0.1

var = est_ratio_var(df['clicks'], df['views'])
control_std = var**0.5

control_mean = df['clicks'].sum() / df['views'].sum()
test_mean = control_mean * (1 + rel_mde)

cohen_d = (test_mean - control_mean) / control_std

n1 = tt_ind_solve_power(
    effect_size=cohen_d,
    alpha=0.05,
    power=0.8,
    ratio=9,  # n2/n1
    alternative="two-sided"
)

print(f"Размер выборки delta-method: "
      f"n1 = {round(n1)}, "
      f"n2 = {round(9 * n1)}"
)

2️⃣ Оценка статистической значимости изменений:

def delta_method(group_A, group_B):

    ratio_A = group_A['clicks'].sum() / group_A['views'].sum()
    ratio_B = group_B['clicks'].sum() / group_B['views'].sum()

    var_A = est_ratio_var(group_A['clicks'], group_A['views'])
    var_B = est_ratio_var(group_B['clicks'], group_B['views'])

    uplift = ratio_B - ratio_A
    se = np.sqrt(var_B / len(group_B) + var_A / len(group_A))

    t = uplift / se
    p_val = (1 - stats.norm.cdf(abs(t))) * 2
    
    return p_val

Я нахожу Delta-method самым простым в интерпретации для бизнеса. Но существуют и другие методы работы с ratio-метриками – линеризация, бутстреп, бакетизация. Все они имеют свои плюсы и минусы, а также нюансы применения.

Хотели ли бы видеть больше постов в таком формате? Тогда поставьте 🐳 этому посту.)

🚩 6 красных флагов для HR в резюме кандидата

Ситуации и решения в жизни бывают разными. Многие из них находят прямое отражение в резюме.

Но рынок труда зачастую безразличен к проблемам кандидатов. Если HR что-то не нравится в резюме – он пойдет смотреть следующее.

В карточках выше я поделился 6 красными флагами в резюме. Их наличие сильно уменьшает шансы получить приглашение на собеседование.

После их прочтения, может сложиться впечатление, что если ты попал хотя бы под один из флагов, то тебя больше никогда не позовут на собеседования.

Это, конечно, не так. Во-первых, это лишь уменьшает шансы, но не сводит их на нет. Во вторых – все случаи индивидуальны.

Если ты все таки попал на интервью – нужно правильно преподнести причины перерывов или переходов, продемонстрировать наличие необходимых компетенций на должном уровне.

Устроившись на хорошую позицию, ты получишь возможность сбросить с себя все красные флаги и выйти на нужный трек для дальнейшего роста.

Буду рад встрече в оффлайне 🚀

Как и обещал, 7-8 ноября – я на Матемаркетинге.

Из планов – очень много общаться и, возможно, посмотреть пару докладов.

Пару недель назад я начал заниматься изготовлением мерча No Data No Growth.

Специально к конференции сделал минималистичную футболку. Так что ищите меня по фирменному цвету бренда.)

Для оперативного коннекта – можем предварительно списаться в личных сообщениях. Так будет проще найтись.

До встречи в оффлайне.)

Виды метрик в АБ-тестах и их стат. критерии

Часто можно слышать вопрос – какой статистический критерий и в каких случаях применять?

На практике, вопрос сильно упрощается, если свести его к определению вида метрики. Зная вид метрики – определение подходящего стат. критерия становится тривиальной задачей.

Всего можно выделить 3 вида метрик. О них я рассказываю в карточках выше. Там же ты найдешь и о стат. критериях для работы с ними.

Узнал для себя что-то новое сегодня? Тогда поставь ✍️. А если все знакомо и привычно – 🐳.

А если хочешь систематизировать свои знания по АБ и закрепить их на практике, то напоминаю, что открыта запись на мой авторский практико-ориентированный курс по АБ-тестированию. Детали можно узнать по ссылке ниже:

🔗 nodatanogrowth.com/product-analyst-ab-testing

Я гарантирую, что пройдя его, уже через 3 месяца ты будешь разбираться буквально во всех аспектах и нюансах проведения АБ экспериментов и проверки гипотез.

#абтесты

Все еще нет системного понимания АБ-тестирования?

Мои первые АБ были примитивными. Это были тесты на улучшение конверсий. О том, что существуют непрерывные и (тем более) ratio-метрики – я тогда не знал.

Мы выделяли десятки метрик-конверсий для каждого эксперимента, не думая о поправках на множественное сравнение. Как итог, часто недоумевали от ошибок 1 рода.

Мы стремились проводить первые параллельные АБ, стандартизировать процессы чеклистами, строили свою АБ платформу. Но мы были сильно ограничены своими знаниями того времени.

Тогда я лишь интуитивно понимал, куда нужно развивать АБ. О стадиях развития аналитической культуры я узнаю позднее из книги Кохави, которая выйдет в 2020 году.

Когда я пришел в FindMyKids, я обнаружил проблему в сплитовании – пользователи были склонны вновь попадать в ту же ветку. Таких экспериментов прошло уже много, поэтому о нанесенном уроне хочется промолчать.

АБ было много, длились они долго, изменения имели сильное влияние на долгосрочном эффекте. Справляться с этим помогали очередная самописная АБ-платформа, тщательный выбор прокси-метрик и методы ускорения АБ. Продукт был комплексным, и мы смотрели сотни метрик с каждым тестом. Применять классические поправки на множественное сравнение было бы безумием.

В Яндексе практически не было АБ. Продукт Плюса настолько комплексный, что полноценно тестировать его можно только в параллельных вселенных. Благо, что существуют специальные АБ без АБ методы. А то, что удавалось проводить через АБ – было огромной болью работы с местной АБ платформой.

За время своей работы – я повидал всякое. И успел поработать в компаниях разного размера и уровня аналитической культуры.

Я знаю, насколько тяжело собрать системную картину в АБ. Я собирал все по крупицам с многочисленных статей, книг, курсов, конференций, и, конечно же, на тонне собственных ошибок. И за столько лет, не было единого места, где можно было бы обо всем узнать и во всем разобраться.

И знаю, что на теории все может звучать легко, а на практике – появляется огромное количество нюансов.

Именно поэтому я собрал всю свою экспертизу в авторский практико-ориентированный курс по АБ тестированию. На нем я даю как широкий кругозор в АБ, так и глубокое понимание нюансов на всех этапов.

Многие из участников первого потока, до этого пройдя немалоизвестные курсы по АБ на рынке, все равно пришли за системой и доучиваться ко мне. И остались крайне довольны.

Ознакомиться с программой, отзывами и оставить заявку на курс можно по ссылке ниже:

🔗 nodatanogrowth.com/product-analyst-ab-testing

Места на втором потоке – ограничены. Также часть мест уже занята людьми из предзаписи. Поэтому не откладывай решение присоединиться. Особенно если планируешь оплачивать обучение через работодателя.

Если раздумываешь – лучше оставь заявку чем раньше. В течение 24 часов я созвонюсь с тобой, помогу понять, подходит ли тебе программа, и отвечу на все вопросы по курсу.

Что вы хотите узнать о работе вне найма?

Я начинал свою карьеру с фриланса. Это был мой способ получить первый опыт в Data Science. Я искал и брался за любые заказы – на местных и иностранных фриланс биржах, через знакомых и даже у преподавателей в университете.

Этот опыт помог мне получить позицию мидла на моем первом месте работы. Там я начал осваивать продуктовую аналитику и инжиниринг данных. И, конечно же, по возможности применял машинное обучение.

После многих лет, добившись определенных высот в карьере, я всё таки ушел из найма. И уже больше чем полгода работаю «на себя». Сейчас я занимаюсь консалтингом и обучением в продуктовой аналитике. И, попробовав другую жизнь, сложно уже вернуться обратно.

На следующей неделе я принимаю участие в записи подкаста «Карьера без Багов» на тему «Туда и обратно: можно ли выйти из найма в свое дело или наоборот». Ведущие подкаста, Ольга и Елена, также имеют подобный опыт.

Чтобы сделать подкаст более интересным для слушателей, хочу собрать вопросы, которые волнуют вас сильнее всего по этой теме.

Оставьте в комментариях под этим постом любые (даже самые каверзные) вопросы. А мы постараемся ответить на них в рамках подкаста.)

Популярная продуктовая задача про лифт из Яндекса

Эту задачу любят задавать на продуктовых собеседованиях и секциях-финалах.

Может показаться, что эта задача звучит достаточно абстрактно и оторванно от жизни.

«Нас лифт-как-продукт в офисе нанимают оптимизировать? Не думал, что в крупной компании настолько узкие специализации…»

Но эта задача позволяет проверить продуктовое мышление в отрыве от привычных продуктов и задач. И для нее применимы все те же принципы, что и в любом другом продукте.

А звучит задача так:

Есть 2 одинаковых здания (офисных центра)

🔹 На каждом этаже работает примерно одинаковое количество людей;
🔹 В каждом здании есть по 1 лифту;
🔹 Лифты одного производителя, одинаковой модели, но с разными программами.

Мы хотим понять, в каком здании программа лифта лучше с точки зрения пассажира лифта.

Есть данные за прошлую неделю:

🔹 Логи передвижения лифта;
🔹 Логи датчика грузоподъёмности;
🔹 Логи нажатия кнопок внутри и снаружи лифта.

Как посчитать метрику удовлетворённости по этим данным?

Присылайте свои варианты рассуждений в комментарии к этому посту 👇

А если хотите увидеть пост с моим вариант разбора – то поставьте 🐳

#задачиссобеседований

🔥 Бесплатный чеклист полного цикла АБ-экспериментов 🔥

Сегодня хочу поделиться с вами своим детальным чеклистом из 64 пунктов для проверки корректности всех ключевых моментов проведения АБ эксперимента: сбора бизнес-аспектов, дизайна, запуска, проведения, подведения итогов и закрытия.

Независимо от того, новичок ты или профи в АБ, чеклист поможет структурировать каждый этап эксперимента и избежать ошибок.

Чеклист можно найти по ссылке ниже:

🔗 nodatanogrowth.com/ab-checklist 👈

В качестве бонуса, вместе с чеклистом ты найдешь:

🔸 Подробный шаблон для дизайна эксперимента;

🔸 Пример заполнения шаблона на основе реального кейса.

Кто активно за мной следит, знает, что это уже вторая версия чеклиста. Из ключевых изменений второй версии:

🔹 Обновленное наполнение

Попользовавшись чеклистом, а также собрав обратную связь по работе с ним, я внес изменения как в структуру, так и в некоторые пункты.

По структуре – в разделах дизайна и проведения появились подразделы.

По пунктам – больше всего изменения коснулись работы с рисками и ограничениями. А какая-то часть пунктов была переформулирована.

🔹 Переезд на сайт

В таком формате, имея ссылку под рукой, можно быстро открыть чеклист и проверить, ничего ли ты не забыл учесть в своем конкретном эксперименте.

А еще удобно, когда все полезности лежат в одном месте – так на этом сайте уже живет сборник тестовых заданий.

🔹 Поддержка Google Sheets

Внизу страницы с чеклистом доступна ссылка на чеклист в формате Google Sheets. Если ты хочешь адаптировать его под свою специфику и задачи – пользуйся.

---

Если у тебя есть предложения по улучшению чеклиста или его представления – обязательно присылай свои идеи мне в личные сообщения.

И успешных экспериментов!

Увидимся на Матемаркетинге’24! 🚀

Кто вдруг не знает, Матемаркетинг – это крупнейшая в РФ ежегодная конференция по продуктовой и маркетинговой аналитике. Матемаркетинг’24 – 2 оффлайн и 1 онлайн день, более 120 докладов и куча инсайтов для аналитиков, продакт-менеджеров, ML-специалистов и дата-инженеров.

Это моя самая любимая конференция для продуктовых аналитиков. Я слежу за ней с 2018 года. А последние годы – принимаю участие в разных формах. Например, в прошлом году, я был стендистом от Яндекса и схантил большое количество человек.)

В этом году я впервые выступаю на Матемаркетинге с докладом на тему АБ тестирования.

В рамках доклада хочу поделиться 12 распространенными ошибками при работе с АБ, которые полностью погубят результаты любого эксперимента. С этими ошибками я сталкивался на протяжении всей своей карьеры вне зависимости от размера и зрелости аналитической культуры компаний.

Но есть нюанс. Я пропустил сроки и довольно поздно подал заявку на доклад. Поэтому мое выступление будет в онлайн части конференции. Это уже завтра – 29 октября.

Онлайн выступление, это, конечно, не оффлайн, но тут я сам виноват. И лучше онлайн, чем совсем никак. Попадать в дедлайны планирую в следующем году.

Также, 7-8 ноября я буду на оффлайн части конференции в Москве. Планирую посмотреть парочку докладов и много общаться. Так что буду рад увидеться и пообщаться с вами вживую.)

Если вы еще не приобрели билеты и раздумываете о покупке, то Алексей (организатор конференции), предоставил мне промокод для подписчиков канала – NDNG15.

Обязательно приезжайте на оффлайн часть – она того стоит!

Программу Матемаркетинга’24 вы найдете здесь. А зарегистрироваться на конференцию можно по этой ссылке.

Полгода вне найма. Пора назад? 🤔

Прошло 6+ месяцев как я не в Яндексе и не работаю в найме.

Бывшие коллеги часто говорили, что спустя 2 месяца без работы, ты начинаешь хотеть обратно.

Сегодня хочу поделиться с вами своими ощущениями и мыслями на этот счет.

→ Что делал 6+ месяцев вне найма?

Как ни странно, работал больше, чем когда либо в найме.

Сейчас я занимаюсь консалтингом, менторством и онлайн-школой No Data No Growth. За это время, я:

🔹 Создал и провел первый поток двухмесячного интенсива по прохождению собесов. Уже стартовал второй.

🔹 Создал и провел первый поток трехмесячного курса по АБ тестам. Второй поток будет в конце ноября;

🔹 Помог десяткам компаний и сотням специалистов в достижении свой целей;

🔹 Вложил много сил в продвижение и развитие бренда No Data No Growth.

При этом я успел сделать от силы 25% от запланированного. Так что работы мне хватает.)

→ Зачем тебе это? Почему не найм?

Я всегда хотел заниматься чем-то «своим».

И теперь я сам в ответе за свои успехи и неудачи, результаты, да и жизнь в целом. Потолка в виде работодателя тоже больше нет.

И я чувствую, что я на своем месте. И никогда еще не был более счастлив в жизни. Мое окружение тоже это подмечает.

Я ни в коем случае не призываю следовать моему примеру. Нет такого, что найм – зло, а вот «свое» – идеал. Это о разном. И каждому свое.

Также не все понимают мой выбор. Кто-то считает, что то, чем я теперь занимаюсь – даунгрейд.

Для тех, кто метит подняться на вершину корпоративной лестницы – несомненно.

Но для меня – это логический следующий шаг к достижению своих целей.

→ Что дальше?

В последнее время я много думал о том, куда двигаться дальше.

Становиться крупной онлайн-школой или консалтинговым агенством у меня нет желания.

При этом свою ламповую школу – я буду продолжать развивать. Мне очень нравится делиться экспертизой и помогать людям достигать своих целей.

Но хочется мыслить масштабнее и более амбициозно.

Поэтому, я вижу для себя 2 пути:

🔸 В следующем году устроиться в быстрорастущий международный стартап без русских корней или крупную корпорацию аля FAANG. Так я смогу лучше разобраться, как все устроено в иностранных компаниях, и помогать своим менти достигать еще более амбициозных целей;

🔸 Создать свой полноценный продукт (веб-сервис, мобильное приложение), который решал бы конкретные боли людей, подразумевал регулярное и длительное использование и т. д. Нанимать команду, заниматься развитием продукта.

Пусть первый путь и звучит заманчиво, меня больше привлекает именно второй. Идея – есть, команда почти укомплектована. Остается только реализовать.

Я обещал вам реалити-шоу по трудоустройству – оно будет. Хоть и будет оно ради опыта, а не для трудоустройства. Хотя никогда не знаешь, что могут предложить.)

А чего бы вы хотели видеть больше на канале? Если про трудоустройство и работу в компании без русских корней – поставьте 🐳. Если про создание и развитие своего продукта – 🦄.

🚀 Исследование рынка аналитиков

Ты – аналитик и работаешь с данными?

Видел исследование рынка аналитики от NewHR за 2023 год по ссылке ниже?

https://newhr.org/data/research-analysts-2023

Хочешь увидеть такой же за 2024?

Тогда обязательно пройди опрос и помоги собрать выборку для репрезентативного результата!

https://forms.yandex.com/u/66ea88f5e010db2807c79c4f/

Каждый голос имеет значение. Поэтому, пожалуйста, не поленись и удели 20 минут. Сообщество аналитиков будет очень тебе благодарно.

Результаты исследования появятся в начале 2025.

А если хочешь, чтобы я написал пост с ключевыми моментами из результатов исследования, как только они появятся – поставь 🔥

8 популярных вопросов по теории SQL с собеседований

Все привыкли видеть задачки на SQL на собесах. Но вместо задач, либо в дополнение к ним, можно встретить и вопросы на понимание теории SQL.

Предлагаю сегодня размять мозги на таких вопросах. Ты найдешь их в карточках выше.

Правило прежнее: сначала попробуй ответить сам, после – сверяйся с моим вариантом.

Ну как, на сколько вопросов из 8 удалось ответить корректно?

Если на все, то поставь 🐳. А если подчеркнул для себя что-то новое – ✍️

#задачиссобеседований

Как работать с проблемой множественного сравнения в АБ тестировании?

Проблема множественного сравнения возникает, когда мы хотим сделать несколько статистических выводов (тестов) на одном наборе данных.

При этом к росту ошибок I рода одинаково ведут сценарии проверки на стат значимость:

🔹 3 метрик в рамках A/B;
🔹 по 1 метрике в A/B/C;
🔹 много метрик и веток.

На практике проблема зачастую отягощается еще и зависимостью проверяемых гипотез.

❓ Как с этим быть? Рассказываю в карточках выше.

А если тебе было полезно, и ты хочешь больше постов на тему АБ – то поставь 🔥

Почему важно вести единый журнал А/Б тестов?

Правильно организованный журнал экспериментов — это мощный инструмент, который собирает в себе все данные о проведённых А/Б тестах и изменениях в продукте в одном месте.

Он не только помогает систематизировать информацию, но и позволяет извлекать из неё практическую пользу для развития продукта.

В карточка выше вы найдете 5 причин, почему ведение такой базы знаний — важный шаг для роста любой data-driven компании.

Чтобы начать вести базу знаний – не нужно внедрять какой-то специальный навороченный инструмент. Это может быть обычный Google Sheet.

А для старта, можно взять мой готовый шаблон, который я активно использовал в работе:

🔗 https://docs.google.com/spreadsheets/d/1N6Ef_tJFLZeap9SMx6kSKOfqMr7WNKpK_oY0WlKfP1Q/edit?usp=sharing

Ведете ли вы журнал экспериментов у себя в продукте? Поделитесь, как он выглядит.) И какая ситуация его использования вам больше всего запомнилась?

#абтесты