No Data No Growth | Pavel Bukhtik

🎉 Курс по АБ стартует уже на следующей неделе

Осталось 2 дня, чтобы присоединиться ко второму потоку и вывести свой навык АБ тестирования на качественно новый уровень 🚀

Все свои знания и опыт по АБ мне приходилось 7 лет собирать из статей, книг, курсов, конференций, нетворкинга и кучи собственных ошибок.

И спустя столько лет так и не появилось единого места, где можно было бы получить полную и глубокую картину проведения АБ на практике.

И даже пройдя немалоизвестные курсы, люди все равно приходят ко мне с болями:

♦️ «Была база по АБ, а в рабочих задачах все равно много вопросов»

♦️ «Никто не объяснял большую картину, как все взаимосвязано и работает на практике»

♦️ «Меня все равно разворачивают на собеседованиях, т. к. моих ответов по АБ недостаточно»

По этой причине, собрав всю свою экспертизу, я разработал собственную программу. И я ставлю перед собой цели:

🔸 Дать системное понимание всего разнообразиях подходов, методов и инструментов – буквально во всех аспектах АБ;

🔸 Заложить глубокое понимание и практическую отработку необходимых для рабочих задач скиллов на максимально прикладных задачах и трудностях;

🔸 Чтобы после каждого занятия вы могли сразу же переносить полученные знания и навыки на рабочие задачи.

И по отзывам участников первого потока – мне это удалось. Второй поток, со всеми его обновлениями, будет только лучше.

Этот курс – это:

🔹 12 теоретических онлайн-занятий в Zoom. На них я даю систему и лучшие практики. Подкрепляю примерами из реальной практики. Отвечаю на все вопросы;

🔹 12 практических занятий в группах по ~10 человек: никто не останется без внимания. На них мы тренируемся справляться с прикладными ситуациями и задачами, решаем кейсы с вашей практики;

🔹 12 комплектов доп. материалов в виде чеклистов, шаблонов, статей, видео и книг для еще более углубленного погружения в любую из рассмотренных на занятиях тем;

🔹 12 индивидуальных домашних заданий с последующей развернутой обратной связью их выполнения;

🔹 Комьюнити единомышленников, которые активно обмениваются своим опытом и кейсами на занятиях и в чате потока.

На второй поток (старт 2 декабря) осталось 8 мест. Поэтому оставь заявку на сайте:

🔗 nodatanogrowth.com/product-analyst-ab-testing 👈

Войди в новый год с качественно новым уровнем проведения АБ 🚀

И до встречи на занятиях.)

Как я не устроился продуктовым аналитиком в Miro в 2022 году

Я откликнулся в Miro в середине апреля 2022 года. Резюме вместе с сопроводительным письмом я отправил через сайт. Но через хороших знакомых и несколько рукопожатий попросил их протолкнуть.

На тот момент компания уже полностью покинула свой Пермский офис и позиционировала себя как иностранная. Про русские корни можно было в целом забыть. Как я узнаю позднее – все этапы на английском, ни одного русского я не встречу, команда тоже англоязычная. Успешного кандидата будут релоцировать либо в Амстердам, либо в Берлин.

Только спустя 1.5 месяца, 25 мая мне на почту пришло письмо, что меня рады рассмотреть на позицию. Несмотря на то, что откликнулся на позицию Senior, с моим опытом меня решили рассмотреть на позицию Lead Product Data Analyst.

Первую встречу-скрининг удалось назначить только на 31 июня. Я боялся, что не смогу понять акцент HR, так как увидел, что он из Индии. Но не смотря на мое стереотипное на тот момент мышление – он очень хорошо говорил по-английски. Разборчиво, но при этом очень бегло. Благо моего уровня английского и опыта собеседований на нем хватило.

На HR-скрининге мне сказали, что всего будет 7 этапов. 1) HR встреча → 2) Знакомство с нанимающим менеджером → 3) Тестовое задание → 4) Тех. секция по SQL → 5) Защита кейса → 6) Что-то еще → 7) Финал

Второй этап назначили на 9 июня. Приятно пообщались с местным парнем из Амстердама за опыт и жизнь, поотвечал на behavioural вопросы.

В тот же день вечером мне выслали тестовое задание. Дали 7 дней на его выполнение. Когда пришлю – проверят за 5 дней. Само тестовое задание, кстати, можно найти в моем сборнике тестовых заданий.

Дальше тут могло быть «отправил тестовое, позвали дальше». Но я хоть и сделал тестовое, но отправил HR’у сообщения: «сори, я не готов общаться дальше».

Я с середины апреля искал работу. На этапе тестового в Miro, я уже собрал офферов и онбордился в стартапе FindMyKids в Перми. Компания мне понравилась, а нагрузка была высокая, поэтому решил сфокусироваться на испытательном сроке.

Если бы я продолжил собеседоваться в Miro, то по моим прогнозам я бы дошел до потенциального оффера к середине июля. А это 4 месяца с момента отклика. Для одной компании, по меркам РФ – это очень долго.

Поэтому, если планируете искать работу в иностранной компании – закладывайте минимум полгода на поиск работы. Оптимально – 9-12 месяцев. Мой кейс – не единичный. Это не РФ, где с неплохим опытом можно найти работу за 2-4 недели.

Расскажи о своем опыте прохождения собеседований в зарубежные компании. Был ли он схож с моим?

Как писать (и НЕ писать) сопроводительные письма: мои примеры

Первое я писал в Netflix в 2020 году. Честно, до отправки дело не дошло, т. к. это было домашним заданием на занятиях по английскому языку. Поскольку письмо никогда не было отправлено – оно не имеет даты. Но это был мой первый опыт написания чего-то вменяемого. И писал от души, т. к. мне правда нравится Netflix.

Второе – писал в Miro. В этот раз писал уже целенаправленно, т. к. хотел попасть к ним на работу. Поэтому письмо было зареферено через несколько рукопожатий и дошло до адресата. В Miro меня, кстати, пригласили на собеседования. Но как это было и как я их проходил – совсем другая и забавная история для отдельного поста. Если интересно – то поставь 🐳, и расскажу уже завтра.

Третье нашел в архиве HH за 2019 год. И тут я понял, что как будто с себя писал пример плохого письма 😂. Честно, увидел его сегодня впервые спустя 4 года. Надеялся, что оно будет хотя бы чуточку лучше. Но нет.)

Первые два письма, кстати, тоже не лишены недостатков. Кто подсветит их в комментариях – тот большой молодец.

Зачем нужен сертификат прохождения курса?

Знаю, что сейчас сертификатами никого не удивишь, но всё равно приятно получать подтверждение того, что ты прошёл какое-то обучение. У меня самого порядка 50+ разных сертификатов.

Меня спрашивали, буду ли я выдавать такие по прохождению своих курсов. И я решил, что да. Правда в формате «по-запросу» и для тех, кто принимал активное участие на практиках и делал домашки.

В основном, ребята кладут сертификат в какую-нибудь папочку на память. Но мне приятно, что большинство выпускников указывают прохождение моего курса в резюме. А нанимающие менеджеры, видя такую запись, понимают, что кандидат прошел качественное обучение у меня. По запросу – я могу подтвердить подлинность прохождения обучения и дать характеристику кандидата.

Из менее очевидных плюшек – с прохождения курса можно получить налоговый вычет. Если вы уже принимали участие в одном из моих курсов, или планируете – я предоставлю все необходимые документы.

Также, обучение всегда можно оплатить за счет работодателя. А можно прийти с заявкой на корпоративное обучение, и я адаптирую программу под вашу специфику.

Старт второго потока по АБ уже 2 декабря. Узнать детали и оставить заявку можно по ссылке 👇

nodatanogrowth.com/product-analyst-ab-testing

Приходите за практикой и систематизацией знаний ❤️

Нужно ли в 2025 году писать сопроводительные письма?

Если твое сопроводительное письмо выглядит так:

«Здравствуйте! Прошу рассмотреть мое резюме на позицию X. Спасибо!»

То можешь даже не тратить время на его рассылку.

Если ты начинающий специалист – такое письмо никак не поможет.

Если имеешь минимальный релевантный и хорошо описанный опыт, а работу ищешь в РФ или в компаниях с русскими корням за границей – с тобой и без сопроводительного будут хотеть пообщаться.

При этом, написав лишнего в письме, можно только ухудшить свои шансы быть приглашенным на HR-скрининг.

Сопроводительное письмо – это про возможность выделиться на фоне остальных кандидатов.

Оно дает эффект тогда, когда вы очень хотите повысить шансы приглашения на собеседование на конкретную позицию.

Другой сценарий – когда понимаете, что конкуренция высока. Это актуально как для начинающих специалистов, так и для тех, кто ищет работу в иностранных компания без русских корней. В последних даже если у вас уверенный опыт в резюме, получить приглашение – та еще задача.

Письмо особенно хорошо сработает, если сможете найти человека, который вас зареферит и передаст письмо HR напрямую.

Как написать сопроводительное так, чтобы оно действительно выделяло?

Самое главное – письмо должно быть персонализировано под каждую конкретную позицию. В нем нужно показать вашу мотивацию и почему вы match для конкретной позиции.

Оно должно быть коротким, но содержательным. Объем – 3-5 небольших абзаца. Это примерно половина листа, или около 1000 символов. Стиль – деловой, но не слишком формальный.

Оптимальная структура и ключевые аспекты следующие:

1️⃣ Поприветствуйте потенциального работодателя и представьтесь. Напишите, на какую вакансию откликаетесь. Укажите название компании и должность, на которую откликаетесь, так, как они написаны в вакансии.

2️⃣ Объясните, почему хотите работать в этой компании и что именно вас привлекает в вакансии.

3️⃣ Расскажите о своих профессиональных качествах, которые будут полезны компании. Для этого читаем требования вакансии и пишем про свои скиллы, которые помогут решить их задачи. При этом максимально используем формулировки и ключевые слова из вакансии.

4️⃣ Почему я лучший среди остальных? Описываем достижения в цифрах. Даем понять, что вы не просто работу работаете, а приносите конкретные результаты.

5️⃣ Благодарим за то, что потенциального работодатель прочитал ваше письмо до конца. Пишем Call-to-Action (например: звоните – буду рад пообщаться).

6️⃣ В конце оставляем контакты: имя, телефон, почтовый адрес, телеграм, прочие контакты. по которым рекрутер сможет с вами связаться.

Пример сопроводительного письма на позицию продуктового аналитика, которая предполагает решение проблемы с количеством ad-hocов и выстраивание системы дашбордов на Tableau – смотрите в комментариях к этому посту.

А как вы относитесь к сопроводительным письмам? Поделитесь своим опытом в комментариях.

Сможешь провести АБ без ошибок? Проверь себя!

Представь, что ты — продуктовый аналитик в мобильном приложении для планирования личных дел (а.к.а. To-Do List).

Менеджер продукта обращается к тебе на встрече:

«Привет! У нас беда. Метрика удержания пользователей падает уже второй месяц подряд.

Команда предложила конкретные улучшения дизайна экранов с задачами — сделать их более минималистичными.

Мы хотим запустить АБ-тест для проверки этой гипотезы. Но появились нюансы, которые я хотел бы обсудить. Сможешь помочь?»

Готов помочь продакту и команде провести АБ? Тогда смотри его вопросы в карточах выше.

Как тебе пост в таком формате? Если зашел и хочешь больше подобного – то поставь 🔥

12 ошибок, которые погубят результаты любого АБ эксперимента

Последние 7 лет я занимаюсь всем что связано с продуктовой аналитикой, развитием experiment-driven культуры и АБ тестами. Последние 4 года в найме – в качестве Head'а продуктовой аналитики.

За это время мне удалось приложить руку к развитию культуры разных компаний: как крупных и средних, так и быстрорастущих стартапов.

И вне зависимости от размера компании и уровня развития аналитической культуры, продуктовые менеджеры и аналитики сталкиваются со схожими ошибками. Эти ошибки в свою очередь могут свести на нет результаты любого АБ-теста.

С докладом на эту тему я выступил на онлайн секции Матемаркетинга'24. С идентичным докладом, чуть ранее, но уже в оффлайне, я выступил на локальном митапе от Garage Eight в Санкт-Петербурге.

Сегодня хочу поделиться записью оффлайн выступления с вами:

🔗 https://youtu.be/hNrP_zvkKY8

Уверен, что вы найдете в докладе что-то полезное для себя, и это поможет избежать подобных ошибок в своей работе.

Как проводить АБ, когда мало трафика?

«Мы еще не доросли до АБ. У нас нет сотни тысяч уникальных пользователей в месяц»

Это частое заблуждение, которое я слышу от компаний в самом начале своего experiment-driven пути.

В прошлом месяце я выступил на закрытом митапе сообщества founder’ов и с-level’а global-стартапов – R-Founders.

На нем я поделился 5 лайфхаками, которые позволят проводить АБ даже если у вас всего десятки, а то и несколько тысяч пользователей.

Сегодня делюсь ими с вами в карточках выше.

Хочешь разбираться во всех тонкостях АБ тестирования? Тогда напоминаю, что идет набор на второй поток моего практика-ориентированного курса по АБ и проверке гипотез.

Узнать детали и оставить заявку можно по ссылке:

🔗 nodatanogrowth.com/product-analyst-ab-testing

Следующий поток будет только осенью 2025 года. Поэтому не упусти возможность вывести качество своих АБ на новый уровень уже в этом году.)

Как работать с Ratio-метриками – Delta-method

В посте с видами метрик в АБ-тестах я рассказал о трех видах метрик: долях, непрерывных и метриках отношения (ratio-метриках).

Больше всего интереса вызывает именно последний вид, поскольку к ratio-метрикам нельзя просто взять и применить привычные стат. критерии.

Проблема заключается в том, что в ratio-метриках числитель (num) и знаменатель (denom) зависимы. А тот же t-test, как и многие другие тесты, предполагают независимость данных. Как итог – мы неправильно оцениваем дисперсию метрики.

Один из вариантов решения проблемы – применение delta-method’а. Суть метода проста. В нем мы корректируем нашу дисперсию на корреляцию. Для это нам понадобится следующая функция оценки дисперсии:

def est_ratio_var(num, denom):

    mean_num, mean_denom = np.mean(num), np.mean(denom)
    var_num, var_denom = np.var(num), np.var(denom)
    
    cov = np.cov(num, denom)[0, 1]
    
    ratio_var = (
            (var_num / mean_denom ** 2)
            - (2 * (mean_num / mean_denom ** 3) * cov)
            + ((mean_num ** 2 / mean_denom ** 4) * var_denom)
    )
    
    return ratio_var

Рассмотрим работу метода на примере метрики CTR. Т. е. у нас будут колонки 'clicks' и 'views' на каждого user_id. Тогда можно выделить 2 ключевых момента работы с ней:

1️⃣ Расчет размера выборки.

В коде ниже, rel_mde – относительный MDE, cohen_d – стандартизированный MDE. Пользователей делим 90 на 10.

rel_mde = 0.1

var = est_ratio_var(df['clicks'], df['views'])
control_std = var**0.5

control_mean = df['clicks'].sum() / df['views'].sum()
test_mean = control_mean * (1 + rel_mde)

cohen_d = (test_mean - control_mean) / control_std

n1 = tt_ind_solve_power(
    effect_size=cohen_d,
    alpha=0.05,
    power=0.8,
    ratio=9,  # n2/n1
    alternative="two-sided"
)

print(f"Размер выборки delta-method: "
      f"n1 = {round(n1)}, "
      f"n2 = {round(9 * n1)}"
)

2️⃣ Оценка статистической значимости изменений:

def delta_method(group_A, group_B):

    ratio_A = group_A['clicks'].sum() / group_A['views'].sum()
    ratio_B = group_B['clicks'].sum() / group_B['views'].sum()

    var_A = est_ratio_var(group_A['clicks'], group_A['views'])
    var_B = est_ratio_var(group_B['clicks'], group_B['views'])

    uplift = ratio_B - ratio_A
    se = np.sqrt(var_B / len(group_B) + var_A / len(group_A))

    t = uplift / se
    p_val = (1 - stats.norm.cdf(abs(t))) * 2
    
    return p_val

Я нахожу Delta-method самым простым в интерпретации для бизнеса. Но существуют и другие методы работы с ratio-метриками – линеризация, бутстреп, бакетизация. Все они имеют свои плюсы и минусы, а также нюансы применения.

Хотели ли бы видеть больше постов в таком формате? Тогда поставьте 🐳 этому посту.)

🚩 6 красных флагов для HR в резюме кандидата

Ситуации и решения в жизни бывают разными. Многие из них находят прямое отражение в резюме.

Но рынок труда зачастую безразличен к проблемам кандидатов. Если HR что-то не нравится в резюме – он пойдет смотреть следующее.

В карточках выше я поделился 6 красными флагами в резюме. Их наличие сильно уменьшает шансы получить приглашение на собеседование.

После их прочтения, может сложиться впечатление, что если ты попал хотя бы под один из флагов, то тебя больше никогда не позовут на собеседования.

Это, конечно, не так. Во-первых, это лишь уменьшает шансы, но не сводит их на нет. Во вторых – все случаи индивидуальны.

Если ты все таки попал на интервью – нужно правильно преподнести причины перерывов или переходов, продемонстрировать наличие необходимых компетенций на должном уровне.

Устроившись на хорошую позицию, ты получишь возможность сбросить с себя все красные флаги и выйти на нужный трек для дальнейшего роста.

Буду рад встрече в оффлайне 🚀

Как и обещал, 7-8 ноября – я на Матемаркетинге.

Из планов – очень много общаться и, возможно, посмотреть пару докладов.

Пару недель назад я начал заниматься изготовлением мерча No Data No Growth.

Специально к конференции сделал минималистичную футболку. Так что ищите меня по фирменному цвету бренда.)

Для оперативного коннекта – можем предварительно списаться в личных сообщениях. Так будет проще найтись.

До встречи в оффлайне.)

Виды метрик в АБ-тестах и их стат. критерии

Часто можно слышать вопрос – какой статистический критерий и в каких случаях применять?

На практике, вопрос сильно упрощается, если свести его к определению вида метрики. Зная вид метрики – определение подходящего стат. критерия становится тривиальной задачей.

Всего можно выделить 3 вида метрик. О них я рассказываю в карточках выше. Там же ты найдешь и о стат. критериях для работы с ними.

Узнал для себя что-то новое сегодня? Тогда поставь ✍️. А если все знакомо и привычно – 🐳.

А если хочешь систематизировать свои знания по АБ и закрепить их на практике, то напоминаю, что открыта запись на мой авторский практико-ориентированный курс по АБ-тестированию. Детали можно узнать по ссылке ниже:

🔗 nodatanogrowth.com/product-analyst-ab-testing

Я гарантирую, что пройдя его, уже через 3 месяца ты будешь разбираться буквально во всех аспектах и нюансах проведения АБ экспериментов и проверки гипотез.

#абтесты

Все еще нет системного понимания АБ-тестирования?

Мои первые АБ были примитивными. Это были тесты на улучшение конверсий. О том, что существуют непрерывные и (тем более) ratio-метрики – я тогда не знал.

Мы выделяли десятки метрик-конверсий для каждого эксперимента, не думая о поправках на множественное сравнение. Как итог, часто недоумевали от ошибок 1 рода.

Мы стремились проводить первые параллельные АБ, стандартизировать процессы чеклистами, строили свою АБ платформу. Но мы были сильно ограничены своими знаниями того времени.

Тогда я лишь интуитивно понимал, куда нужно развивать АБ. О стадиях развития аналитической культуры я узнаю позднее из книги Кохави, которая выйдет в 2020 году.

Когда я пришел в FindMyKids, я обнаружил проблему в сплитовании – пользователи были склонны вновь попадать в ту же ветку. Таких экспериментов прошло уже много, поэтому о нанесенном уроне хочется промолчать.

АБ было много, длились они долго, изменения имели сильное влияние на долгосрочном эффекте. Справляться с этим помогали очередная самописная АБ-платформа, тщательный выбор прокси-метрик и методы ускорения АБ. Продукт был комплексным, и мы смотрели сотни метрик с каждым тестом. Применять классические поправки на множественное сравнение было бы безумием.

В Яндексе практически не было АБ. Продукт Плюса настолько комплексный, что полноценно тестировать его можно только в параллельных вселенных. Благо, что существуют специальные АБ без АБ методы. А то, что удавалось проводить через АБ – было огромной болью работы с местной АБ платформой.

За время своей работы – я повидал всякое. И успел поработать в компаниях разного размера и уровня аналитической культуры.

Я знаю, насколько тяжело собрать системную картину в АБ. Я собирал все по крупицам с многочисленных статей, книг, курсов, конференций, и, конечно же, на тонне собственных ошибок. И за столько лет, не было единого места, где можно было бы обо всем узнать и во всем разобраться.

И знаю, что на теории все может звучать легко, а на практике – появляется огромное количество нюансов.

Именно поэтому я собрал всю свою экспертизу в авторский практико-ориентированный курс по АБ тестированию. На нем я даю как широкий кругозор в АБ, так и глубокое понимание нюансов на всех этапов.

Многие из участников первого потока, до этого пройдя немалоизвестные курсы по АБ на рынке, все равно пришли за системой и доучиваться ко мне. И остались крайне довольны.

Ознакомиться с программой, отзывами и оставить заявку на курс можно по ссылке ниже:

🔗 nodatanogrowth.com/product-analyst-ab-testing

Места на втором потоке – ограничены. Также часть мест уже занята людьми из предзаписи. Поэтому не откладывай решение присоединиться. Особенно если планируешь оплачивать обучение через работодателя.

Если раздумываешь – лучше оставь заявку чем раньше. В течение 24 часов я созвонюсь с тобой, помогу понять, подходит ли тебе программа, и отвечу на все вопросы по курсу.

Что вы хотите узнать о работе вне найма?

Я начинал свою карьеру с фриланса. Это был мой способ получить первый опыт в Data Science. Я искал и брался за любые заказы – на местных и иностранных фриланс биржах, через знакомых и даже у преподавателей в университете.

Этот опыт помог мне получить позицию мидла на моем первом месте работы. Там я начал осваивать продуктовую аналитику и инжиниринг данных. И, конечно же, по возможности применял машинное обучение.

После многих лет, добившись определенных высот в карьере, я всё таки ушел из найма. И уже больше чем полгода работаю «на себя». Сейчас я занимаюсь консалтингом и обучением в продуктовой аналитике. И, попробовав другую жизнь, сложно уже вернуться обратно.

На следующей неделе я принимаю участие в записи подкаста «Карьера без Багов» на тему «Туда и обратно: можно ли выйти из найма в свое дело или наоборот». Ведущие подкаста, Ольга и Елена, также имеют подобный опыт.

Чтобы сделать подкаст более интересным для слушателей, хочу собрать вопросы, которые волнуют вас сильнее всего по этой теме.

Оставьте в комментариях под этим постом любые (даже самые каверзные) вопросы. А мы постараемся ответить на них в рамках подкаста.)

Популярная продуктовая задача про лифт из Яндекса

Эту задачу любят задавать на продуктовых собеседованиях и секциях-финалах.

Может показаться, что эта задача звучит достаточно абстрактно и оторванно от жизни.

«Нас лифт-как-продукт в офисе нанимают оптимизировать? Не думал, что в крупной компании настолько узкие специализации…»

Но эта задача позволяет проверить продуктовое мышление в отрыве от привычных продуктов и задач. И для нее применимы все те же принципы, что и в любом другом продукте.

А звучит задача так:

Есть 2 одинаковых здания (офисных центра)

🔹 На каждом этаже работает примерно одинаковое количество людей;
🔹 В каждом здании есть по 1 лифту;
🔹 Лифты одного производителя, одинаковой модели, но с разными программами.

Мы хотим понять, в каком здании программа лифта лучше с точки зрения пассажира лифта.

Есть данные за прошлую неделю:

🔹 Логи передвижения лифта;
🔹 Логи датчика грузоподъёмности;
🔹 Логи нажатия кнопок внутри и снаружи лифта.

Как посчитать метрику удовлетворённости по этим данным?

Присылайте свои варианты рассуждений в комментарии к этому посту 👇

А если хотите увидеть пост с моим вариант разбора – то поставьте 🐳

#задачиссобеседований

🔥 Бесплатный чеклист полного цикла АБ-экспериментов 🔥

Сегодня хочу поделиться с вами своим детальным чеклистом из 64 пунктов для проверки корректности всех ключевых моментов проведения АБ эксперимента: сбора бизнес-аспектов, дизайна, запуска, проведения, подведения итогов и закрытия.

Независимо от того, новичок ты или профи в АБ, чеклист поможет структурировать каждый этап эксперимента и избежать ошибок.

Чеклист можно найти по ссылке ниже:

🔗 nodatanogrowth.com/ab-checklist 👈

В качестве бонуса, вместе с чеклистом ты найдешь:

🔸 Подробный шаблон для дизайна эксперимента;

🔸 Пример заполнения шаблона на основе реального кейса.

Кто активно за мной следит, знает, что это уже вторая версия чеклиста. Из ключевых изменений второй версии:

🔹 Обновленное наполнение

Попользовавшись чеклистом, а также собрав обратную связь по работе с ним, я внес изменения как в структуру, так и в некоторые пункты.

По структуре – в разделах дизайна и проведения появились подразделы.

По пунктам – больше всего изменения коснулись работы с рисками и ограничениями. А какая-то часть пунктов была переформулирована.

🔹 Переезд на сайт

В таком формате, имея ссылку под рукой, можно быстро открыть чеклист и проверить, ничего ли ты не забыл учесть в своем конкретном эксперименте.

А еще удобно, когда все полезности лежат в одном месте – так на этом сайте уже живет сборник тестовых заданий.

🔹 Поддержка Google Sheets

Внизу страницы с чеклистом доступна ссылка на чеклист в формате Google Sheets. Если ты хочешь адаптировать его под свою специфику и задачи – пользуйся.

---

Если у тебя есть предложения по улучшению чеклиста или его представления – обязательно присылай свои идеи мне в личные сообщения.

И успешных экспериментов!

Увидимся на Матемаркетинге’24! 🚀

Кто вдруг не знает, Матемаркетинг – это крупнейшая в РФ ежегодная конференция по продуктовой и маркетинговой аналитике. Матемаркетинг’24 – 2 оффлайн и 1 онлайн день, более 120 докладов и куча инсайтов для аналитиков, продакт-менеджеров, ML-специалистов и дата-инженеров.

Это моя самая любимая конференция для продуктовых аналитиков. Я слежу за ней с 2018 года. А последние годы – принимаю участие в разных формах. Например, в прошлом году, я был стендистом от Яндекса и схантил большое количество человек.)

В этом году я впервые выступаю на Матемаркетинге с докладом на тему АБ тестирования.

В рамках доклада хочу поделиться 12 распространенными ошибками при работе с АБ, которые полностью погубят результаты любого эксперимента. С этими ошибками я сталкивался на протяжении всей своей карьеры вне зависимости от размера и зрелости аналитической культуры компаний.

Но есть нюанс. Я пропустил сроки и довольно поздно подал заявку на доклад. Поэтому мое выступление будет в онлайн части конференции. Это уже завтра – 29 октября.

Онлайн выступление, это, конечно, не оффлайн, но тут я сам виноват. И лучше онлайн, чем совсем никак. Попадать в дедлайны планирую в следующем году.

Также, 7-8 ноября я буду на оффлайн части конференции в Москве. Планирую посмотреть парочку докладов и много общаться. Так что буду рад увидеться и пообщаться с вами вживую.)

Если вы еще не приобрели билеты и раздумываете о покупке, то Алексей (организатор конференции), предоставил мне промокод для подписчиков канала – NDNG15.

Обязательно приезжайте на оффлайн часть – она того стоит!

Программу Матемаркетинга’24 вы найдете здесь. А зарегистрироваться на конференцию можно по этой ссылке.

Полгода вне найма. Пора назад? 🤔

Прошло 6+ месяцев как я не в Яндексе и не работаю в найме.

Бывшие коллеги часто говорили, что спустя 2 месяца без работы, ты начинаешь хотеть обратно.

Сегодня хочу поделиться с вами своими ощущениями и мыслями на этот счет.

→ Что делал 6+ месяцев вне найма?

Как ни странно, работал больше, чем когда либо в найме.

Сейчас я занимаюсь консалтингом, менторством и онлайн-школой No Data No Growth. За это время, я:

🔹 Создал и провел первый поток двухмесячного интенсива по прохождению собесов. Уже стартовал второй.

🔹 Создал и провел первый поток трехмесячного курса по АБ тестам. Второй поток будет в конце ноября;

🔹 Помог десяткам компаний и сотням специалистов в достижении свой целей;

🔹 Вложил много сил в продвижение и развитие бренда No Data No Growth.

При этом я успел сделать от силы 25% от запланированного. Так что работы мне хватает.)

→ Зачем тебе это? Почему не найм?

Я всегда хотел заниматься чем-то «своим».

И теперь я сам в ответе за свои успехи и неудачи, результаты, да и жизнь в целом. Потолка в виде работодателя тоже больше нет.

И я чувствую, что я на своем месте. И никогда еще не был более счастлив в жизни. Мое окружение тоже это подмечает.

Я ни в коем случае не призываю следовать моему примеру. Нет такого, что найм – зло, а вот «свое» – идеал. Это о разном. И каждому свое.

Также не все понимают мой выбор. Кто-то считает, что то, чем я теперь занимаюсь – даунгрейд.

Для тех, кто метит подняться на вершину корпоративной лестницы – несомненно.

Но для меня – это логический следующий шаг к достижению своих целей.

→ Что дальше?

В последнее время я много думал о том, куда двигаться дальше.

Становиться крупной онлайн-школой или консалтинговым агенством у меня нет желания.

При этом свою ламповую школу – я буду продолжать развивать. Мне очень нравится делиться экспертизой и помогать людям достигать своих целей.

Но хочется мыслить масштабнее и более амбициозно.

Поэтому, я вижу для себя 2 пути:

🔸 В следующем году устроиться в быстрорастущий международный стартап без русских корней или крупную корпорацию аля FAANG. Так я смогу лучше разобраться, как все устроено в иностранных компаниях, и помогать своим менти достигать еще более амбициозных целей;

🔸 Создать свой полноценный продукт (веб-сервис, мобильное приложение), который решал бы конкретные боли людей, подразумевал регулярное и длительное использование и т. д. Нанимать команду, заниматься развитием продукта.

Пусть первый путь и звучит заманчиво, меня больше привлекает именно второй. Идея – есть, команда почти укомплектована. Остается только реализовать.

Я обещал вам реалити-шоу по трудоустройству – оно будет. Хоть и будет оно ради опыта, а не для трудоустройства. Хотя никогда не знаешь, что могут предложить.)

А чего бы вы хотели видеть больше на канале? Если про трудоустройство и работу в компании без русских корней – поставьте 🐳. Если про создание и развитие своего продукта – 🦄.

🚀 Исследование рынка аналитиков

Ты – аналитик и работаешь с данными?

Видел исследование рынка аналитики от NewHR за 2023 год по ссылке ниже?

https://newhr.org/data/research-analysts-2023

Хочешь увидеть такой же за 2024?

Тогда обязательно пройди опрос и помоги собрать выборку для репрезентативного результата!

https://forms.yandex.com/u/66ea88f5e010db2807c79c4f/

Каждый голос имеет значение. Поэтому, пожалуйста, не поленись и удели 20 минут. Сообщество аналитиков будет очень тебе благодарно.

Результаты исследования появятся в начале 2025.

А если хочешь, чтобы я написал пост с ключевыми моментами из результатов исследования, как только они появятся – поставь 🔥

8 популярных вопросов по теории SQL с собеседований

Все привыкли видеть задачки на SQL на собесах. Но вместо задач, либо в дополнение к ним, можно встретить и вопросы на понимание теории SQL.

Предлагаю сегодня размять мозги на таких вопросах. Ты найдешь их в карточках выше.

Правило прежнее: сначала попробуй ответить сам, после – сверяйся с моим вариантом.

Ну как, на сколько вопросов из 8 удалось ответить корректно?

Если на все, то поставь 🐳. А если подчеркнул для себя что-то новое – ✍️

#задачиссобеседований

Как работать с проблемой множественного сравнения в АБ тестировании?

Проблема множественного сравнения возникает, когда мы хотим сделать несколько статистических выводов (тестов) на одном наборе данных.

При этом к росту ошибок I рода одинаково ведут сценарии проверки на стат значимость:

🔹 3 метрик в рамках A/B;
🔹 по 1 метрике в A/B/C;
🔹 много метрик и веток.

На практике проблема зачастую отягощается еще и зависимостью проверяемых гипотез.

❓ Как с этим быть? Рассказываю в карточках выше.

А если тебе было полезно, и ты хочешь больше постов на тему АБ – то поставь 🔥

Почему важно вести единый журнал А/Б тестов?

Правильно организованный журнал экспериментов — это мощный инструмент, который собирает в себе все данные о проведённых А/Б тестах и изменениях в продукте в одном месте.

Он не только помогает систематизировать информацию, но и позволяет извлекать из неё практическую пользу для развития продукта.

В карточка выше вы найдете 5 причин, почему ведение такой базы знаний — важный шаг для роста любой data-driven компании.

Чтобы начать вести базу знаний – не нужно внедрять какой-то специальный навороченный инструмент. Это может быть обычный Google Sheet.

А для старта, можно взять мой готовый шаблон, который я активно использовал в работе:

🔗 https://docs.google.com/spreadsheets/d/1N6Ef_tJFLZeap9SMx6kSKOfqMr7WNKpK_oY0WlKfP1Q/edit?usp=sharing

Ведете ли вы журнал экспериментов у себя в продукте? Поделитесь, как он выглядит.) И какая ситуация его использования вам больше всего запомнилась?

#абтесты