ANDRON ALEXANYAN

Retention — это, однозначно, метрика будущего. Но она же и одна из самых загадочных — ее чуть ли не сложней всего анализировать и принимать качественные решения.

Если всякие CAC, vCPL, ROMI и прочие приколы мы считать умеем с закрытыми глазами, то с retention как правило у людей (и компаний) большие проблемы:

1/ Часто retention просто не считают. Все уделяют внимание первой продаже, но мало кто всерьез работает над повторками.

2/ Если retention и считают, то делают это неправильно. Считают n-day вместо rolling (или наоборот) и не понимают потом, что с этим делать.

3/ Не умеют прогнозировать. Retention — метрика, которую мы никогда не знаем полностью, потому что потенциально «хвост» удержания может уходить в бесконечность. А значит, нужно уметь retention правильно моделировать.

4/ Не умеют тестировать. Тестировать влияние изменений на retention — это очень длинный путь. Нужно условно полгода/год или даже несколько лет, чтобы оценить изменение удержания на дальних этапах. Можно это сильно ускорить за счет прокси-метрик, но мало кто их использует.

5/ Не учитывают влияние некоторых факторов. Удержание — одна из самых «ветвистых» метрик с точки зрения того, как выглядит дерево гипотез для ответа на вопрос «почему упал retention». Приложение залагало — пользователь отвалился. Продавец нахамил — пользователь отвалился. И так далее — работа над retention-ом предполагает глубокое продуктово-аналитическое погружение.

И чем раньше мы научимся retention считать, тестировать и переводить в полезные для бизнеса решения, тем раньше мы будем на коне (как в рекламе OldSpice). Потому что стоимость привлечения дорожает с каждым днем, конкуренция во всех бизнесах тоже усиливается ежедневно, а значит экономика на первой продаже будет сходиться все хуже. А вот за счет длинного retention (и, соответственно, LTV) можно будет тащить.

Я планирую сделать целую серию постов про работу с retention — это большая тема, тут можно много сказать. Если у вас есть вопросы по этой теме — обязательно напишите в комментариях, постараюсь на них ответить в постах!

А если вы хотите прям глубоко на реальных кейсах погрузиться в работу с retention и удержанием — записывайтесь на мой авторский тренинг «Как делать аналитику». Там как раз будет несколько кейсов именно про аналитику retention и LTV.

🔗 Записаться

Поток стартует уже через неделю, но места еще есть, так что записывайтесь — будет мощно, выложусь на все 1000%! 🔥

Самый главный навык вообще

Я часто пишу, что главный навык аналитика — делать правильные выводы. Но все больше размышляя про это, я прихожу к выводу, что это не главный навык аналитика, а главный навык вообще. И не только для аналитика, а для кого угодно. Сейчас объясню.

Давайте отвлечемся от аналитики и представим вполне себе бытовую ситуацию: вам нужно поднять что-то очень тяжелое. Ваши силы ограничены, поэтому единственный вариант это сделать «в полевых условиях» — использовать рычаг. Чем длиннее будет рычаг — чем проще вы решите свою задачу. То самое «Дайте мне точку опоры и я переверну Землю» — традиционные слова Архимеда по этому поводу.

Теперь возвращаемся в нашу реальность. Любое изменение в компании можно разложить на 2 составляющие: принятие решения и воплощение этого решения в жизнь (= работа).

Работа — ограниченная со всех сторон штука: временем, деньгами, количеством сотрудников и так далее. В каждой компании/отделе есть некая максимальное количество работы, которая может быть выполнена.

А вот решения — как раз почти ничем не ограничены. В этом смысле решения являются «рычагом» из нашего с вами примера. Чем качественней решение — тем длинней рычаг. А значит, тем значительней будет и результат!

Можно принять хорошее, но мелкое решение. Мы потратим мало сил, но за счет маленького рычага мы никуда особо не продвинемся. Это мелкий кипиш. Можно принять плохое решение и потратить на него много сил — тогда мы сильно вспотеем, пытаясь сдвинуть тяжесть с места, но короткий рычаг и ограниченная сила нам это не позволят сделать.

А можно нащупать классное решение, потратить на него оптимальное количество сил и получить супер-эффект. Буквально перевернуть Землю, но в масштабах отдельного отдела/компании/целого рынка!

🟠Плохая новость: нащупывать классные решения — очень сложно. И на уровне знаний/инструментов, и на уровне физиологии.

🟠Хорошая новость: нащупывать классные решения можно научиться.

🟠Просто отличная новость: если вы научитесь их нащупывать, вам это окупится многократно — круто бустанет по карьере / прокачаете свой отдел или компанию / сильно ускорите результаты, до которых бежали бы очень долго без этого навыка.

И обратите внимание — я нигде не сказал про «аналитиков». Да, аналитики много занимаются нащупыванием решений — это вообще их работа, по сути. Но это относится ко всем, кто так или иначе принимает решения, а это буквально ВСЕ: продакты, проджекты, менеджеры разных уровней, предприниматели, маркетологи и все-все вообще.

Поэтому, если вы хотите научиться находить сильные рычаги, нащупывать правильные решения и делать выводы на основании данных — приглашаю вас на свой авторский тренинг «Как делать аналитику».

🔗 Записаться

Поток стартует уже через неделю, но места еще есть, так что записывайтесь — буду рад всех видеть ❤️‍🔥

Data quality

Есть тема в аналитике, о которой не очень принято говорить, но именно она занимает до 50% рабочего времени и создает больше всего геморроя. Речь о качестве данных (data quality).

На моем опыте — большинство проблем с построением отчетов/дашбордов возникает именно из-за качества исходных данных. Написать запрос — несложно. Построить дашборд — тоже рядовая задача. А собрать воедино кучу грязных и разрозненных данных — задача практически нерешаемая, все равно упустите какие-то corner cases.

А самое ужасное, что низкий уровень data quality приводит к неправильным решениям.

Смотришь в отчет и видишь, что большинство клиентов покупает после вебинаров. А на самом деле покупает после чего-то еще, просто у тебя сделки «расклеиваются» и ты этого не видишь. У нас ушло очень много времени (и до сих пор ловим флешбеки), чтобы сметчить лог активностей наших лидов с уже купившими клиентами.

Вот небольшой чек-лист, который подойдет большинству компаний. Проверьте качество сбора хотя бы этих данных и ваша жизнь станет легче на 90%.

1/ Одинаковая маска для телефонов. Определитесь — либо везде «+7», либо «8», либо вообще без префикса. Сразу подумайте, что делать с зарубежными номерами.

2/ Все почты, имена и прочие важные текстовые поля сохранять в одном регистре. В некоторых БД поиск и сравнение регистрозависимое, поэтому андрон и Андрон — разные вещи.

3/ Все url-адреса сохранять по одному шаблону. Чтобы не было так: часть с «www» — часть без, часть с «https» — часть с «http», у части в конце слеш — у части нет, и так далее.

4/ Приводите дату и время к одному формату и одной таймзоне. К одному формату — чтобы на уровне БД потом эффективно работать с датой, без преобразований. К одной таймзоне — чтобы потом понять, во сколько человек реально оставил заявку и по Мск это или по Владивостоку.

5/ Периодически проверяйте базу на дубли. Например, сделки в CRM могут дублироваться, но почта одна и та же. Пробегайтесь раз в сутки автоматизированным скриптом и объединяйте такие сущности в мастер-записи.

6/ Номенклатуры/другие важные названия задавайте по одному паттерну. Например, чтобы группа товаров «Носки» иногда не превращалась в «Носочные изделия», а где-то — вообще в «Носки теплые». Любая витрина данных — это большое количество соединений разный таблиц, поэтому любые отличия, даже минимальные, приведут к «выпаданию» некоторых строк. А вы даже не увидите этого.

7/ Стандартизируйте паттерны. Например, договоритесь, что все UTM-метки задаются по строгой структуре, а разделитель — всегда нижнее подчеркивание или дефис. Такая жесткая стандартизация позволит в некоторых сложных ситуациях работать прям со значениями, сплитовать по разделителю, делать поиск с помощью регулярных выражений и прочие страшные штуки — иногда такое пригождается.

8/ Удаляйте все лишние пробельные символы. При сохранении в БД в начале/конце не должно быть никаких пробелов, табов и прочих штук — это сильно может усложнить жизнь.

9/ Удаляйте все лишние пробельные символы [2]. Только теперь не в начале, а вообще в строке. Если кто-то указал 3 пробела между именем и фамилией — перед записью в БД замените с помощью регулярки на один пробел.

10/ Правильные форматы данных. Не сохраняйте даты и числа — как строки и т.д.

Это минимальный набор правил, но он покрывает большинство проблем, которые я встречал в своей практике. Просто выполняйте все эти проверки/преобразования ДО записи в БД и ваши данные будут близки к идеальным.

Кстати, я тут подумал — давайте наберем 200 разных реакций на этот пост и я прям поделюсь некоторыми заготовками скриптов для очистки данных по этим пунктам 🔥

ANDRON ALEXANYAN

Присоединяйтесь, начинаем разгонять: https://us06web.zoom.us/j/89646404584?pwd=wUbFMJuOXJhLoYqWUUY4yOXw5DK0wU.1

Шаг назад

Сейчас будет удивительный тезис для этого блога: аналитика нужна не всегда. Поясню. Обычно мы используем аналитику, чтобы:

* Найти слабое звено и «починить» его
* Найти сильное звено и сделать его еще лучше

Однако есть ситуация, когда ни то, ни другое вам делать не нужно. А именно: когда ваш продукт — говно.

Вот несколько примеров:

1/ Вы развиваете мобильную игру. Можно провести хоть 1000 A/B-тестов с разной монетизацией, вовлекательными триггерами и прочей лабудой, но если механика игры сама по себе скучная и наблюдается бешеный churn rate — в этом нет смысла. Еще меньше смысла искать классную маркетинговую связку и масштабировать ее — деньги полетят, как в прорву. Сначала надо сделать шаг назад и починить фундаментальные продуктовые ошибки.

2/ У вас бренд одежды. Можно бесконечно экспериментировать с акциями и анализировать CJM, пытаясь спасти падающую лояльность и снижение retention, но если качество пошива и тканей стремительно падает — может стоит сделать шаг назад и починить продукт, а не копаться в цифрах?

3/ У вас интернет-магазин. Можно оголтело пытаться увеличивать время пользователя на сайте (потому что фаундер выбрал это вашей North Star Metric), но ни на долю не увеличить конверсию в заказ. Растить метрики «для красоты» — глупая затея. Если вы встроите в интерфейс своего сайта бесплатный стриминг боев UFC — наверняка туда придет много пацанов и будет проводить на сайте очень много времени. Только вот на продажу косметики это не сильно повлияет :) Поэтому нужно сделать шаг назад и посмотреть — а над тем ли мы вообще работаем?

Такие ситуации происходят сплошь и рядом. Со стороны про них очень просто говорить, особенно на гиперболизированных примерах все кажется очевидным. Но в моменте цифры всегда более туманные, а твой взгляд изнутри очень предвзятый.

Поэтому подумайте прямо сейчас — может быть и вам стоит сделать «шаг назад» в каком-то вопросе? И я пойду подумаю 🧠

А если хотите глубже погрузиться в тему принятия решений на основе данных и когнитивных искажений в аналитике, записывайтесь на мой тренинг «Как делать аналитику». В начале следующей недели участники уже получат несколько бонусных лекций от меня, а следующий поток будет не скоро, так что залетайте!)

Приглашаю вас на классный ивент — в четверг (6 фев, 18:00 Мск) буду разгонять про аналитику на вебинаре в Ассоциации Аналитиков Армении 🇦🇲

Расскажу:

* Как работать с данными, чтобы извлекать из них максимум пользы
* Какие есть «мета-установки» про работу с данными
* Как и за счет чего принимать точные решения, а не тонуть в табличках с цифрами

Чтобы поучаствовать — просто заполните анкету ➡️ та самая анкета.

P.S. Если есть вопросы — накидывайте в комментарии!
P.P.S. Говорить буду на русском 😂
P.P.P.S. Подписывайтесь на канал Ассоциации, они такие ивенты проводят регулярно!

Хотел накатать пятничный контентный пост, но поступила новая информация, так что делюсь!)

Наша школа Simulative вошла в рейтинг RB Choice — «100 перспективных стартапов 2024». Приятно)

Движемся дальше, не переключайтесь 💪

Подмена причинно-следственной связи корреляцией

Вчера на вебинаре мы затронули тему — почему люди делают неправильные выводы. Про несколько ошибок, например, ошибку фейковой аргументации и поверхностных выводов я уже писал ранее. А сегодня расскажу про еще одну — подмену причинно-следственной связи корреляцией.

Давайте не будем рассматривать абстрактные примеры, а рассмотрим конкретный кейс из опыта нашей школы Simulative.

Около года назад мы внедрили экспериментальный формат «экскурсии»: человек оставлял заявку, чтобы посмотреть наш курс изнутри, и мы в формате часового видео-созвона (!) все подробно показывали. Конверсия в покупку с этого формата была отличная. Напрашивается логичный вывод:

Количество покупок напрямую зависит от количество лидов, которые мы приведем на экскурсию. Увеличится одно — будет расти и другое.

Другими словами, мы увидели «корреляцию» между двумя процессами — «экскурсия» и «покупка». И, действительно, статистическая связь между этими двумя явлениями существует: растет одно — растет и другое.

Однако, когда мы наблюдаем сильную связь между двумя процессами, может быть несколько сценариев:

1. Процессы друг с другом абсолютно не связаны и это чистая случайность.

Пример: в годы, когда рождается больше высоких людей, сборная по футболу играет лучше. Это чистое совпадение.

2. Процессы друг с другом связаны, но не напрямую, а есть какой-то внешний фактор, который одновременно их объясняет.

Пример: в годы, когда растет потребление мороженного, увеличивается количество пожаров. Вроде независимые события, но наверняка они объясняются аномальной жарой в эти годы. Жара является причиной для обоих фактов, но они друг на друга никак не влияют.

3. Один из процессов является причиной для другого.

И если первые два пункта все еще показывают корреляцию между процессами, то третий пункт свидетельствует о наличии причинно-следственной связи (ее еще называют «каузацией»).

И наш пример — как раз про это. На самом деле, зависимость конверсии в покупку с проведением экскурсий не случайно. Конверсия в покупку увеличивается потому что (!) на экскурсию приходят априори более теплые и прогретые лиды, которые готовы уделять целый час, так еще и в формате видео-созвона. Они так и так более склонны к покупке, чем остальные заявки — конверсия у них в любом случае была бы выше.

То есть здесь мы видим не просто взаимосвязь между двумя событиями, а что одно из них (повышение конверсии в продажу) происходит из-за другого (люди приходят на экскурсию, т.к. они более прогретые).

Как это использовать? Как минимум, можно не вляпаться в ошибку. Например, если не выявить каузацию достаточно рано, можно залить много денег в рекламный трафик, привлекая холодную аудиторию на экскурсию. Как итог — наша «корреляция» резко испариться и конверсия упадет. И это будет отличным маркером того, что это была не «корреляция», а «каузация». Но лучше определять это на берегу и заранее, чтобы не сливать деньги на такие тесты.

Кстати, если вы хотите прокачаться в том, как делать выводы на основании данных — залетайте на мой тренинг «Как делать аналитику». До завтра еще действуют цены для «ранних пташек», с февраля цена вырастет.

Как вам тема про корреляцию и каузацию? В ней еще много всего интересного — если хотите узнать подробней, накидайте реакций, сделаю еще серию постов 😘

Как прокачать самый главный навык аналитика? 💪

В этом канале я много пишу про:

* Как делать выводы из цифр, а не просто в них смотреть
* Как делать эти выводы правильными
* Как не совершать типовых ошибок — например, поверхностных выводов или фейковой аргументации
* Как превращать эти выводы в бизнес-решения и проверять их (желательно быстро и дешево)

Уверен на 100%, что именно эти навыки постепенно будут становиться основным требованием к аналитикам. На самом деле, это уже происходит прямо сейчас на рынке труда — работодатели на собеседованиях все больше дают продуктовых кейсов и тестовых заданий, которые проверяют «продуктовое мышление».

Это и ожидаемо — писать блестящий код на Python уже не так уж и сложно: с этой задачей неплохо поможет ChatGPT. А тут еще и DeepSeek с Qwen2.5-1M в спину дышат. А вот делать качественные выводы, которые приводят к результату — это задача куда более нетривиальная.

Это супер горячая тема — практически под каждым постом вы задаете про это разные классные вопросы. Поэтому завтра, в 19:00 Мск, я решил провести вебинар «Как прокачать самый главный навык аналитика». Поговорим о том, что все-таки из себя представляет самый главный навык аналитика и обсудим несколько способов, как его прокачать.

🔗 Ссылка на вебинар

В общем, приходите — уверен, заберете себе много полезного!)

Почему обычные атрибуции не работают. Кастомные атрибуции.

Как и обещал в прошлом посте — продолжаю серию постов про атрибуции. И сегодня хочу на конкретном примере разобрать — что такое кастомная атрибуция и зачем она нужна.

Давайте рассмотрим конкретный кейс — нашу онлайн-школу Simulative. Допустим, у нас есть задача: понять, какие маркетинговые активности нам стоит делать чаще и больше, чтобы люди покупали. Естественно, ориентироваться будем на исторические данные — какие активности в цепочке действий клиента приводили к покупкам.

На этом моменте сразу же возникает потребность выбрать атрибуцию — т.е. по какому алгоритму мы будем считать, что именно эта активность была причиной покупки. И стандартный подход — last-click атрибуция: просто смотрим, какая активность у клиента была последней перед покупкой, и засчитываем ей «+1».

И вроде все логично, но, если мы делаем не для галочки, а для реальных выводов, то мы сразу сталкиваемся с чередой вопросов:

1. А что, если человек принял решение о покупке не на последней активности, а на предыдущих, просто в итоге оплатил позже?
2. А что, если вебинары — самый частый конвертер в продажу по last-click просто потому что мы там показываем «товар лицом» и это классно мотивирует купить в моменте, но перед покупкой люди прогреваются на предыдущих активностях и на вебинар приходят уже «открытыми к покупке»?
3. А что, если самый частый конвертер в продажу — простая «Консультация» ?

Если не учесть эти моменты, на основании такой «аналитики» можно наворотить много гениальных решений. Например, отменить все активности, кроме вебинаров. Или тупо начать слать письма с call to action записаться на консультацию. И так далее — это только несколько примеров.

Короче, решение уже начинает вырисовываться: нам нужно придумать такой алгоритм атрибуции, который будет учитывать с каким-то высоким весом последнюю активность (как в last-click), но при этом и предыдущим активностям давать какой-то вес. Это интуитивно понятно — если человек купил и в череде его касаний была какая-то активность, то мы считаем, что она на его решение тоже повлияло.

Один из примеров, как можно построить такую атрибуцию:

* Если активность была менее года назад: 1 - (дата последнего касания - дата текущего касания) / 365.

При таком расчете «близкие» к последней активности касания будут близки по значению к 1, а чем дальше — тем ближе к 0. Для усиления можно еще возвести это в степень: тогда «близкие» активности будут давать еще больше вклада относительно «далеких».

* Если активность была более года назад: 0. То есть считаем, что старые активности не дают вклада вообще.

Это не какой-то стандартный способ — просто один из примеров, вы можете подбирать любой алгоритм расчета, который подойдет под вашу задачку.

Чтобы вам было более наглядно и удобно, я приготовил блокнот с кодом и расчетами. Вы можете посмотреть — какой результат дала last-click атрибуция, а какой — кастомная, описанная выше. Блокнот доступен по ссылке 👉 ссылка.

Обратите особое внимание на два момента:

1. В last-click атрибуции у нас всего 6 «важных» активностей. А кастомная атрибуция выводит несколько десятков активностей, просто с разной степенью важности (причем у многих степень важности большая).

2. Некоторые активности, которые по last-click вывелись среди «важных» в кастомной атрибуции получились не особо важными (например, активность 21 и 49).

На мой взгляд, для принятия продуктовых и управленческих решений нужно использовать только кастомные атрибуции — а простые подходят только для решение узких задачек, типа «поиск активности, которая лучше всего триггерит в продажу в моменте».

А если вам интересно погрузиться в аналитику глубже, разобраться в подобных деталях и прокачать продуктовое мышление — записывайтесь на мой тренинг «Как делать аналитику». Тем более еще несколько дней действуют цены для ранних пташек 🐣

Комментарии под предыдущим постом вдохновили меня на доказательство новой теоремы, причем строгими математическими методами!

Итак, теорема 🏆

Большой результат = ежедневная усердная работа. Т.е. каждый отдельный день по ощущениям не приближает вас к результату, а совокупность таких дней — дает результат.

Доказательство 🏆

В математике есть такой раздел, как функциональный анализ. А там есть интеграл Лебега — некий аналог сложения, только для очень специфических случаев.

Теперь представим, что 1 день вашей жизни — это точка на большой бесконечной прямой. Есть и более мелкие деления — часы, минуты, секунды и т.д. На базово возьмем день. Тогда ваша жизнь — некий интервал на этой бесконечной прямой, например, [a, b].

Так вот с точки зрения функционального анализа, точка на прямой имеет меру ноль. В буквальном смысле — она настолько ни на что не влияет, что ее можно без проблем добавлять или отнимать, значение интеграла от этого вообще никак не изменится. В этом смысле тезис «каждый отдельный день по ощущениям не приближает вас к результату» доказан.

Однако интересная штука: несмотря на то, что каждая отдельная точка имеет меру ноль, интеграл Лебега вполне можно посчитать по множеству точек [a, b] — включая единичные деления (дни) и бесконечное кол-во промежуточных более мелких делений (часы, минуты, секунды и т.д.). Это доказанное свойство, поэтому тезис «совокупность таких дней — дает результат» тоже доказан.

Остается доказать последний важный момент: что работа должна быть ежедневной (но или хотя бы регулярной). Доказать это тоже очень просто: очень сильно осциллирующие функции (которые скачут то вверх, то вниз) не интегрируемы по Лебегу, если осцилляции со временем не утихают. Другими словами, если вы слишком часто будете то браться за дело, то опять бросать, и со временем вы не будете становиться более системным, то результата вы не достигните вообще (интеграл взять нельзя). А если злоупотреблять этим не будете или хотя бы со временем ситуация будет улучшаться — результат получите, но меньше, чем мог бы быть (интеграл взять можно, но значение его будет меньше за счет «проблемных интервалов»).

Вот такая математика, братья и сестры. Как вам? Пора уже в дурку подаваться на Филдсовскую премию?

Про «успешный успех» и «путь»

В этом канале я много пишу про «экспертное». И вдруг подумал, что это со стороны может смотреться как налет «успешного успеха». А мне такого не хотелось бы, поэтому решил поделиться с вами мыслями по этому поводу.

Я вообще никогда особо не верил в концепцию «успешного успеха». А когда прогулялся по всем граблям собственными ногами и от всех граблей по несколько раз получил по щщам — не верю еще больше. Причем во всех проявлениях:

→ Найдешь прибыльную связку и быстро станешь супер богатым
→ Чуть-чуть поучишься/поработаешь и запрыгнешь вверх по карьере
→ Наймешь волшебного сотрудника и он сделает, чтобы все поперло
→ Недельку поотжимаешься и станешь, как Кристиан Бейл

Конечно, я лично знаю кейсы, когда человеку сильно везло с моментом выхода на рынок/нетворком/чередой событий, и это сильно катализировало его рост. Но, во-первых, это почти всегда сопровождалось большим количеством правильных усилий со стороны самого человека. А, во-вторых, почему-то он оказался в этом месте в это время, а ты нет — так везение ли это?...

Зато я верю в другие вещи. Они, возможно, не такие быстрые и «продающие», но зато на дистанции реально приносят стабильный результат со сложным процентом (т.е. завтра будет еще лучше, чем вчера). А именно:

1. Глубокое погружение

Не важно, изучаете вы дифференциальные уравнения, кодите на Python, строите отдел продаж или качаете продуктовое мышление. Чтобы тема навсегда вживилась в ваш мозг, ее надо изучить настолько глубоко, чтобы чувствовать ее на кончиках пальцев. Вы должны понимать даже мельчайшие взаимосвязи и детали — только тогда вы станете супер профи в теме.

Именно поэтому мы учим аналитиков не базовым вещам, а писать супер-сложные запросы, деплоить на сервера и делать другие штуки, которые вроде бы «я делать не должен». Поэтому же в своем бизнесе я понимаю, как работает любой коннектор и любая деталь - даже если сейчас это делают другие люди, однажды я руками прошел этот путь от и до.

Проверить глубину своего погружения легко. По любой теме задавайте себе вопрос «А как это устроено?» или «А что это значит?», пока не дойдете до самого нулевого уровня. Если на все вопросы смогли ответить — вы погрузились достаточно.

2. Hardworking

Мне нравится именно термин «hardworking» , хотя по-русски это «трудолюбие». Почему? Да потому что вы можете не любить трудиться, но должны уметь заставлять себя еб*шить.

Я, конечно, очень люблю работать. Но если под гипнозом спросить меня: «Андрон, в кайф тебе работать по 12-15 часов?» - что-то я не уверен, что скажу «да»... Но я просто знаю, что иногда нужно делать работу, даже если не хочется - тогда беру и делаю, не тратя время на душевные терзания.

Если фортуна не подкинула вам счастливый билет, то ваш сверх-результат будет обусловлен вашими сверх-усилиями. И чем быстрей вы перевалите за 10 000 часов, про которые писал Малкольм Гладуэлл в «Гениях и аутсайдерах», тем быстрей вы до этого результата добежите.

3. Дисциплина

Два предыдущих пункта будут работать, только если они стали вашей ежедневной нормой. Нет никакого смысла фигачить и глубоко погружаться 1 месяц, а потом забить. Или возвращаться к этому каждые 3 месяца, а потом опять забивать.

Если не получается — лучше тогда чуть снизить напор и требования к себе и начать внедрять привычку постепенно и помягче. Когда поймете, что вошли в тонус — начнете разгоняться.

Плюс всегда разделяйте — для более важных вещей ставьте более высокую планку, для менее важных — будьте снисходительней, тогда вы все равно достигнете результат, просто чуть медленней.

💬

Вот эти 3 вещи, как мне кажется, и есть залог успеха. Да, не продающе и не такие привлекательные, как «успешный успех». Зато жизненные и правдивые)

Поэтому, если у вас прямо сейчас что-то не получается, вам тяжело, вы прикладываете много усилий и пока получаете непропорционально маленький выхлоп — просто знайте, что это нормально. Это и есть путь, мы все где-то идем рядом по соседним тропинкам 💔

Итоги 2024 → тренды 2025

Год назад я делал пост про то, какие тренды в аналитике я вижу на 2024 год и все пункты из этого списка оказались верными. Давайте сделаем короткую выжимку.

1. Постепенно фокус в аналитике будет смещаться с хард скиллов на продуктовое мышление - в сторону упрощения.

Этот пункт реализовался на 100%. Если 2 года назад мы крайне редко встречали продуктовые кейсы на собеседованиях, то теперь их дают чуть ли не на каждом втором собесе, а то и вообще хард скиллы не проверяют.

2. Нарастающий тренд — аналитика маркетплейсов.

Тут и говорить нечего. Выручка некоторых аналитических сервисов выросла х5 за этот год, а сам WB запустил продвинутую аналитику за платную подписку. При этом продвигаться на самих маркетплейсах без аналитики стало почти невозможно: первые 3 страницы поисковой выдачи — это чисто рекламный трафик.

Но 2024 позади, а что нас ждет в 2025? Вот несколько моих мыслей — через год проверим!

1. Переход от отчетов и дашбордов к конкретным выводам

Я думаю, компании все больше будут отходить от тонны отчетов/дашбордов и переходить сразу к обсуждению конкретных выводов и решений. Хорошим аналитикам давно известно — куда смотреть, если какая-то метрика падает, и что делать, если она уже упала.

Компании постепенно начнут внедрять лайв-формат общения с аналитиками. Это когда собирается команда и аналитик в формате презентации с основными цифрами/графиками показывает — какое сейчас положение дел по его проекту, в чем проблема и выносит на обсуждение предложения по решению. Так уже давно работают маркетологи и команды продукта — то же ждет и аналитиков.

Что делать: сразу рекомендую перестраивать свой майндсет. Часто слышу от начинающих аналитиков «делать маркетинговые предложения — не моя работа». Хотите быть на коне — отказывайтесь от такой установки. Прокачивайте продуктовое мышление и с засученными рукавами ныряйте в генерацию гипотез/выводов.

2. Повышенные требования к аналитикам

В ближайшие 5 лет аналитика станет «широкой профессией». Если ты инженер-ядерщик, ты должен глубоко разбираться в узкой теме. А если ты аналитик и хочешь быть коммерчески успешным, тебе нужно будет глубоко разбираться в чем-то одном и на достойном уровне знать еще кучу всего.

Еще 5 лет назад, чтобы войти в аналитику, нужно было знать SQL. Сейчас нужно обладать знаниями на уровне джун+ пятилетней давности. В ближайшие 5 лет нетривиальные штуки типа Docker, Airflow, базовый ML и прочее станут нормой для любого аналитика, вне зависимости от направления.

Объясняется это элементарно — зарплаты обходятся компаниям слишком дорого, поэтому дешевле нанять 1 мульти-скиллового джуна за 150к, чем 3 отдельных DE + BI + ML за 100к.

Что делать: не упирайтесь в какое-то узкое направление, типа «я только про A/B-тесты». Изучайте и визуализацию, и дата инжениринг, и продуктовую аналитику. Оно все вам пригодится.

3. Усиление внутренней и продуктовой аналитики

Повышенная ключевая ставка, дикая инфляция, кризис, пониженная покупательская способность... Все эти прекрасные штуки приводят к тому, что компании вынуждены смотреть «внутрь себя» и более эффективно работать с базой, наращивать повторные продажи, оптимизировать расходы и т.д. Не зря я все эти годы постоянно рассказывал вам про ABC/XYZ/RFM-анализ 😁

И сюда же — люди уже устали от говно-продуктов. В кризис такие компании сильно пострадают, потому что люди тщательно выбирают, куда потратить деньги. А значит продуктовая аналитика именно в контексте клиентского опыта будет активно развиваться (например, LX-аналитика).

Что делать: качайте продуктовое мышление и как можно больше практикуйтесь в различных анализах, связанных с улучшением продукта и качества.

💬

Кстати, напоминаю, что еще несколько дней действуют early birds цены на мой авторский тренинг «Как делать аналитику». Если вы чувствуете, что вам нужен «тренажер» для прокачки продуктового мышления и «мышцы делания выводов» — то записывайтесь, будем прокачивать!

А вы что думаете? Если согласны с этими трендами на 2025 - поставьте Гэндальфа 👍, а если нет - любую другую реакцию)

Все аналитики ведут себя, как негативщики

В аналитике есть один незаметный парадокс, про который все молчат. А именно: почти все усилия направляются не на поиск сильных мест и масштабирование успеха, а на лечение слабого. Хотя деньги, как правило, в первом.

Да что далеко ходить — даже я в своем предыдущем посте рассказал про самую страшную ошибку аналитики именно в контексте анализа слабых, а не сильных сторон. Хотя тоже самое можно переформулировать из «построение фейковой аргументации» в «объяснение роста фейковыми аргументами».

Посудите сами: как часто вы слышите в «эфире» про поиск узких горлышек, про повышение retention, про снижение CAC и т.д. Почти всегда мы пытаемся сделать ситуацию лучше, чем она есть сейчас. И иногда забываем, что намного выгодней найти не «узкое горлышко», а «точку роста» и надавить туда. Да, ты будешь не до конца эффективным, но положительный эффект будет сильно больше отрицательного.

Недавно на конференции в одном из докладов услышал, что максимальный апсайд от внедрения рекомендательных систем в большой маркетплейс — 5% от выручки. Конечно, это немало, но всего 5%, а сколько возни, ресерча, сотрудников, инфраструктуры... А рекомендательные системы — как раз мера по улучшению текущей метрики (конверсии в заказ).

И один из инструментов поиска «точек роста» — работа с атрибуциями. Атрибуция — это способ определения, какое из касаний (или какой канал) привел пользователя к покупке.

Чаще всего смотрят, какой последний канал привел к покупке (например, «пришел с рекламы в Яндексе» или «перешел с наших соцсетей»). Это называется last-click атрибуция. Она полезна для понимания, какому специалисту какую премию заплатить и какой канал в текущем месяце у нас отработал эффективней всего в моменте. Однако, какие каналы приводят нам лидов, которые с течением времени покупают или какая череда активностей приводит к покупке — такое с помощью last-click понять мы не сможем.

Вот несколько манипуляций с атрибуциями, которые мы используем в своих проектах для решения этой задачи:

📌 Смотрим last-click не только по каналу, но и по активности (например, «Вебинар»)
📌 Смотрим first-click атрибуцию по каналу и по активности
📌 Строим карту пути клиента (CJM) на основании комбинаций активностей, которые он проходит, пока является нашим подписчиком. Это помогает выявлять прибыльные связки цепочки, которые часто приводят к покупке
📌 Конструируем кастомные атрибуции — например, с экспоненциально убывающими весами

На самом деле, это огромная тема — у меня мысли разбегаются, о чем вам рассказать в первую очередь. Если вам интересен этот вопрос — давайте наберем 100 разных реакций и я сделаю прям серию постов 🐱

Следующий пост планируем в следующую пятницу. А если у вас есть вопросы или что-то непонятно — сразу накидывайте в комментарии, разберем это!

А если вам интересно разобраться в аналитике еще глубже - приглашаю вас на свой тренинг «Как делать аналитику». У нас уже сформировалась хорошая группа, так что вы будете в классной компании! Записаться и узнать подробную информацию можно через бота.

Самая страшная ошибка в аналитике ☠️

Самая страшная ошибка в аналитике — построение фейковой аргументации. Это когда у нас есть некая проблема, а мы ее объясняем чем-то, что на самом деле причиной не является.

Вот несколько примеров из разных областей:

Проблема: Рекламируем вебинар с широкой темой, потратили несколько сотен тысяч рублей, начала расти стоимость лида.
Фейковая аргументация: Мы выжгли всю целевую аудиторию, нужно делать новый вебинар.
Почему фейк: Если вебинар с широкой темой, то целевая аудитория — сотни тысяч или даже миллионы человек. Такой объем охватить с указанным бюджетом невозможно, так что проблема явно не в выжигании аудитории, а настройках таргетинга/плейсментах.

Проблема: Упали заказы на маркетплейсе
Фейковая аргументация: Людям не нравится качество нашего товара, надо менять фасон/цвет/ткань.
Почему фейк: Заказы от этого никак не зависят. Если бы не нравился товар — упали бы выкупы.

Проблема: Вебинарные лиды с рекламы ВК не покупают с промо-оффера на вебинаре.
Фейковая аргументация: Вебинар недостаточно продающий, нужно его перезаписывать.
Почему фейк: Этот же вебинар отлично продает на лидов с рекламы в Яндексе. Значит дело не в вебинаре, а в нерелевантной аудитории (нужно менять настройки рекламы) или более холодной (им нужно больше времени для принятия решения или вообще другая воронка).

Почему ошибка фейковой аргументации — самая страшная? Я выделяю 2 основные причины:

1. Она создает ложное ощущение у команды, что все супер. Ну точней проблема есть, но у нас есть четкий план, который исправит ситуацию. Хотя по факту, когда мы этот план реализуем, ничего не поменяется. В долгосрочной перспективе это демотивирует — что-то делаешь, а ничего не меняется.

2. Реализация этого фейкового плана занимает время и деньги. Учитывая, что к результату это не приводит, это недополученная прибыль или даже прямой убыток компании.

Как бороться с этой ошибкой? Есть только один способ — задавать себе правильную череду вопросов, проверяя свои же выводы, и много практиковаться. Со временем эти логические цепочки будут выстраиваться в голове моментально без вашего участия.

❗️❗️❗️

А теперь важный анонс. В комментариях вы часто спрашиваете: как делать выводы, как строить аналитическую отчетность и т.д. Поэтому я решил сублимировать все свои знания и поделиться ими в авторском тренинге «Как делать аналитику» 🤘

Мы не будем учиться писать код, считать интегралы или строить дашборды. Этот тренинг о другом — о самых важных навыках в аналитике.

Цель этого тренинга — научить вас извлекать выводы из цифр, выстраивать аналитическую отчетность и общаться с бизнесом. А еще вы поймете, как вообще устроена data-инфраструктура в компаниях и как ее внедрять с нуля.

Тренинг стартует 19 февраля онлайн. Во всех лекциях и воркшопах можно участвовать вживую или посмотреть позже в записи. Полезно будет всем — даже если вы только начинаете погружаться в аналитику.

Это абсолютно новый для рынка продукт и не могу сказать — будет ли второй поток вообще, а если будет, то когда. Поэтому крайне рекомендую вписаться — к тому же до 31 января действуют early birds условия.

Записаться и узнать подробную информацию можно через тг-бота 👉 ссылка

Короче, если вы хотите прокачать тот самый «аналитический майндсет», научиться делать выводы и разобраться в построении аналитики во всех деталях — велком 🤘

7 важнейших принципов аналитики 🔥

Сегодня хочу поделиться несколькими важными принципами, которые будут полезны и аналитикам, и предпринимателям и вообще всем, кто хоть как-то работает с цифрами и отчетами.

📌 Если за метрикой не следить - она и не растет

Это золотое правило: если не следить за динамикой метрики, то хорошей динамики и не будет. Про эффект наблюдателя в квантовой физике слышали? Это же оно и есть: наблюдение за метрикой неизбежно влияет на нее.

📌 Отчеты нужно не просто делать - в них нужно смотреть

Некоторые люди тратят уйму времени на сбор данных, составление отчетов и даже их презентацию, но сами так и не удосуживаются в них посмотреть и вдуматься. Такие ситуации - это просто время, выброшенное в мусорку. Эффект наблюдателя в таком случае не срабатывает, потому что наблюдателя не было 🙂

Когда в отчет не смотрят это, кстати, всегда видно. Незаполненные значения, неправильные значения, неадекватные конверсии и прочее. Сами подумайте - вы смотрите отчет, а там конверсия в продажу 90% при обычных 20%. Наверняка вы бы сразу полезли перепроверять)

📌 Смотреть отчеты - нелегко, нужно себя заставлять

Смотреть отчеты - большая когнитивная нагрузка на мозг. Во-первых, вы должны копаться в потенциально неприятной для себя информации (как правило смотришь, чтобы понять, что и как можно улучшить). Во-вторых, это банально сложно - циферки считать. В третьих, чтобы смотреть вдумчиво, нужно сильно замедлиться, а это в эпоху рилсов, тиктоков и другого дешевого дофамина сделать крайне сложно.

Поэтому нужно под это выделять отдельное время и силой себя заставлять смотреть в каждую строчку и каждую цифру. Первые несколько дней это будет тупое смотрение в экран. Через пару дней - станет легче. Через недельку-две - начнете преисполняться, как Джон Нэш в Играх разума.

📌 Если отчеты в беспорядке, то и метрика расти не будет

Можете считать меня душным, но я не встречал НИ ОДНОГО кривого-косого отчета в компании, где аналитика драйвит рост. Во всех подобных компаниях таблички вылизаны до блеска - шрифты, цвета, форматирование значений, подписи - все идеально.

Ну невозможно навести порядок в бизнесе, если у тебя беспорядок в табличках/коде/графиках. Табличка - отражение личности ее автора. И если там хаос, ни о каком качественном исполнении задач не может идти и речи.

📌 Аналитика всегда должна идти сверху вниз

Процесс копания всегда должен начинаться сверху вниз. Сначала смотрим helicopter view, потом выбираем, куда копать, и только потом начинаем копать вглубь.

Пример: сначала смотрим динамику ROMI по когортам, видим просадку в когорте «фев. 2024» и начинаем искать, что с ней не так. Сразу смотреть конкретную когорту - неправильно. Может быть у вас везде хреновые показатели, а не только в этой когорте. Тогда это не аномалия, а ваша текущая норма, и копать надо не в когорту, а что у вас вообще происходит.

📌 Слишком сильная гранулярность данных вредит

Мало данных для аналитики - плохо. Но и много - тоже плохо, разбегаются глаза и сложно делать адекватные выводы.

Простой пример - если у вас сравнительно немного транзакций, а временную разбивку вы сделали поминутно, то вы можете упустить важные паттерны в более крупном масштабе - например, в часах.

Кстати, подробнее про гранулярность признаков я писал в этом посте.

📌 После просмотра любого отчета нужно сделать какой-то вывод

Всегда заканчивайте просмотр любого отчета/таблички/дашборда каким-то выводом. Пусть даже это будет вывод, который вы уже делали ранее или что-то незначительное. Но не формируйте у себя привычку смотреть в цифры просто так - подмечайте хоть что-то.

Даже если это операционный дашборд с основными метриками, всегда можно зацепиться за мелочь: «о, у нас средний чек чутка подрос, классно».

Эта мелкая деталь со временем выработает устойчивый рефлекс видеть что-то в местах, где другие ничего не видят.

Заключение

На самом деле, таких принципов сильно больше - они просто все не влезут в один пост, так что сделаю серию. Кстати, поделитесь в комментариях - какие из этих принципов вы уже соблюдаете, а какие из них для вас вновинку? 👇

Полезный трюк для поиска взаимосвязей

В аналитике одна из самых частых штук, которую я использую – корреляции. Это самый быстрый и простой способ оценить – а взаимосвязаны ли две величины (например, время суток/кол-во заявок) и имеет ли смысл копать дальше.

И есть прием, который очень помогает находить неочевидные взаимосвязи – сдвиг ряда при расчете корреляции.

В чем соль: некоторые величины сильно друг на друга влияют, но эффект не моментальный. Например, если вам привалило много заявок, бум продаж может случится не через день, а через несколько недель (если цикл сделки долгий). Соответственно, если просто посчитать корреляцию двух рядов «кол-во заявок» и «кол-во продаж», они могут оказаться вообще некоррелированными.

Поэтому, чтобы полноценно проверить зависимость двух величин, посчитайте сразу несколько корреляций для разных временных лагов. Сделать это очень просто: один ряд «зафиксируйте», а второй сдвигайте на единичку. Обычно достаточно посмотреть сдвиг на пару-тройку дней, максимум – неделю. Больший срок – это уже экзотика, только если у вас действительно такая особенность (тот же длинный цикл сделки, например).

Подготовил для вас гугл-табличку с примером расчета: ссылка

Первый столбец – кол-во выкупов товара на маркетплейсе за день. Второй столбец – ранжирование этого товара по одному из запросов. Мы хотим проверить: влияет ли кол-во выкупов на ранжирование. Наша гипотеза: чем больше выкупов, тем выше ранжирование (то есть ближе к 1).

Видим, что коэффициент корреляции без сдвига показывает среднюю отрицательную корреляцию -76%. Нам повезло – уже по этому значению понятно, что некая связь есть, но -76% – все еще не очень много для корреляции.

Однако, на сдвиге в 4 дня мы видим корреляцию в 90%, а это уже прямой показатель наличия сильной связи. И что интересно: данные сгенерированы так, что именно через 4 дня после начала активных выкупов начинается рост ранжирования (выделено желтым). Поэтому, когда считаете корреляцию – не забывайте проверить несколько лагов: вдруг вы чего-то не заметили.

Ну что, пора врываться в 2025! Планирую много писать сюда – поделитесь в комментариях, какие темы и вопросы вам интересны, а я постараюсь их раскрыть в своих постах! 📊

Подарок под Новый год

У меня конец года пока что слишком жаркий, чтобы подводить какие-то итоги и делать выводы - порефлексирую попозже, поделюсь.

А пока просто пришел сообщить радостную новость - заглянули сегодня под елочку и нашли там приказ о включении нас в состав резидентов Сколково.

Не переключайтесь и пристегнитесь, газуем дальше! 🚀

В продолжение темы классных авторов — выложил большую подборку авторских тг-каналов по аналитике на Хабре ⭐️

Предыдущая подборка набрала более 50к просмотров, но уже изрядно потеряла актуальность. В новой статье — только самые свежие каналы, причем некоторые — наверняка вы раньше не встречали. Со всеми ребятами знаком лично, со многими делали совместные активности. В общем, хайли рекоменд!

Кстати, количество подписчиков в моем канале выросло, поэтому бустов хватает только до 1 уровня. А очень хочется использовать больше кастомных реакций на постах!

Если у вас Premium — закиньте бустов от души: https://t.me/boost/andron_233 🤘

Мясной контент не заставил себя долго ждать!

Сегодня на одном из созвонов обсуждали когортный анализ. По себе знаю, что его достаточно сложно реализовать технически — что в SQL, что в Python, что в Excel, что в BI-системе.

Поэтому я подготовил для вас готовый шаблон в Google Colab с кодом для проведения когортного анализа с подробными комментариями. Сохраняйте себе — чтобы начать пользоваться у себя в компании, достаточно подать на вход другие данные! 🤘

ANDRON ALEXANYAN

Ребята из NewHR выпустили обновленный рейтинг «За кем следят аналитики», который состоит из 2 частей:

1. Закрытое голосование - они предложили 15 авторов на выбор.
2. Открытое голосование - люди сами отмечали, кого они читают.

В закрытом опросе меня не было, зато в открытом голосовании мой канал занял 1 место 🔥

Каналу чуть больше года и уже такой результат. Спасибо вам за голоса! Ушел готовить новую порцию мясного контента 🫡

Ранее я писал, что всегда нужно проверять репрезентативность выборки. Вы собрали более 200 реакций на тот пост, поэтому сегодня мы поговорим - а как, собственно, это проверять.

Есть несколько способов. Рассмотрим на примере посещений сайта - будем выяснять, почему упала конверсия CR1.

0. Просто из соображений адекватности

Если вы невооруженным взглядом видите, что большинство посетителей за последнюю неделю - девушки 20-25 лет из Казахстана, то очевидно неверным будет вывод, что лендинг плохо конвертит на всех посетителей сайта. Ваша выборка сильно смещена.

1. Сравнение описательных статистик

Обычно ситуация не такая очевидная. И первое, что можно сделать - сравнить описательные статистики между текущей выборкой и генеральной совокупностью. Например, среднее, медиану, моду, квантили и т.д.

Получить точное значение для генеральной совокупности вы, конечно, не сможете (т.к. для этого нужно загнать на ваш сайт все население страны). Однако оценить его с неким доверительным интервалом на основании исторических данных, которые вы считаете достаточно репрезентативными - можно. И если посчитанные статистики попадают в эти доверительные интервалы - значит выборка репрезентативна.

Однако тут не забываем про квартет Энскомба. Иногда описательные статистики могут быть одинаковыми, а реальные выборки ох как отличаться.

2. Расчет размера выборки

Вы можете задать уровень доверия (обычно 95%) и на основании этого посчитать - какой выборки вам достаточно, чтобы сделать вывод. Такая выборка все еще может быть нерепрезентативна. Но если она еще и слишком маленькая, то это лишний аргумент не делать выводы на ее основе.

3. Оценка стратификации

Разделите свою выборку на страты (например, "пол", "возраст", "гео", "устройства" и т.д.). Оцените долю каждой страты в выборке. Потом сравните с долей этих страт в генеральной совокупности (опять же, либо как описано в п. 1 - через доверительные интервалы, либо из каких-то достоверных открытых исследований).

Если доли примерно совпадают - есть надежда, что ваша выборка репрезентативна.

4. Статистические тесты

Можно с помощью какого-нибудь Хи-квадрта сравнить распределение выборки и генеральной совокупности. Условно, если вы знаете, что к вам должно было зайти 20% от 20 до 25 лет, 25% от 25 до 30 лет и так далее (из какого-то открытого исследования), а также вам известно фактическая статистика заходов, вы можете это загрузить в хи-квадрат и посмотреть результат.

Кажется, что нужно раскрывать эту тему дальше! Давайте наберем 200 разных реакций на этот пост и я расскажу про проявление квартета Энскомба в реальной жизни + проведу конкретные расчеты, описанные выше 🤘

Около 6 лет назад я участвовал в создании прикольного сервиса на основе ML. Мы делали облако для матчинга фотографий с мероприятий и участников этих мероприятий.

Работало это так: компания загружала пачку фотографий с мероприятий (например, корпоративов или конференций), а участникам на основании их аватарок подгружались только те фотографии, на которых они присутствуют.

Прикольно, что сейчас такой функционал есть практически в любом хранилище фото, но тогда это было диковинкой.

Давайте рассмотрим, как это работало под капотом:

1/ Компания загружала фотографии, которые с помощью opencv и numpy превращались в матрицы и тензоры с числами.
2/ Далее на каждой фотографии мы искали лица с помощью dlib или аналогичных библиотек.
3/ После этого каждое найденное лицо подавалось на вход сверточной нейронной сети (как сейчас помню - я использовал SphereFace CNN) и на выходе получался уникальный вектор-эмбеддинг из 512 чисел.
4/ Далее мы снижали размерность получившегося вектора с помощью метода главных компонент PCA, чтобы с ним было проще работать.
5/ Шаги 1-4 мы проделывали и с аватарками пользователей.
6/ Далее мы решали задачу многоклассовой классификации. 1 пользователь = 1 аватарка = 1 класс. Нам нужно каждое найденное лицо отнести к конкретному классу. Это будет эквивалентно «о, этот чувак нашелся на этой фотографии!».

Алгоритм классификации мы придумали свой, модифицировали классический KNN. Метрики качества были стандартные - ROC/AUC, F1, precision и прочее.

В итоге такая цепочка «фотографии → обработка CNN → снижение размерности PCA → многоклассовая классификация» позволяла участникам мероприятий заходить в кабинет и сразу после регистрации видеть свои фотографии. Причем мы добились очень высокого качества!

Это живая иллюстрация применения ML в обычной жизни. Поэтому, когда в следующий раз в ВК увидите уведомление «кажется, мы нашли вас на этой фотографии» - знайте, под капотом там работает примерно такая же штука.

И, пользуясь случаем, делаюсь радостной новостью - мы запустили новый курс «Инженер машинного обучения». Если вы хотите освоить профессию ML-щика или освоить новые скиллы - обязательно записывайтесь, вам точно понравится! 🤘

А для подписчиков моего канала братский подгон - дополнительная скидка 5% (помимо early birds цен на первый поток). Скидка по промокоду andron5 действует до пятницы, 20 дек.

P.S. Пока писал пост, решил, что я точно проведу для студентов мастер-класс, где мы прям разберем решение этого кейса. Открыл свой код, захотелось снова в нем поковыряться)

P.P.S. Мы не только курс новый запустили, но и дизайн лендинга обновили, зацените!

Я всегда топлю за обучение «в бою». Когда ты сразу приземляешь знания на какие-то реальные задачи - процесс идет сильно эффективней, в голове прям складывается паззл.

И на днях ребята из Авито попросили рассказать про еще один ивент, который они проводят - уже тринадцатый Avito Analytics meetup для продуктовых аналитиков! Программа митапа мне прям понравилась, зацените некоторые пункты.

Про RFM-сегментацию в Авито

Кто проходил наши курсы или смотрел вебинары - знают, как я люблю RFM-анализ (кстати, писал про него здесь). Это мощный аналитический инструмент и будет прям максимально интересно послушать, как ребята его внедряли в направление Недвижимости.

Про ранжирование задач сейлзам на основании предсказания аплифта от касания клиента

Это классная тема, особенно актуальная ML-щикам, но и аналитикам будет очень полезно послушать. Если коротко - ребята «предсказывают», с какими клиентами нужно связаться в первую очередь, чтобы получить как можно больше профита.

Я слушал похожий доклад на Матемаркетинге и мне очень зашло! Кстати, на конфе эту тему раскрывали ребята из Т-Банка - на митапе у них тоже будет доклад!

Короче, ивент намечается классный, так к тому же и бесплатный! По дате - 5 декабря (четверг), 18:00 Мск. Чтобы участвовать, надо просто зарегистрироваться по 👉🏻 ссылке.

Ну и традиционная приписка, хоть и рекомендую от души: Реклама. ООО «Авито Тех».

Через меня проходит много пет-проектов, и я выделил топ-5 ошибок, которые встречаются практически в каждом. Проверьте себя - нет ли таких грешков в ваших проектах?)

Где размещать проект

Кто-то присылает ссылку на google colab, кто-то блокнот ipynb, кто-то архив, кто-то py-файл... Короче, кто во что горазд.

Есть только единственный вменяемый способ поделиться проектом - публичный репозиторий на Github. Если мне нужно сделать что-то кроме git clone ... - значит такой проект можно дальше не смотреть.

Необходимые библиотеки

Если вы используете специализированные библиотеки в своем коде, то обязательно создавайте в корне проекта файлик requirements.txt со списком актуальных библиотек и их версий. Это очень легко можно сделать, если перед пушем проекта на гит выполнить команду pip freeze > requirements.txt (только нужно делать это, активировав виртуальное окружение).

Это нужно, потому что любой проект я разверну так:

git clone https://github.com/...
cd projectname
python -m venv venv
./venv/scripts/activate
pip install -r requirements.txt

Склонил репозиторий - перешел в папку - создал виртуальное окружение - активировал его - установил зависимости. После этого ваш скрипт у меня запустится без проблем.

Мусор в репозитории

Есть ребята, кто размещают проекты на Github, но там много мусора. Запомните - в репе не должно быть папок venv, .idea, __pycache__ и прочих прелестей. Это все должно добавляться в .gitignore.

Описание, как работает проект

Сделайте хотя бы минимальный readme-файл. Минимальные системные требования (не все библиотеки работают на всех ОС + есть ограничения по версиям питона), как запустить код, где лежат данные, какие входные аргументы, как их менять и что они значат, что вообще код делает. В общем, простой мануал для тех, кто первый раз видит ваш проект.

Хардкодинг пути до файла

Частая история - у автора кода на домашнем компьютере файлик лежит в папке C:/Desktop/pussycat/data.txt. И именно этот путь он зашивает в код. А у меня на компьютере может не быть диска C и уж точно папки pussycat.

Хорошая практика - делать путь относительным, в формате «файл data.txt на одном уровне с текущим файлом с кодом» .Это делается с помощью того же модуля os.

Если кому-то эта инфа актуальна сейчас - обязательно поделитесь этим постом, чтобы в мире стало больше хорошо оформленных проектов 🎶

ANDRON ALEXANYAN

Обновить Metabase и ничего не сломать

Не люблю ничего обновлять. Несколько раз был неприятный опыт, когда обновление софта приводило к поломкам. А один раз даже потерял целую базу ценной информации! Однако, сегодня сделал исключение.

Пересобирал свой управленческий дашборд в Metabase и столкнулся с типичной для многих BI-систем проблемой - на многостраничных дашбордах куча фильтров, которые используются только на одной из страниц. А у нас, на секундочку, таких фильтров около 30!

Полез искать решение и понял, что буквально на днях Metabase выкатили обновление, в котором все фильтры автоматически сканируются и, если какой-то фильтр не используется на текущей странице, он просто скрывается. Бомбезно!

Я долго боролся с желанием обновить версию, потому что в нашем Metabase сидит более 1000 человек, но все же решился. Сделал все по-уму - заранее сохранил снэпшот сервера, скопировал базу из контейнера, все 15 раз проверил. В общем, все прошло гладко.

Ни разу не пожалел. Не обновляли уже почти год - появилось много классных штук. Теперь удобно скачивать любой элемент в excel/csv/json даже при публичном шаринге, починили некоторые чарты и их форматирование, добавили iframe. Короче, теперь еще больше буду рекомендовать всем использовать Metabase.

Заодно придумал дополнительный урок для наших студентов - подробно опишу, как обновлять версию, чтобы не прибавилось седых волос. Если бы кто-то мне это рассказал пару лет назад - мы бы не потеряли несколько гигабайт коммерческой инфы по моей вине 🥲

Кстати, у нас завтра стартует поток курса по BI-аналитике - модуль по Metabase там тоже есть. Кому интересно, подробности 👉🏻 здесь.

Мало метрик - много аналитики

В аналитике не обязательно обмазываться сотнями сложных метрик. Большинство ответов можно найти в совершенно базовых показателях, просто «повернув» их под разными углами.

Давайте рассмотрим на небольшом примере из области LX-аналитики. Допустим, мы хотим понять - нравится ли студентам наши обучающие материалы на основании оценок, которые они ставят в конце уроков. Погнали!

1. Средняя оценка по всем материалам. Общий показатель - позволяет понять, все ли ок в целом.
2. Динамика негативных оценок (ниже 3/5) month-over-month. Позволяет моментально увидеть, если в текущем месяце негативные оценки набирают обороты.
3. Доля уникальных студентов, которые оставили оценки. Может быть у вас 5/5, но все оценки поставили вам парочка фанатов.
4. Доля уникальных материалов, которые получили оценки. Может быть у вас 5/5, но оценки ставят только на первые 2 урока.
5. Доля студентов, которые ставили негативные оценки. Может быть вас засыпали дизлайками, а по факту это 1-2 нелояльных студента. Или наоборот - если у всех в разных местах есть негативные оценки, это повод задуматься.
6. Доля негативных оценок. Позволяет понять, негативная оценка для нас - это выброс или обыденность.
7. Распределение оценок по перцентилям (боксплот/скрипичная диаграмма). Еще лучше позволяет понять, как студенты оценивают материалы.

Можно еще много метрик сконструировать. Но обратите внимание - они все состоят из 1-2-3 показателей (материалы/студенты/оценки), просто по-разному собранные. И, при этом, они друг друга не дублируют, а, наоборот, дополняют.

Если интересно побольше узнать про LX-аналитику - давайте соберем 100 разных реакций, сделаю пост с новой подборкой метрик!

Сегодня особенный день.

Во-первых, нечасто встречаешь дату, из которой можно собрать сразу два покерных фул хауса! Кто не играет в покер - снизу будет расшифровка 😅

А, во-вторых, сегодня провожу большущий вебинар, на котором разберу тестовое задание на позицию junior-аналитика в Самокат. Посмотрим, пройду ли я отсев!

Будем проводить аналитику продаж с помощью SQL и даже соберем мини-дашборд в Metabase! Все разберем по шагам, вам точно зайдет)

А еще подготовил для вас бомбический бонус. Без шуток - бонус реально очень крутой, а не какая-то шляпа. Для нас это большой вызов, поэтому даем его только в лайве и только самым лояльным. Подробности - на эфире, регистрируйтесь 👇

Зарегистрироваться на сей бомбический эфир

Расшифровка шутки про покер: фул хаус - когда 2 карты одного номинала и еще 3 другого. В нашем случае: 12112024 и 12112024. Ставь мужика-ржомбу 😂, если тоже любишь гиковские шутки (иногда).

Коллеги в пятницу: работают

Я: рассказываю, как сделать из хренового менее хреновое

А еще немного про эротику, но на видео не попало 🙃

Спасибо всем, кто пришел! 🫶Поражен, сколько из вас, оказывается, сейчас на конфе!)

Через полчаса выступаю на Матемаркетинге в зале Атом (3 этаж)!

Расскажу про кратное повышение эффективности перфоманс-маркетинга с помощью аналитики и ML.

Если вы тут - приходите послушать и пообщаться после выступления 🫶

Большой датасет с временными рядами + блокнот с заготовкой

Давно не писал в канал - завалило рабочими задачами, делаем много классных штук, скоро начну про них рассказывать. А сегодня подготовил для вас максимально полезный пост, достойный ваших сохраненок.

Короче, я как-то писал, что занимаюсь ресерчем в области time series processing. И в своих исследованиях я наткнулся на чуть ли не самый большой датасет с временными рядами для тестирования моделей классификации, кластеризации, прогнозирования, интерполяции и других штук - UCR Time Series Classification Archive. Теперь кручу его со всех сторон.

Надо сказать, что раздобыть этот датасет не так-то просто - авторы знатные шутники. Сначала ты должен найти их сайт. Затем скачать архив. Потом открыть pdf-ку с описанием. Затем дочитать ее до конца, чтобы понять, какой пароль от архива. А чтобы узнать пароль от архива, ты должен найти в интернете статью одного из авторов и найти там фразу «every item that we ... » - и вот продолжение этой фразы и является паролем 🤡

В общем, ребята - большие красавчики, но я все же сэкономлю вам немного времени. Пароль от архива - attempt to classify (в одно слово).

А чтобы вам было еще полезней - сделал для вас блокнот в Google Colab, где показал, как работать с этим датасетом. Там, кстати, много прикольных фишек:

- Как с помощью Python разархивировать архив с паролем
- Как запустить функцию в отдельном потоке, чтобы она работала в фоновом режиме
- Несколько фокусов работы с Matplotlib

Если вам такой контент полезен - поставьте реакцию! А когда наберем 250 разных реакций, я выложу еще один блокнот, где покажу - как на этом датасете можно сравнивать эффективность моделей для обработки временных рядов!

Недавно записал новый подкаст с основателем крупнейшей конференции для аналитиков Матемаркетинг - Алексеем Никушиным!

Поговорили о том, как вообще выглядел его карьерный путь, как появилась самая крутая конфа по аналитике и как развиваться в профессии за счет нетворкинга.

Рекомендую к просмотру, много полезных мыслей. И не забывайте про лайк и комментарий, чтобы поддержать видео!)

ВКонтакте
YouTube

Нас всех заменит GPT 😈

В среду выступал на конференции GCONF, которую организовали Дима Мацкевич и Леша Хахунов. Рассказывал, как можно использовать AI для решения прикладных задач. И так вдохновился, что решил написать для вас пост, как решать аналитические задачи с помощью ChatGPT!

Спойлер: GPT нас всех не заменит, но жить становится сильно проще.

Я не большой фанат использования ИИ в работе (почему - подробно описал в этом посте). Однако стоит признать: ChatGPT отлично может выполнять роль вашего ассистента-подавана и быстро решать те задачи, на которые у вас уйдет уйма времени.

За последние полгода чатик стал сильно умней и круто подходит для решения adhoc-задачек. Он читает таблицы или целые архивы с файлами, строит графики, пишет код и сразу же его запускает, размышляет и многое другое.

Чтобы вы сами могли посмотреть, как это работает, я подготовил для вас пример - загрузил в чатик набор данных об активности пользователей и начал с ним решать аналитические задачки: делать когортный анализ n-day retention, строить барчарт активности по месяцам и так далее.

Обратите внимание на качество графиков - просто топ!

Чтобы посмотреть наш с ним диалог, просто перейдите по ссылке (да, теперь в ChatGPT можно шерить диалоги): https://chatgpt.com/share/6712030f-a878-8006-ab98-7c20252a69fb

К сожалению, картинки и файлы пошерить нельзя, поэтому прикреплю их в комментарии к этому посту.

Чтобы качественно работать с ChatGPT, нужно руководствоваться рядом важных метапринципов - как строить диалог, как нагружать его задачами, как давать обратную связь и прочее. Если интересно узнать про это подробнее - накидайте реакций, сделаю про это отдельный большой пост.

ANDRON ALEXANYAN

Опережающие и отстающие метрики 🤑

Хочу затронуть очень важную тему - опережающие и отстающие метрики.

Давайте коротко. Отстающая метрика - это когда ты понимаешь, что все плохо, когда уже все случилось. Пример - выручка. В конце месяца ты понял, что не выполнил план, хотя надеялся до последнего. Опережающая метрика - это некий показатель, по которому ты заранее можешь увидеть, что winter is coming ситуация портится. Пример - оценка качества продукта. Если продукт испортился, какое-то время его еще будут покупать, но со временем сарафана/повторных платежей станет мало, а плохих отзывов - много, что снизит выручку.

И в чем прикол - почти на всех дашбордах выведены отстающие метрики. Выручка, прибыль, средний чек и прочее. Прогноз выручки - тоже не опережающая метрика, потому что она хоть и заранее считает результат будущего периода, но делает это на основании исторических данных. Значит, если что-то начало портиться только сегодня, то на прогноз это повлияет не скоро.

А в идеале всей команде смотреть и в опережающие метрики тоже (а точней даже в них больше)! Опережающие метрики надо контролить каждый день, потому что они показывают моментальное состояние бизнеса и на него можно повлиять почти сразу.

Вот несколько дополнительных примеров опережающих метрик: количество лидов (падение видно моментально), уровень удовлетворенности продуктом (плохие отзывы прилетают сразу), % жалоб от всех пользователей, n-day retention по свежим когортам, open rate писем (не открывают = снижается лояльность к бренду) и так далее.

Еще интересно, что некоторые метрики могут быть одновременно и опережающими, и запаздывающими, в зависимости от контекста. Например, распределение продаж по тарифам (по сути, средний чек). Если распределение сдвинулось в сторону более дешевых тарифов, то мы почти моментально можем заметить это и исправить - за счет этого выручка не упадет сильно. В данном случае это опережающая метрика. Однако сам факт падения среднего чека можно рассматривать как запаздывающую метрику - это ведь уже случилось, но это можно было отследить заранее (хоть и иногда сложно). Например, отслеживая - на какие тарифы люди оставляют заявки, какой сегмент лидов у приходящих заявок и так далее.

Надо сказать, что мы и сами сильно сейчас ориентированы на запаздывающие метрики. Будим чинить)

Давайте подытожим. Если вы по бизнесовой части - скорее смещайте свой фокус на опережающие метрики. Если вы аналитик - посмотрите свои дашборды и предложите новый подход тем, кто ваши дашборды смотрит. А если только учитесь - это отличная идея для уникального проекта в портфолио 😉

В начале года я писал, что неожиданно для самого себя попал в рейтинг телеграм-каналов по аналитике, хотя каналу было всего 2 месяца.

Этот рейтинг составляли ребята из NewHR, а вместе с ним они проводили и большой опрос аналитиков. И сейчас они запустили новое исследование!

Это огромная и очень полезная работа, потому что по итогам независимого опроса мы с вами получим самую актуальную информацию, которая нужна для обучения и построения карьеры: рейтинг компаний для работы, тренды в скиллсете, форматы занятости, текущие зарплатные вилки и много другое.

Пройти опрос ➡️

Если еще не проходили опрос - постарайтесь поучаствовать. Чем больше голосов, тем более статзначимый результат.

А если этот пост соберет 150 разных реакций, то как только выйдет исследование - я напишу его обзор с самыми важными и полезными для вас пунктами!

Неожиданно: мы заняли 1 место в рейтинге обучающих платформ по аналитике!

Ребята из Left Join (одно из крупнейших сообществ аналитиков в России) недавно проводили исследование рынка онлайн-образования в части аналитики данных и Data Science.

Оказывается, Simulative даже не было в списке школ. Но, несмотря на это, за счет голосов пользователей мы попали в этот рейтинг и заняли там офигенные позиции. Если быть точно - самые высокие!

Ссылка на дашборд с рейтингом: https://leftjoin.ru/tableau/edtech-survey-2024.html

Короткая выжимка про нас:

* 1 место по критерию "Общая оценка" - 8.8.
* 1 место по "Готовность рекомендовать школу" - у нас максимальный балл в 9.0.
* 1 место по "Сложность материалов" (что является хорошим показателем качества) - оценка 8.0.

Учитывая, что мы не принимали никакого участия со своей стороны в составлении этого рейтинга и даже не просили никого за нас проголосовать, я считаю, что это просто бомбический результат!

Поздравляю команду и спасибо всем, кто принимал участие! Продолжаем становиться еще круче, не переключайтесь 🔥

Последние несколько недель особо не пишу в канал, т.к. очень много работы и банально не успеваю. Но уже на подходе несколько мясных постов, так что stay tuned!

А пока что классная новость - вышла полная версия подкаста со мной у Алишера из SF Education. Мы с ребятами работаем и дружим много лет, поэтому получилось лампово!

📌 YouTube
📌 Вконтакте
📌 Rutube

Обсудили - какой у меня был карьерный путь, почему нельзя слушать своих клиентов, какие метрики в бизнесе обязательно нужно считать и многое другое.

Мне очень непривычно быть по другую сторону микрофона, поэтому буду благодарен, если поделитесь в комментариях впечатлениями! ❤️

Скоро выйдет подкаст с Андроном Алексаняном | CEO, Simulative

Андрон преподает на курсах SF Education и в ВУЗах, а также создал свою EdTech-компанию.

Поговорили с ним о том для чего нужна аналитика и аналитики, а также о том, что стоит ждать рынку в этой сфере.

Ставьте 👍, если ждете подкаст

Недавно писал, что ходил к Алишеру на подкаст. Кажется, уже осталось совсем чуть-чуть до выхода - сам жду!) Судя по превьюшке, должно быть прикольно 🥳

Реальный кейс: как с помощью аналитики прокачать перформанс-маркетинг 🔥

Какое-то время назад мы делали крутой проект на стыке аналитики, ML и маркетинга - мы анализировали объявления в рекламных сетках (например, ВК Реклама), раскладывали их на признаки и пытались ответить на вопрос: «А какой баннер надо сделать следующим, чтобы он разорвал рынок и показал супер-показатели?»

Мы протестировали десятки алгоритмов и в итоге сделали из этого крутой автоматизированный процесс. А сейчас давайте декомпозируем его на отдельные шаги.

1. Сбор данных

Самый первый этап, где нужно собрать кучу данных об объявлении (картинку, текст, кнопку, таргетинги, статистику перформанса и т.д.) через API рекламной площадки.

Это стандартный автоматизированный ETL, который можно сделать с помощью скриптов на Python + cron/airflow.

2. Составление карты признаков

Для начала мы сели и составили карту признаков. Потом начали работать по этой карте. Потом поняли, что получилась дичь и переделали. Этот цикл мы повторили раза 3.

В итоге у нас получили фичи в духе: главный цвет на картинке, вспомогательные цвета на картинке, существительные/прилагательные/глаголы на картинке, словосочетания на картинке, наличие триггера FOMO, наличие упоминания акции, главные объекты на картинке, вспомогательные объекты на картинке, контекст картинки и еще штук 30.

3. Выделение признаков

Карту составили - круто. А теперь, когда тебе подается на вход очередное объявление, тебе нужно его разложить на эти самые признаки - вот тут и начинается веселье.

Давайте возьмем один из самых простых примеров - выделение цвета. У тебя есть картинка, которая представляет из себя многомерную матрицу пикселей. Логичный шаг тогда - выделить цвет у каждого пикселя по RGB.

Ок, но не так все просто. Если 2 соседних пикселя отличаются на 1 хотя бы в одном компоненте цвета, то это будут 2 разных цвета, хотя для глаза они не отличимы. Есть ли в этом смысл? Нет - у нас в итоге у картинки может получится 1000 цветов.

Хорошо, давайте попробуем классификацию. Заранее создадим N цветов, которые нас интересуют и будем классифицировать каждый цвет в какую-то группу.

Нормальный вариант, но все еще с нюансами - для одной картинки может получится 50 цветов, а для другой - 1. А хочется всегда получать плюс-минус однородный ответ, чтобы это можно было адекватно обрабатывать.

И это я еще не говорю про то, какие страшные штуки приходится использовать, чтобы выделять объекты, работать с текстами и так далее.

4. Выделение ключевых признаков

Когда все фичи для каждого объявления проработаны, на горизонте начинает маячить алгоритм создания волшебного баннера. Но т.к. признаков очень много, нужно выделить только те, что реально влияют на результат (раскрывал подробно это в посте).

Простой пример - на нашем опыте мы заметили, что главный цвет практически всегда влияет на перформанс (например, итоговую стоимость лида), а условное наличие триггера FOMO может иногда не работать вообще или даже давать обратный эффект.

Чтобы выделить 4-5 ключевых признаков мы использовали замес из дисперсионного анализа, корреляций (писал про это тут, почитайте), ANOVA и еще всяких штук.

5. Предиктивка

Последний этап - сделать "прогноз": какие фичи должны быть у баннера, который будет круто перформить. Какого он должен быть цвета, что на нем должно быть изображено и на кого это таргетировать.

Тут мы тоже перепробовали кучу всего: от генетических алгоритмов до самописного алгоритма на основе условных вероятностей. В итоге на последнем и остановились.

Заключение

Рассказать про эту штуку в формате поста - очень сложно. Но в этом году я постараюсь глубоко раскрыть эту тему на крупнейшей конфе для аналитиков - Матемаркетинг. Буду выступать в офлайне, так что подходите, понетворкаемся))

А еще наша команда вместе с Матемаркетингом замутили крутую активность: если до конца сентября вы приходите к нам учиться на курс-симулятор «Аналитик данных», то вы гарантированно получаете билет на конфу!

Оставляйте заявку, ребята все подробно расскажут, а потом увидимся в студенческом чатике и на конфе 🔥

В подкасте с Пашей мы затронули важную тему: синдром самозванца. Скажу коротко: эту штуку надо гнать в шею.

Как и всегда, на коне оказывается тот, кто не побоялся и сделал шаг вперед. Принял оффер, который боялся не вывезти. Пошел на собес, при мысли о котором тряслись коленки. Откликнулся на вакансию, которая казалась неподъемной. Все это в итоге может стать поворотным моментом в карьере.

Например, я знаю «вечных студентов», которые продолжают учиться как не в себя, а я им каждый раз говорю - ребята, алло, вас с руками и ногами оторвут на рынке труда! Не надо так.

И как раз очень кстати мне написали знакомые из Авито - у них проходит Data Weekend Offer, где вы можете буквально за несколько дней получить оффер в команду DA / DE / DS. Кайфовый стек, крутая команда, престижная компания, интересные задачи - а больше ничего, кажется, и не надо.

Некоторые наши студенты уже давно работают там и все супер довольно, так что рекомендую прям от души - обязательно оставьте заявку и поучаствуйте. В лучшем случае - вы получите оффер. В худшем - получите офигенный опыт и проверку собственных знаний.

А еще у ребят проходит прикольный вебинар - будут показывать, как проходят собесы в Авито. Обязательно поучаствуйте в этой движухе! А потом расскажите в комментариях, чего было и какой результат - интересно будет послушать!)

Кстати, я тут машину продаю, так что если вдруг кто пройдет в команду - сделайте плиз, чтобы объявление ранжировалось получше))

Приписка про рекламу ниже - чисто формальная, на самом деле просто рекомендация от души - надеюсь, у кого-то благодаря этому посту случится мэтч ❤️

Реклама. ООО «Авито Тех».

Вчера я писал про то, что чтение классных каналов и блогов - отличный способ развиваться. Лично я очень люблю еще один формат - интервью и подкасты.

Мне кажется, это прикольный способ совмещать приятное с полезным - ты и ловишь кучу инсайтов (обычно после просмотра ролика я делаю минимум 5-6 заметок), и приятно проводишь время, расслабляя мозг.

Поэтому я решил попробовать новый для себя формат - брать интервью у интересных ребят, которые уже достигли значительных успехов в карьере и аналитике. И первым нашим гостем стал Паша Бухтик - автор тг-канала No data no growth и ex-Head продуктовой аналитики в Яндексе.

Поговорили о том, как быстро вырасти по карьере начинающему аналитику, что бустануло карьеру Паши и почему он решил стать медийным. Крайне рекомендую к просмотру!

* Смотреть на ютуб → https://www.youtube.com/watch?v=Gaqvzp9E9u4
* Смотреть в ВК → https://vk.com/video-197837145_456239085

Ну и буду благодарен лайку и комментарию под видео, чтобы ролик увидело как можно больше людей! ❤️

Расширение кругозора как источник роста ➡️⬅️

На нашем вебинаре с Настей я рассказывал, что когда только начинал свой путь в аналитике, я подписывался буквально на все подряд - от каналов с полезняшками до Hadley Wickham и других классных ребят. Тогда я этот делал в Twitter, в Linkedin и других сетях, а сейчас почти весь контент потребляю в телеграме.

Прошло много времени, но мое мнение не поменялось. Я правда верю, что чтение других умных людей (даже если ты сам не дурак) - отличный способ прокачаться. Во-первых, это может натолкнуть тебя на интересные мысли. Во-вторых, ты просто можешь стать еще умней. В-третьих, это круто вдохновляет. В-четвертых, это может открыть тебе классную возможность (например, мой пост про вакансию - для кого-то возможность бустануть карьеру).

Естественно, каналы надо фильтровать: убираем свое FOMO в мусорку и оставляем только самые хорошие каналы, шлакосборники нам не нужны. Я в целом подписан на небольшое количество каналов, и то периодически их фильтрую - что в бизнес-тематике, что в аналитике, что в маркетинге, что в лайфстайл, что в науке.

Например, на днях меня включили в папочку Креаторы - она больше про маркетинг и AI, но некоторые каналы почитать прям интересно.

Например, в этой папке есть Ваня - мы с ним давно работаем по инфлюенс и перформанс-маркетингу. Он даже делал у меня в канале гостевой пост про то, как мы хакнули вебинары. Я его читаю регулярно - мне нравится, как он пишет, рекомендую.

Или еще один канал - Глеба Михеева. Мы с ним неоднократно пересекались по работе и даже пили вместе кофеек, так что тоже крайне рекомендую. Например, почитайте вот этот пост про влияние неопределенности - подписываюсь под каждым словом.

А поделитесь в комментариях - какие каналы вам нравятся больше всего? Интересно!

Про одно недооцененное направление в аналитике 🔥

Когда мы говорим про аналитику, мы всегда приводим в пример аналитику маркетинга, аналитику продаж, аналитику клиентской базы и так далее. Оно и понятно - капитализм, куда деваться, в считают денежки.

Однако аналитика бывает и иной. Например, с помощью аналитики можно понять - насколько твой образовательный курс крутой и классный, а что нужно доработать. Эта штука называется LX-аналитика (от Learning Experience) и это очень интересно!

Давайте рассмотрим несколько примеров, что в этих ваших курсах можно считать и как это использовать:

* Удовлетворенность пользователей материалами (через форму сбора оценок) для дальнейшего допиливания самых низкорейтинговых материалов
* Задачи/тесты, где больше всего фейлов - обкладываем их подсказками, дополнительными материалами, декомпозируем, записываем разборы или что-то такое
* Retention по модулям/урокам: если наши студенты забивают на учебу (а такие есть всегда) - в какой момент это происходит чаще всего? После нахождения этого места уже идем спрашивать - что не понравилось, а затем улучшаем.
* Темп изучения материалов - мы можем считать среднее время прохождения каждого модуля с разбивкой по когортам студентов, чтобы понимать реальный срок изучения + привязывать это к маркетингу (появилась сильно более медленная когорта - вероятность возвратов повышается - ROMI ухудшается)

Например, мы в Simulative - дикие задроты своего продукта и стремимся, чтобы наши студенты могли со временем сказать: «Эти чуваки реально сильно повлияли на мою жизнь». В этом мы видим ценность образования.

Естественно, мы тоже трекали некоторые метрики, но нам это было сложно делать по техническим причинам. А сегодня у нас легендарный день - мы переехали на новую LMS с крутым личным кабинетом и можем трекать все на свете. LX-аналитик внутри меня ликует!

А еще, мы открыли крутую вакансию - менеджер образовательных продуктов. Это супермен со скиллами контент-специалиста, хваткой проджекта и виженом продакта, который будет работать лично со мной в связке и делать лучшие на рынке образовательные продукты. Решать будем максимально быстро: посмотрим тестовое, поболтаем лично и погнали в бой!

Если это про вас - ждем в команду. Если про вашего знакомого - за шеринг +1000% к карме. А если просто зашел пост - накидайте реакций, поделюсь реальным ресерчем LX-аналитики по нашим данным)

Вчера мы проводили совместный эфир с Настей - получилось круто, спасибо всем, кто был с нами! Поговорили про BI-аналитику в целом, карьеру Насти, современные инструменты и многое другое. Хочу поделиться некоторыми важными мыслями, которые вынес лично для себя в разговоре.

1. Какую BI-систему изучать?

BI-системы приходят, уходят, потом возвращаются и так бесконечно - нет смысла вестись на поводу у этих капиталистически-политических игр. Самый грамотный шаг - освоить какую-нибудь "фундаментальную" биайку (Power BI / Tableau) + еще какую-нибудь опенсорсную из разряда Superset / Metabase / Redash / Datalens.

Это даст вам хорошую базу и, даже если при найме от вас будут требовать незнакомый для вас ранее тул, вы сможете его быстро освоить на основании уже имеющегося опыта.

Примерно этим мы интуитивно руководствовались при создании курса-симулятора по BI-аналитике. Я лично ходил по рынку и спрашивал у действующих аналитиков - на каком инструменте замкнуть курс (в том числе и к Насте приходил). А потом понял, что не надо замыкать. И мы дали выбор студентам - сделали модули и по Power BI, и по Metabase, и по Superset.

2. Обязательные навыки для BI-аналитика

SQL и BI-инструмент - ключевые твердые навыки для BI-аналитика. Но не единственные. Настя рассказывала, что даже на собеседованиях они оценивают понимание "основ датавиза" - как подобрать тип визуализации под данные, нужно ли в конкретном кейсе строить дашборд или лучше просто аналитический отчет, как лучше провизуализировать конкретную бизнес-задачу и т.д.

Это реально очень важно. Чисто на уровне инструментов я могу собрать дашборд, причем вполне сносный. Но я на 100% уверен, что с точки зрения подбора визуализаций и удобства он будет не идеальный - я в этом не эксперт. Однако этот скилл можно качать.

Во-первых, нужно просто выучить основные правила - они существую. Например, у нас первый же модуль в курсе - «Основы датавиза», который собран на основании материалов Насти и Lisa Charlotte Muth из Datawrapper.

Ну и второе - качать насмотренность. Например, Настя каждый день постит что-то в канал - и это не рандомные ссылки, она их выбирает из десятков или сотен других. Понятно, что просматривая такой объем профильного контента каждый день, хочешь или не хочешь - ты преисполнишься в этой теме.

3. Зачем погружаться в бизнес-контекст

Проблема, с которой я последнее время стал часто сталкиваться - некоторые члены команды, особенно технические, не погружаются в бизнес-процесс. И это очень сильно ухудшает коммуникацию, удлиняет срок проектов и снижает их качество.

Настя привела классный пример: если ты строишь дашборд про маркетинговые воронки, то сходи на сайт, пооставляй заявки, почувствуй себя пользователем своего же продукта и пройди весь этот путь. Такой подход, во-первых, круто повысит качество лично вашей работы, а, во-вторых, сильно бустанет по карьере - начальство такое всегда замечает и сильно более лояльно относится к таким членам команды.

Короче, вебинар получился реально полезным. Если вы не смогли посмотреть в лайве - переходите в бота, вам придет запись.

Ну и пользуясь случаем, хочу финально пригласить вас на наш новый курс-симулятор «BI-аналитик», про который я уже упомянул. В пятницу стартует первый поток, на который действуют early birds условия и несколько крутых бонусов.

Оставляйте заявку на лендинге предзаписи - ребята проведут крутую презентацию и, если вам зайдет, сделаем из вас классных BI-аналитиков!

С Настей Кузнецовой и ее каналом Настенька и графики мы познакомились уже прям давно - наверно году в 2020. С тех пор частенько общаемся и проводим всякие совместные активности. Например, Настя поделилась с нами своими материалами для модуля «Основы датавиза» в нашем новом курсе-симуляторе по BI-аналитике.

А завтра (17 сентября) в 19:00 Мск мы проводим совместный вебинар, где обсудим много интересных вопросов:

1. Какой у Насти бэкграунд и как выглядел карьерный путь до текущий точки?
2. Есть ли спрос на BI-аналитиков сейчас? Какими компетенциями нужно обладать, чтобы достичь успеха?
3. Что происходит на рынке труда и на чем валятся кандидаты - посмотрим на взгляд нанимающей стороны?

В общем, будет полезно всем, кто уже начал свой путь в BI-аналитике или только присматривается к этой профессии. Естественно, будем обсуждать и все вопросы, которые вы зададите в чатике во время вебинара - так что залетайте 💃

Зарегистрироваться на вебинар →

На меня подписано много начинающих аналитиков или даже тех, кто только присматривается к этой профессии. И я точно знаю, что на этом пути вы можете столкнуться с огромным количеством страхов, когнитивных искажений и заблуждений относительно сложности трудоустройства, перегретости рынка и другими штуками.

Поэтому сегодня мы проведем классный ламповый вебинар с одним из выпускников нашего курса-симулятора по аналитике данных - Максимом Акименко, ныне аналитиком в фармацевтической компании Ригла.

Макс - очень позитивный, открытый и интересный человек: над его сообщениями в нашем чатике студентов я угораю периодически. Но кроме того, у него отличная и поучительная "история успехи" - отличный пример, как надо делать, чтобы вкатиться в аналитику, причем довольно быстро.

Короче, приходите на вебинар - поболтаем, выпытаем у Макса всю подноготную и точно угорим с смешных шуток 😁

Ссылка для регистрации →

Как я замену Notion искал 😈

Все уже написали про уход Notion из России - ну и я напишу. Только не просто поплачусь, потому что мы активно использовали его в команде, а расскажу про свой ресерч (потому что настоящий дед не мог его не провести).

Короче, когда Notion объявил об уходе, я подумал: а почему бы не найти аналогичный бесплатный self-hosted сервис, который можно развернуть у себя на сервере в Docker. Очень логичное желание: не хочется зависеть и от импортозамещающих сервисов (скорее всего от резкой нагрузки Yonote будет жестко тупить), и от забугорных вендоров - мало ли, они тоже решат отключить нас и все потеряется.

Вот этими критериями я руководствовался при выборе:

* Удобное форматирование текста
* Возможность делать вложенные друг в друга документы
* Функционал databases из Notion
* Возможность доступа неограниченного числа пользователей с гибкой настройкой прав
* Желательно - публичный шеринг

Поэтому я прошерстил весь Github с опенсорсом, затестил порядка 10-13 сервисов и делюсь с вами выжимкой - вдруг кому-то пригодится.

1. Focalboard

Прикольная штука, но заменяет только databases. По сути - это прокачанные канбан-доски. Это скорее аналог Trello, чем Notion. Но максимально просто разворачивается и используется - обсуждаем сейчас, возможно внедрим для команды разработки.

2. Siyuan

Некое китайское чудо - Notion на максималках с примесью Obsidian. На самом деле, очень крутая штука. Там есть все, что нам нужно, так еще и летает со скоростью света. Одно "но" - там вообще нет никаких прав и пользователей. Ну точней что-то типа есть, но оно китайское и не очень понятно, как там зарегистрироваться даже, не то что оплатить. Но для домашнего персонального использования - крайне рекомендую.

3. Affine

Классный аналог Notion - есть все, что надо. Но вроде self-hosted, а по факту все хранится в их облаке - отмели этот вариант, потому что стремно. Ну и права доступа - за денежку.

4. Outline

Очень приятный сервис с хорошими возможностями редактирования текста. Но нет databases - для нас это критично.

5. Anytype

Клон Notion, с какой-то дикой инструкцией по развертыванию локально. В итоге я понял, что это не self-hosted штука - локально ты можешь развернуть "сеть", чтобы все участники были в одной сети (что бы они не имели под этим ввиду). Короче, продукт от айтишников для айтишников (причем лютых). Но не подходит нам по главному критерию - ты зависишь от разработчика и в один прекрасный день он может уйти.

Кстати, небольшой бонус. Пока ресерчил все это дело - мне посоветовали сервис Buildin - это китайский точный клон Notion. Они скопировали все - от дизайна до тарификации. Так что, если ваша команда не хочет привыкать, просто мигрируйте на эту штуку. Тем более китайцы - наши братья, а эти чуваки даже сделали отдельное европейское направление, чтобы проще было принимать оплату.

В общем, в своих поисках дед потерпел фиаско - 100% мэтча не случилось. Так еще и "насладился" инструкциями некоторых опенсорсных решений, но про это расскажу в отдельном посте. Придется, видимо, переезжать на Yonote или что-то в этом духе.

Хотя, на самом деле, Notion у меня работает. Так что можно считать, что просто весело провел время и насобирал фактуры для этого поста. Уверен, кому-то пригодится, вопрос-то актуальный.

А если вам зашло - закиньте бустов в канал, буду очень благодарен) Канал вырос, надо еще несколько голосов, чтобы несколько анимированных реакций было 😈

Легкая альтернатива A/B-тестам 🔥

Сегодня хочу поднять важную тему и для аналитиков, и для менеджеров - а как еще можно легко тестировать гипотезы в компании, помимо требовательных A/B-тестов.

На выходных я финально «причесывал» обновленный модуль по продуктовым метрикам для наших курсов, и это натолкнуло меня на написание этого поста-шпаргалки. Я уже писал про многопараметрическое тестирование, а сегодня расскажу про еще несколько подходов.

Почему вообще не A/B-тесты?

Есть ряд ситуаций, когда A/B-тесты не подходят, как способ оценки результата. Вот несколько типичных примеров:

* Вы уже выкатили изменение, не успели его протестировать, а результат оценить нужно
* У вас мало контроля над ситуацией - например, реклама на ТВ
* Сложно спроектировать адекватный тест - например, у вас оффлайн-торговля
* У вас недостаточно трафика: нет времени на долгий тест или вообще не получается набрать нужный объем

В таком случае, вам помогут 2 подхода: квази-эксперименты и искусственный контроль. Ниже на примерах покажу суть каждого из методов.

Differences-in-differences

Я уже писал про метод diff-in-diff, но давайте разберем этот тип квази-эксперимента на примере.

Кстати, приставка «квази» означает «почти» в переводе, поэтому мы говорим про «почти полноценные эксперименты».

Итак, вы решили провести акцию в одном из магазинов своей оффлайн-сети и ваши продажи поперли вверх. Однако это совпало с сезонным ростом, и продажи в других магазинах тоже увеличились. Как понять - какой вклад в рост выручки внесла акция, а какой - сезон?

Метод diff-in-diff предлагает сделать следующее: выбираем другой магазин Y, который имеет похожую тенденцию по выручке → смотрим на его показатели во время проведения акции в магазине Х → делаем прогноз по магазину X: какой результат он бы показал, если бы продолжил развиваться с тем же трендом, что и Y.

Разница между этим прогнозом «как магазин бы рос, если бы не акция» и «как магазин вырос по факту» - и есть эффект от проведенной акции. Дальше можно посчитать доверительный интервал и вот это все.

Causal impact

Второй способ - синтетический контроль. Основная идея - посмотреть, как во время проведения эксперимента себя вели сильно коррелированные показатели, по ним построить прогноз и посчитать разницу. Звучит опять сложно, но давайте разберем пример.

Итак, вы владелец сразу 10 магазинов в одном торговом центре. В одном из магазинов (Х) вы решили провести акцию, но как и в предыдущем случае - продажи в то же время увеличились во всех магазинах (хотя акции там не было). Как оценить эффект от акции.

Идея такая: берем остальные 9 магазинов, если их продажи коррелированы с магазином Х (т.е. у них одинаковые дни спада и роста выручки - скорее всего в рамках одного ТЦ так и есть). Далее на основании данных с этих 9 магазинов определяем тренд и строим прогноз - как бы вырос магазин Х, если бы в нем не было акции. А далее просто считаем разницу между фактом и прогнозом - это и будет эффектом от акции.

Искусственный контроль

Здесь идея вообще максимально простая. На примере предыдущих ситуаций - просто берем исторические данные по продажам магазина Х, строим прогнозную модель по своим же продажам и считаем разницу между фактом и прогнозом.

Заключение

Эти методы - отличное подспорье в реальной жизни, ведь частенько проводить A/B-тесты нет времени, денег и возможностей.

Если вам зашел пост - давайте наберем 200 разных реакций и я выложу универсальный шаблон для проведения таких тестов 🔥

Почему я люблю Metabase 😍

Metabase - бесплатный опенсорсный BI-тул, с помощью которого можно визуализировать SQL-запросы и даже строить полноценные дашборды.

И меня жутко бесят некоторые его недоработки. Например, невозможность работать с таблицами из разных хранилищ сразу, отсутствие некоторых базовых визуализаций (первое, что вспомнил - нормальной гистограммы или санкеев), минимальные возможности кастомизации и форматирования графиков и пачка других претензий.

Однако я все еще люблю Metabase и всячески двигаю его в рынок. Можно даже сказать, что я Metabase-евангелист или Metabase Advocate (вспомнил, что есть такие должности, пока писал). Как оголтелый всегда за него топлю. Короче, Metabase, свяжитесь со мной.

А люблю за то, что все его преимущества с лихвой перекрывают недостатки в некоторых случаях. Он идеально подходит для небольших компаний, где только зарождается дата-культура. Еще один сценарий - для решения отдельных задач внутри большой компании: настройка дашбордов с мониторингами, единый инструмент для визуализации adhoc-ов для команды и т.д.

Ну вы прикиньте сами - за 0 рублей вы получаете штуку, которая разворачивается в 2 команды с помощью Docker, подключается без проблем ко всем распространенным СУБД и DWH (причем и по ssh можно, если база на другом сервере), дает возможность строить любые чарты сразу после написания SQL-запросов, да и дашборды на ней можно сносные построить, если подзаморочиться! О, еще вспомнил - много ли биаек дает возможность шерить автообновляемые дашборды без сложных настроек? Metabase дает.

А вообще, конечно, BI-ку надо подбирать под задачу. Для построения системы дашбордов в крупной компании Metabase точно не подойдет - здесь нужно что-то понавороченней, типа Power BI. Да, из РФ он «типа ушел» (хотя казахские карты никто не отменял), поэтому многие ищут выходы. Например, переходят на Superset. И то не из коробки, а на стероидах, со всякими допиливаниями - в стандартной комплектации это тот же Metabase.

Из этого вытекает важный вывод - современному BI-аналитику важно не упираться в один инструмент, а быть многоруким Шивой. И чтобы таких многоруков стало больше, на этой неделе мы с командой запустили новый курс-симулятор «BI-аналитик».

Это программа, где вы с нуля с понятными уроками и на кейсах из реального бизнеса освоите аж 3 BI-системы: Power BI, Superset и Metabase. А еще научитесь писать SQL-запросы like a pro, работать с Excel-ем лучше консультанта из McKinsey и преисполнитесь продуктовыми метриками, аналитикой и тестами.

Сейчас открыт набор на первый поток по early birds ценам. Поэтому если хотите освоить самую красивую и творческую специальность в аналитике или просто качнуть скиллы - обязательно записывайтесь. Но не затягивайте - мы начали набор сильно заранее, а первый поток уже набирается хорошими темпами.

Всем понятных дашбордов, братцы 😍

То чувство, когда в субботу записываешь новые уроки для студентов, а потом понимаешь, что не включил запись экрана…

Google Colab → dash

Для проведения ресерчей чаще всего я использую Google Colab. Просто создаю пустой блокнот и начинаю накидывать туда код, строить графики и выводить таблички. Со временем ячеек с кодом становится слишком много и я начинаю добавлять текст с заголовками H1, чтобы можно было сворачивать дочерние ячейки. Но в какой-то момент мой блокнот превращается в такую лапшу из ячеек, что от монитора начинает пахнуть раменом это становится просто невозможно.

И в этот момент меня каждый раз круто выручает dash - питоновская библиотека для легкого создания веб-приложений с интерактивными графиками plotly. Я просто переношу весь свой код в VS Code, разбиваю все аккуратно по файликам-функциям-классам, создаю одну точку входа с описанием интерфейса и логикой приложения и кайфую.

Да, запилить аппку на dash - дольше, чем просто открыть блокнот в Colab. Но потом это жутко экономит время и нервы. Например, в Colab, чтобы посмотреть на какие-то данные с разными параметрами, ты должен каждый раз чутка редактировать свой код и строить новые графики. А в dash ты один раз добавляешь dropdown-фильтр, а дальше просто выбираешь нужный вариант и все пересчитывается/перестраивается автоматически.

Словом, если вы только сели делать ресерч, то блокноты - ок. Если у вас более-менее понятна фактура, а возвращаться к результатам вы будете еще долго, то перенести все в dash - отличная идея.

Кстати, мы в Simulative сейчас проводим много активностей и ищем спикеров на мероприятия / авторов для статей. Если вам интересно создавать крутой обучающий контент по аналитике - обязательно заполните форму, мы с вами свяжемся!

Ну и если пост вам зашел - накидайте реакций! Я сейчас как раз пилю один ресерч на dash - когда этот пост наберет 250 реакций, а моя аппка станет поувесистей, я выложу сюда исходный код!)