Борзило @y_borzilo Channel on Telegram

Борзило

@y_borzilo


Пишу про аналитику, продукты, маркетинг

@borzilo_y - по всем вопросам

Борзило (Russian)

Добро пожаловать в канал 'Борзило'! Если вас интересует аналитика, продукты, маркетинг, то вы попали по адресу. Мы здесь, чтобы предоставить вам актуальную информацию и анализ в этих областях. Наш канал '@y_borzilo' - это источник полезных материалов и советов по различным аспектам бизнеса. Мы рассматриваем различные стратегии, делимся инсайтами и помогаем нашим подписчикам развиваться и успешно преуспевать. Наша цель - быть вашим надежным партнером в области аналитики, продуктов и маркетинга. Если у вас есть вопросы или вы хотите обсудить что-то конкретное, не стесняйтесь обратиться к нам в нашем дополнительном канале '@borzilo_y'. Присоединяйтесь к нам прямо сейчас и начните свой путь к успеху вместе с 'Борзило'!

Борзило

13 Jan, 09:06


Разбираем тестовое задание в Альфа Банк на позицию Junior Аналитика данных

Чтобы найти работу, мало пройти курс и сделать классное резюме. На практике, чтобы выделиться на собеседовании, нужно понимать, что лежит под капотом каждого инструмента, а не следовать конкретному заученному алгоритму.

Чтобы попрактиковаться в этом, приходите на бесплатный вебинар, где будем разбирать реальное тестовое задание, которое дают аналитикам в Альфа Банке.

Что будем делать на вебинаре:
• Напишем сложные SQL-запросы для банковских данных;
• Вспомним, как правильно использовать оконные функции;
• Узнаем, как создавать разметку, из чего она состоит и для чего она нужна;
• На реальных данных проведем когортный анализ и сделаем выводы;
• Расскажем, как доставать инсайты из данных.

Вебинар проведет Денис Иванов, ведущий продуктовый аналитик

🕗Встречаемся 14 января в 19:00

Зарегистрироваться на бесплатный вебинар

Борзило

11 Jan, 07:43


Валерия(@Valeria_Shuvaeva), автор канала "Мир аналитика данных" сделала табличку для трекинга ваших целей и предложила поделиться с моими подписчиками, а я и не против. Так что забирайте если вам нужно отслеживать прогресс по вашим целям. Ниже текст и табличка от Леры

🎯 Вот и пролетели каникулы. Не жалею, что не сидела за компом. Мы семьей ездили на дачу, парились в баньке, жгли камин, встречались с друзьями, ездили к бабушкам, побывали на Красной площади.

Жизнь дуальна или двойственна или, если по другому, у всего есть две стороны. Можно сосредоточиться на том, что отдых закончился и опять нужно работать . А можно сконцентрировать свои мысли на перспективе того интересного и захватывающего, что мы сами себе можем создать в этом году! И все действительно в наших руках! Но для этого нужно учиться, ставить цели и кайфовать от того, что потихоньку идем по своем пути. Пусть извилистому, но именно нашему особенному пути.

💡 У меня появилась идея, которая поможет каждому из нас оставаться мотивированным и идти к своим целям!
Предлагаю вам простой, но эффективный инструмент — таблица для мотивации. Абсолютно бесплатно для всех.

Я буду за Вами следить и Вас мотивировать, а также любой из нас кто зайдет на Ваш лист и захочет что-то написать или вставить наклейку для мотивации. Короче, полная свобода!

😀 Как это работает? 😀

📋 Вы заполняете таблицу своими курсами, тренировками или любыми другими целями.
Каждый день отмечаете галочками свои успехи, а можете цветом закрасить клеточку дня, в котором позанимались.
👀 Другие видят ваш прогресс, а вы вдохновляетесь их результатами.

Когда знаешь, что за тобой наблюдают, появляется дополнительный стимул двигаться вперед. Это проверенный прием, который помогает не сойти с дистанции! 🚀

Что нужно сделать?
1️⃣ Переходите по ссылке, копируйте лист "Для копирования" и дайте ему имя - свое или любое другое, которое Вам нравится.
2️⃣ Заполняйте своими целями и курсами.
3️⃣ Начинайте действовать!

Чтобы вам было проще начать, я добавила в таблицу несколько курсов, которые могут стать отличным ориентиром.

Не ждите идеального момента — начните сегодня! 💪 Ссылка на таблицу

Давайте делиться успехами и поддерживать друг друга! 🔥 Можно писать друг другу прям на листах. Типа "Ого, круто! Молодец!" Можно вставлять картинки и эмодзи. Короче, никак себя не ограничивать.

Напишите в комментариях, что планируете изучать или какую цель хотите достичь. 🙌

Борзило

10 Jan, 07:30


8 принципов, которые я беру с собой в 2025 год

В течении новогодних каникул я много думал о том каким бы я хотел видеть 2025 год для себя. На основе этого выписал 8 принципов, которыми буду руководствоваться.

1. Выбирай себя
Подводя итоги 2024 года обнаружил, что в профессиональном плане блог, работа у меня получилось много классных пунктов, которыми я доволен.

Когда дошел до пунктов отдых и путешествия, то там было всего 2 пункта, Стамбул и отдых на горнолыжке. По здоровью вообще ничего интересного, скорее в минус.

Выбирать себя это про то чтобы сделать с утра зарядку, про то чтобы правильно питаться, про то чтобы ездить в разные места, а не откладывать на потом. На мой взгляд успех - это проснуться утром и самому решать как именно ты проведешь этот день.

У кого то в блоге недавно прочитал клевую мысль "Дело не в недостатке времени, а в недостатке энергии, поэтому сначала планируем в свою жизнь мероприятия по восполнению энергии, а потом остальное".

2. Делай, делай и еще раз делай
Я очень много думаю и зачастую не перехожу к действиям. Планировали осенью поехать в Турцию. Я очень долго смотрел варианты, оценивал сравнивал, в итоге никуда не поехали. Хочу исправить это. Подумал → решил → сделал. Долой бесконечную ментальную жвачку.

3. Успех - это функция от числа попыток
Этот принцип я узнал очень давно, когда начинал подрабатывать "копирайтером" в 2013 году. Тогда мне нужны были клиенты и в одном видео про фриланс я услышал эту идею. После собрал базу контактов в группах маркетинговых агентств Вконтакте и тупо разослал 50 админам предложение о сотрудничестве и нашел себе заказы.

Короче чтобы чего-то достичь надо пробовать. Главное не забывать про другой принцип "если лошадь сдохла слезь с неё".

4. Закрывай ментальные долги
Это разные дела на которые вечно не хватает времени, но они где-то лежат в вашей оперативной памяти и постоянно шлют алерты сбивая концентрацию и мешая появиться в вашей жизни новым глобальным делам. Поэтому на новогодних праздниках я активно закрывал разные задачи из серии починить полку, укомплектовать машину и прочее.

5. Не жди идеальный момент
У всех нас есть рабочие и личные задачи и обычно хочется выделить время и спокойно их сделать, но всегда что-то идет не так. То куча созвонов, то ребенок заболел, то курс валют вырос и ты вроде можешь перед собой оправдаться, что сейчас момент не подходящий и отложить задуманное. Но правда в том, что идеальные моменты бывают редко. Если тебе нужен результат, то научись действовать в условиях неидеальности.

6. Все в нашу жизнь приходит через других людей
Чтобы найти клевую работу - надо общаться с людьми на собесах. Чтобы твой продукт купили - надо продавать и общаться с людьми. Чтобы чему-то обучиться мы читаем и смотрим контент, который сделали другие люди.

Все описанное - это коммуникация с людьми. Поэтому чтобы чего-то достичь тебе нужно строить коммуникацию с другими людьми. Все приходит к тебе через других людей.

7. Расширяй зону контакта с миром
Это про новые впечатления и навыки. Посещение новых мест здорово перезагружает нервную систему. Недавно я увлекся роликами о горном и лесном туризме. Хочу в этом году поколесить на машине по Южному Уралу, а также посетить какие-то новые страны.

8. Сила маленьких шагов
Всегда сложно начинать, что-то новое и большое. Например вы хотите похудеть на 10 кг и кажется это долго и сложно, можно начать с малого хотя бы делать зарядку утром.

Хотите начать вести блог, но кажется что писать статьи и привлекать подписчиков это сложно. Начните с простого напишите 1 пост и позовите друзей из других соц сетей.

Хотите много путешествовать, но на это надо много времени и денег. Начните с простого съездите в соседний город на день, посетите ближайший лес или гору.

Вот с таких маленьких шагов можно начинать любое большое и сложное дело и также можете его продолжать. В году 52 недели, если каждую неделю делать по 1 маленькому шагу к вашей цели, то за год вы сделаете 52 шага, а это уже не мало. Дорога появляется под ногами идущего.

Ставьте 🔥 если откликается и пишите в кмоменты, что именно резонирует😊

Борзило

09 Jan, 08:06


Выхожу из активного зимнего отдыха. Все пункты, которые писал 31 декабря выполнены. Выше частичка моего отдыха😺

P.S. Даже похудел на 2 кг))

Борзило

31 Dec, 08:09


Ну что всех с наступающим новым годом, проведите праздничные дни на полную катушку 📣🎶🚀
Лично я планирую разгрузить голову, не думать ни о чем аналитическом, а наоборот сконцентрироваться на работе руками и получать приятные впечатления душой и телом.

За период праздников планирую:

1. Тусить с друзьями на турбазе, возможно выбраться куда-то на холмы и пригорки, побродить по снегу или какому-то лесу
2. Пострелять зомбаков на арене виртуальной реальности в большой компании
3. Посетить с экскурсией доменный цех Магнитогорского металлургического комбината. Посмотреть как льется жидкий метал и 20 метровые печи
4. Сходить в баню
5. Переделать домашние дела из серии, подкрутить полку, починить стул и прочее
6. Покататься на коньках
7. Сходить к врачу
8. Ходить по гостям

Так что желаю вам отдохнуть от компуктеров и телефонов тоже, чтобы перезарядить свои батарейки. Увидимся в новом году☕️

Борзило

27 Dec, 11:04


Незакрытый гештальт

Всю дорогу на пути аналитического развития меня двигали незакрытые гештальты.

Когда я пришел работать в маркетинг меня всегда мучали вопросы, а как понять что именно нужно делать чтобы получить рост прибыли? А как оценить результат?

Поэтому я всегда изучал аналитические подходы и инструменты. Каждый раз это выглядело как вызов, "а смогу ли я это изучить и найти где применить?"

✔️ Узнал, что с помощью веб-аналитики можно изучить поведение юзеров → изучил → внедрил.

✔️ Узнал, что с помощью исследований можно повысить точность решений → изучил → внедрил.

✔️ Узнал, что с помощью системы сквозной аналитики можно считать окупаемость до денег → изучил → внедрил.

✔️Узнал, что с помощью sql, bi, python можно решать большинство аналитических задач → изучил → внедрил.

✔️Узнал, что с помощью АБ тестов можно сравнивать эффективность разных решений → изучил → внедрил.

В каждое из этих направлений все еще можно углубляться и совершенствоваться, но для себя я больше не вижу в этом каких-то глобальных вызовов.

Можно конечно идти в ML, но лично меня не привлекает это направление, я не хочу становиться ML-инженером.

Поэтому в конце года я задумался о том куда мне интересно развиваться, пока у меня нет готового ответа.

Наблюдая за собой в течении года я пришел к выводу, что мне нравилось заниматься вопросами популяризации АБ тестов в банке, проведения митапов, участия в конференциях , помогать коллегам разобраться с АБ тестами. Я бы сказал, что мне нравится создавать пространство для развития людей и компаний в аналитическом направлении.

А вы куда хотели бы развиваться в 2025?

Борзило

25 Dec, 07:00


Аналитики в Авито: от продуктового до клиентского.

Подробнее о том, чем отличаются BI-разработчики, биздевы, маркетинговые, продуктовые и клиентские аналитики, а также как они находят инсайты и создают инструменты для роста - читайте в новой статье от команды аналитиков в Авито.

Реклама. ООО «Авито Тех».

Борзило

24 Dec, 08:48


Кого почитать про аналитику?🧐
На хабре вышла статья, с подборкой авторских ТГ-каналов. Я подписан на большую часть каналов из этой подборки, так что контент там проверенный и интересный. Мой канал там тоже есть😌

На мой взгляд подборка получилась довольно сбалансированная, есть каналы про продуктовый подход, маркетинговую аналитику, bi, аналитические инструменты, ML.

Рад что нет каналов про AI, если честно надоело слышать про AI из каждого утюга, в то время как 95% компаний не может просто порядок в данных навести.

Собрал всю это красоту - Андрон Алексанян. У него в канале тоже всегда годный контент. Вот из недавнего скрипт в colab для когортного анализа, а также еще много интересного.

По ссылке можно сразу всю папку с каналами добавить в ТГ.

Борзило

20 Dec, 11:00


Моя аналитическая суперсила

Нет - это не АБ тесты и даже не поиск инсайтов. Моя супер сила - это выявление проблем с данными. Я вот честное слово не хочу решать проблемы с данными, а хочу исследования и АБ тесты.

Но почему-то, как-то случайно нахожу разные проблемы. Например, у меня был чек-лист для аудита Google analytics на 30 пунктов из всяких найденных косяков, даже проводил курс "качество данных Google Analytics", у меня есть отдельный чек-лист по валидации АБ тестов, есть чек-лист по валидации сплитовалки и еще всякое.

В различных методиках и дашбордах я периодически нахожу ошибки. Никогда не хотел заниматься вопросами качества данных, оно как буд то само меня находит😁.

А у вас какая аналитическая супер сила?

Борзило

20 Dec, 08:46


У NEWHR вышла ежегодная подборка "за кем следят аналитики?"

Там список экспертов и каналов. Спасибо, что упомянули мой канал. В закрытый список экспертов я не попал, но попал в рейтинг вне списка.

Т.е. люди предлагали свои варианты экспертов и каналов в поле для свободного ответа. А это даже возможно круче, т.к. одно дело когда тебе дали список и ты выбираешь, а другое, когда надо вспомнить эксперта😁

Очень рад, что читаете меня, надеюсь что мой контент несет вам пользу и рост🔥

Буду рад если под этим постом напишете обратную связь по моему каналу. Что нравится? Как он вам помог? Может наоборот, что-то плохо или хочется какой-то новый формат?

Обратная связь помогает мне развивать канал, жду вас в комментариях ✍️

Ссылка на лендинг где можно получить список

Борзило

10 Dec, 06:59


Машина со сгоревшим сцеплением
Вы когда-нибудь ехали на машине со сгоревшим сцеплением? Вот вы едете по дороге, хотите ускориться, втыкаете передачу повыше, жмете газ в пол, мотор рычит, а машина еле-еле ускоряется.

Вот у меня последнее время какое-то такое ощущение. Что-то делаю, пытаюсь газовать по разным фронтам, вроде правильные действия делаю, а ускорения нет, как буд то что-то сломано. Кажется, что можно быстрее, выше, сильнее, есть потенциал, есть силы, но оно не работает😑 Бывало такое?

Борзило

04 Dec, 05:27


👨🏻‍💻 Ошибки при оценке SRM

Я уже написал несколько постов про SRM, поэтому подробно рассказывать про это не буду. Сегодня поговорим про 2 ошибки при проверке выборок на дисбаланс.

Когда мы задали конфиг деления наблюдений в АБ тесте 50/50, то ожидаем, что получим близкое деление к запланированному. Проверить корректность деления можно при помощи стат. критерия хи2.

С одной стороны все просто, с другой как всегда есть нюансы. Сегодня поговорим про 2 ошибки, которые можно допустить при оценке SRM.

🛑 Выбор единицы анализа, вместо единицы рандомизации для оценки SRM
Зачастую сплитование происходит по пользователям, а для анализа результатов АБ теста иногда используют метрики посчитанные по сессиям.

Некоторые не задумываясь о различии пользователей и сессий, могут взять сессии для оценки SRM, но это не верно, т.к. сплитование происходило по пользователям, а сессия это некоторая производная от пользователя.

Различия в тестируемых вариантах может влиять на число сессий, которое сгенерирует пользователь в каждом из вариантов экспа, а значит такая сущность как сессия не подойдет для оценки SRM. Есть пример в этом посте

🛑 Оценка SRM по пользователям по дням
Берем каждый день всех пользователей попавших в эксперимент и оцениваем SRM. Тут хотя мы и берем в качестве анализа пользователя, но один и тот же пользователь мог возвращаться в разные дни, а возвращаемость это опять таки производная от пользователя.

На нее может воздействовать само экспериментальное изменение, т.е. даже при корректном сплите вы можете получить разную возвращаемость в группах.

Вы будете видеть дисбаланс при таком методе подсчета. Кроме этого важно помнить, что хи2 как и любой стат критерий имеет ошибку первого рода и чем больше сравнений вы сделаете тем больше вероятность допустить ошибку первого рода и найти дисбаланс там где его нет.


Как проверять SRM?
1. Для оценки SRM нам важно брать в качестве наблюдений именно единицу рандомизации, т.е. если ваша сплит система делит по пользователям, то нам нужны id пользователей.

2. Учитывать каждое наблюдение (пользователя) нужно только 1 раз в выборке, независимо от того сколько раз он вернулся в продукт.

3. Производить подсчет SRM для АБ теста тоже желательно только 1 раз, чтобы держать ошибку первого рода в рамках альфы, либо применить какую-то поправку для корректировки альфы.

Борзило

01 Dec, 12:50


Зимний туристический сезон объявляю открытым🔥

Вы как провели выходные?

Борзило

26 Nov, 18:09


3 признака, что у вас нет никакого data driven, а есть лишь фикция 😵‍💫

1. Отсутствие процесса контроля качества данных.
В компании много систем, они все имеют какую-то свою логику учета, между ними настроены потоки данных, куча скриптов, таблиц, дашбордов. Все это обязательно разойдется, не будет биться между собой, часть данных вообще потеряется.

Если у вас нет автоматизированной системы, которая контролирует полноту данных и сравнивает данные в разных системах, то скорее всего у вас уже есть серьезные расхождения и нет единой точки правды, тогда о каком data driven может идти речь?

2. Отсутствие методологии работы с данными и анализа
Начнем с того, что далеко не все знают, что такое пресловутый EDA, а просто верят данным, которые им поставляют системы, у которых нет контроля качества данных.

Другой вопрос это когда в компании есть какой-то регулярный аналитический процесс типа анализ трафика, анализ АБ тестов, анализ управленческой отчетности, но почему нигде нет описанной методологии как это должно делаться и каждый сотрудник может это делать своим уникальным образом.

По итогу одни и те же метрики в разных типовых анализах могут выглядеть по разному и не сходиться друг с другом.

3. Корпоративная культура
Питер Друкер сказал "корпоративная культура ест стратегию на завтрак", тоже самое можно сказать про data driven. "Корпоративная культура ест data driven на завтрак".

Если в компании декларируют, что у них data driven, а потом по результатам АБ теста "самый большой босс" может отправить результат красного АБ тест в продакшн, только потому что он его считает лучше, то этот культурный код будет считываться всеми в компании и data-driven будет только имитацией, а не культурным кодом компании.

Борзило

25 Nov, 08:20


AB марафон - первый поток done

Провел первый поток марафона по АБ тестам. Идея марафона была в том чтобы за неделю человек, который никогда не делал АБ тесты смог бы пройти путь: поиск точки роста → формирование гипотез → дизайн АБ → валидация и анализ результата АБ теста.

При этом я не хотел чтобы этот тренинг превратился в курс по статистике, хотелось именно дать практику и погружение на простом примере. Т.к. я считаю, что на старте важно быстро получить общую картину, а потом уходить в детали.

Поэтому мы взяли конкретный продуктовый кейс по поиску точек роста в интернет магазине с последующим проведением АБ теста.

Слушатели считали экономику магазина, проводили сегментацию, рассчитывали воронки, интерпретировали ux метрики, анализировали дизайн основных страниц нашего учебного магазина, формировали гипотезы, дизайнили АБ тест, боролись с ошибками в данных и SRM, а после считали результат АБ теста и принимали решение стоит ли катить новый вариант.

Некоторые уроки получились достаточно объемные, я думал, что они будут меньше, поэтому многие не успели сделать все задания и я продлил срок приема заданий, чтобы участники могли доделать и получить обратную связь.

Также вскрылись моменты где стоит переработать логику подачи материала и некоторые моменты раскрыть более детально, поэтому с каждым потоком марафон будет апгрейдиться и становиться интереснее.

Мне понравился такой формат работы, было ощущение что пишу сценарий к фильму. Хочу еще раз сказать спасибо всем участникам первого потока.🫶

Борзило

23 Nov, 11:02


Монтекарлить - изучать поведение статистик при помощи генерации большого числа выборок и расчета нужных показателей по ним

Борзило

22 Nov, 11:51


Старая АБ тестерская мудрость

Борзило

22 Nov, 08:10


А вы хотели бы работать продуктовым аналитиком в Альфа-Банке? Ставь плюсик в комменты и если у нас будут открытые вакансии, то я вам их пришлю))

Борзило

22 Nov, 08:03


Моя коллега - Фаина Винокурова, рассказала про то как устроена платформа АБ тестирования сайта alfabank.ru

Борзило

18 Nov, 06:06


Стартанули с участниками АБ марафон. В течении недели совместно будем решать кейс по АБ тестированию. Поиск точки роста → формирование гипотез → планирование АБ теста → подготовка трекинга → работа над ошибками → оценка результата.

Идея марафона в том, чтобы те кто не делал АБ тесты могли потрогать этот процесс и научиться делать его на простом кейсе в работе с простой метрикой в виде конверсии.

Каждый день участники получают небольшой урок с теорией и небольшое задание для практики. Так малые действия ведут участников к новому навыку.

Борзило

17 Nov, 05:16


Делаю оформление к постам для группы где будет проходить АБ марафона.

Играюсь с генерацией картинок в чат гпт и разными эпохами

P.S. Сегодня вечером всех участников добавлю в канал марафона

Борзило

15 Nov, 10:33


Пятничный нетворк 🤝

Все возможности в нашу жизнь приходят через других людей и коммуникацию с ними.

Чтобы устроиться на работу, вам нужно пройти собес, чтобы в компании вас заметили вам нужно взаимодействовать с другими людьми, чтобы ваш блог читали вам нужно привлечь других людей.

Поэтому предлагаю сегодня каждому в этом посте заявить о себе. Можете рассказать о том какую работу вы ищите, скинуть резюме. Если вы работаете в какой-то компании, то можете предложить зареферить в свою компанию, если у вас есть блог расскажите о нем, если у вас есть что-то еще о чем вы хотите рассказать другим, то тоже пишите.

Пока вы молчите ничего не произойдет, выходите на коммуникацию, покажите себя. Пиши о себе и своих запросах в комменты ⤵️

Борзило

14 Nov, 07:00


Не будем утомлять вас рассказами о ДМС, крутых офисах и других плюшках. Вот главное о том, почему продуктовые аналитики выбирают Т-Банк:

▪️Актуальный стек. Здесь следят за трендами и быстро внедряют новое.
▪️Улучшения может предложить каждый. Здесь знают, как устроен продукт, и влияют на его развитие.
▪️Прозрачная система роста. Вы всегда будете знать, какие навыки нужно подтянуть и как получить повышение.
▪️Вы окажетесь среди профессионалов, у которых можно многому научиться. А если захотите — можете стать ментором для младших коллег.

Больше о вакансиях здесь

Борзило

13 Nov, 09:43


А что ты сделал для хип-хопа АБ тестов? 👨‍💻

Сегодня вспомнил, что ровно год как я пришел в Альфа-Банк. Решил по рефлексировать, а что за это время удалось сделать для развития АБ тестирования в банке?

🔸 1. Пересобрал процесс АБ тестирования для команды сайта и скорректировал методологию

🔸 2. Провел около 80 консультаций для коллег по вопросам АБ тестов

🔸 3. Провел аудит работы двух АБ платформ

🔸 4. Подготовил 6 обучающих видео про АБ тесты и около 10 разборов частых вопросов

🔸 5. С коллегами организовали внутри банка митап по АБ тестам

🔸 6. В alfa digital news выпустил серию постов про АБ тесты и провели конкурс

🔸 7. Выступил на Матемаркетинге от лица банка с докладом про ошибки в АБ

В целом я доволен, но не стоит останавливаться, на самом деле есть много моментов которые можно развивать. Это и развитие платформ АБ и развитие методологии и проведение более глубоких предэкспериментальных исследований.

Кроме этого также важно заниматься просветительской работой внутри компании по вопросам экспериментов, а также работать над PR составляющей во вне, через организацию митапов и участие в конференциях.

Борзило

13 Nov, 05:52


Давайте увеличим трафик на период проведения эксперимента?📈

Каждый АБ тестер рано или поздно сталкивается с ситуацией, что для того чтобы проверить гипотезу на определенном уровне MDE у него недостаточно трафика или его нужно собирать очень-очень долго.

В такие моменты появляется идея, а давайте на период эксперимента увеличим трафик, попросим рекламщиков закупить больше трафика на нужные нам страницы или повесим баннер на главной в нашем приложении.

Так мы увеличим число пользователей, которые смогут попасть в эксперимент. Вроде на первый взгляд хорошая идея, но у неё есть риски.

Представим что у вас есть страничка на сайте где вы хотите провести АБ тест. Вы попросили закупить на неё больше трафика чтобы сократить время эксперимента, а после отдел рекламы отключит дополнительный трафик.

Важно понимать, что трафик не однороден. Внутри трафика есть разные сегменты с разными потребностями, с разной степенью готовности к целевому действию.

Одно из важных условий чтобы мы могли экстраполировать выводы по АБ тесту на всю совокупность это репрезентативность. В нашем случае под совокупностью я имею всех тех кто сможет потенциально попасть под экспериментальное воздействие придя в наш продукт.

Когда мы запускаем АБ тест на одной структуре трафика, а потом резко меняем структуру трафика, отключая дополнительные источники трафика, после экспа, то мы сильно рискуем, что эффект после раскатки не сохранится или изменится.

Т.к. по сути мы тестировали изменение на одной аудитории, а работать это изменение будет на другой аудитории, где уже не будет определенного большого сегмента. Такой вот неочевидный момент, который важно держать в уме при планировании эксперимента.

Борзило

12 Nov, 13:28


Тут Максим задался вопросом, который может быть интересен многим.🧐

Давайте порассуждаем. Пишите ваши варианты в комменты)) ✏️

Борзило

12 Nov, 13:28


Подумалось тут, каким академичным методом установить какую гипотезу (и соответственно метрику и критерий) мощнее, выше и сильнее использовать когда подходят несколько. Пример типичный из екома с заменой какого-то ux в карточках товара.
1. Взять пропорцию что доля добавивших пользователей относительно тотал пользаков с карточки увеличится
2. Взять среднее количество добавленных в корзину товаров на пользователей
3. Взять конверсию кликнувших в корзину относительно смотревших карточки

Борзило

12 Nov, 06:39


Моя не любимая часть работы аналитиком😑

Я очень не люблю ковыряться и настраивать всякое окружение и библиотеки, т.к. не вижу в этом аналитической ценности.

Т.е. как инструмент они конечно же мне нужны, но вот все танцы с бубнами вокруг настройки ПО не доставляют удовольствия. Если бы мне это нравилось я бы наверное пошел в сис админы.

Еще веселее становится, когда это дело надо настроить на корп сервере где у тебя нет прав на инсталл того что тебе надо и ты должен идти в ТП и просить чтобы тебе завезли нужные пакеты, а потом оказывается, что какие-то из этих пакетов не совместимы и тебе нужны другие и тебе нужно снова идти в ТП.

Попутно идешь читать статьи про то как пофиксить проблему, а там предлагают изменить какой-то системный файл, на редактирование которого у тебя также нет прав😥

У меня все, просто пост аналитического бомбежа с утра🤬🤯😡

Делитесь в комментах вашими историями о том что бесит вас⤵️

Борзило

09 Nov, 10:10


Мерч, который удалось добыть на ММ, делитесь фотками своего улова😅

Борзило

08 Nov, 19:04


Про людей на ММ
Второй день много общаюсь с разными людьми на конференции. Почти каждый заряжен на какое-то дело: кто-то хочет расти в профессии, кто-то стартует свои курсы, кто-то просто хочет вести блог, кто-то хочет стать спикером на ММ, кто-то делает параллельные проекты не связанные с аналитикой.

Есть те кто уже уверенно идет к своим целям, а кто-то сомневается. По себе знаю, что для аналитиков свойственно сомневаться, т.к. на сомнениях, просчете сценариев и минимизации рисков строится профессия аналитика и часто хочется замереть и никуда не двигаться, т.к. кажется, что это самый оптимальный и безопасный сценарий.

Но такой сценарий никуда не ведет, поэтому хватит замирать и сомневаться. Анализ и перебор сценариев не имеет смысла, если он не переходит в реальные действия. Если есть идея которая вас зажигает - действуйте, я знаю что у вас получится 😉

Борзило

08 Nov, 06:41


Еду на второй день Матемаркетинга.

Давайте общаться, открыт к диалогам✌️

Борзило

07 Nov, 20:11


Хочу поделиться своими впечатления от выступления на Матемаркетинге🚀

В кулуарах конференции получил протеворечивые мнения о моём выступлении. Кто-то говорит, что выступление классное, помогло структурировать взгляд на ошибки в АБ тестах и получить новые инсайты, кто-то наоборот говорит, что я рассказал и так всем известные вещи.

Кто прав?
Я разделяю мнение обоих групп, все зависит от глаз смотрящего. Кто-то, кто никогда ни делал АБ тесты посчитает доклад классным и наполненным инсайтами. Кто-то кто уже в теме скажет, что в этом нет ничего нового.

Оба человека будут правы, при том что они слушали один и тот же доклад. И оба этих мнения я принимаю, т.к. я их и ожидал.

Моё мнение
Выше мы обсудили мнение тех кто видел доклад. Теперь я хочу высказать своё мнение. У меня не было цели поразить кого-то новыми идеями в области АБ тестов, а была цель показать реальность, которую вижу я.

Те кто в теме знают, что в принципе в направлении АБ тестов нет ничего особо нового и каждый год там не происходят какие-то революционные изменения. В основном все базируется на классической частотной статистике и специфике АБ тестирования + некоторые продвинутые техники.

Я доволен своим выступлением, оно не было идеальным с точки зрения подачи материала или ораторского мастерства, но я искренне рад, что мне удалось выступить на этом мероприятии и поставить еще одну галочку в списке дел, которое я действительно хотел совершить. Так что желаю и вам делать то что вы хотите делать и не делать то что не хотите, вот и все))

Борзило

07 Nov, 14:15


Доска поиска работы

Борзило

07 Nov, 13:54


Владельцы яхт АБ платформ обсуждают "Стоит ли делать платформу или лучше купить? "

Кого узнаете?

Борзило

07 Nov, 12:36


😍 Налутал крутой кубик на стенде ламоды

Борзило

07 Nov, 10:27


Немного фоточек с выступления на ММ

Борзило

07 Nov, 09:40


Полный список ошибок в АБ🚨

Ребята после выступления попросили поделиться полным списком ошибок возможных в АБ тестах.

Вот список

Борзило

07 Nov, 07:00


Я на Матемаркетинге, если что смело подходите потрындеть. Выступаю в 11.00 в секции по АБ тестам, расскажу "как запороть АБ тесты", т.е. поговорим про разные ошибки😊

Борзило

06 Nov, 13:15


🙀 Внезапно, в предзапись на второй марафон АБ тестов уже набралось 15 человек. Тут еще до старта первого потока 12 дней остается))

Борзило

05 Nov, 12:56


❤️❤️❤️❤️❤️

Внимание всем, кто ищет возможность расширить свои знания и завести полезные знакомства в области BI.

14 ноября в Москве пройдет бесплатная конференция лидеров российского BI, где можно встретить потенциальных партнеров и заказчиков, обсудить тренды и найти свежие проекты.

РУBIКОНФ — это возможность погрузиться в реалии российского BI, пообщаться с топовыми экспертами отрасли и стать важной частью активно развивающегося BI-комьюнити.

Сильнейшие участники рынка соберутся 14 ноября на одной площадке: AW BI, Alpha BI, VK Cloud, Loginom, Денвик, Arenadata, Glowbyte, IT-Albion — это только часть тех, кто представит свои стенды и доклады.

Конференция будет проходить офлайн в центре Москве, но для всех, кто не сможет присутствовать очно, будет возможность подключиться к онлайн-трансляции, поэтому регистрироваться точно нужно. 🔗Зарегистрироваться можно по ссылке.

А еще в программе наткнулся на «РУBIЛОВО: дискуссия спикеров на острые BI-темы!» Посмотрели бы на такое? Какие темы для обсуждения готовы вынести?

Реклама. Рекламодатель АО «ОСТ»
ИНН: 9709108924

Борзило

05 Nov, 06:39


Пригнал в Москву🚴 Сегодня и в среду планирую посещать офис, а в чт и пт участвовать в матемаркетинге.

Борзило

02 Nov, 16:11


В конкурсе на самую страшную аналитическую историю победила Татьяна( @Skitalica) и ее ужасная история про АБ тест🎃🎃🎃

Книга "Доверительное АБ тестирование" отправится к ней. Поздравляю 🎉🎉🎉

Борзило

02 Nov, 12:13


Кто идет на Матемаркетинг?

Дизайнер оформил мою презу. Спалю вам пару слайдов. Мне нравится то что получилось🔥

Я выступаю 7 ноября, первым в секции по АБ тестам, с темой "Как запороть АБ тесты?"

Кто будет на ММ?

Отмечайтесь в комменты, давайте пересечемся, пожмем лапки🤝

Борзило

01 Nov, 12:03


Конкурс страшных аналитических историй 😮

Тут же Hallowen был. Поэтому объявляю конкурс страшных аналитических историй.

Расскажи в комментах страшную "аналитическую историю", за самую залайканную историю я подарю победителю книгу "Доверительное АБ тестирование"

Подарок будет оформлен через функционал подарков ozon

Итоги буду подводить завтра 2 ноября в 19.00 по Мск. Тот на чьей истории будет больше лайков(эмоций и прочее), тот победил)

В комментах расскажу свою страшную аналитическую историю и скину фото книги-подарка

Борзило

01 Nov, 07:49


Кастомные воронки в яндекс метрике 🆕

В яндекс метрике появился новый типа отчета "Воронки". Опытные пользователи могут сказать: "Юра, но там же уже давно есть воронки на основе составных целей". А я отвечу что они нифига не удобные. Т.к. их нельзя применить к ранее собранным данным, а только к новым, которые собраны после создания цели.

Кроме этого все шаги должны быть пройдены в рамках одного визита, чтобы это нормально работало. А также нельзя в качестве шагов задать события отправленные через параметры визитов.

Новые воронки можно строить по ранее собранным данным, в качестве шагов можно брать просмотры страниц, события, цели. Теперь прохождение воронки не привязывается к одному визиту, а срок в течении которого учитываются шаги для пользователя можно задать самому.

Лично мне не хватило возможности более глубокой сегментации, а точнее возможности выбирать отдельные когорты, т.е. выбирать отдельно группу пользователей, которые впервые пришли на сайт за выбранный промежуток времени.

Борзило

01 Nov, 03:35


16 мест из 15 на марафон заняты😁 Спасибо всем кто присоединился, вы супер💪

Группа набралась за 3 дня, я думал, что будет дольше)

Даже уже есть люди в предзаписи на следующий поток. Для тех кто в предзаписи фиксируется текущая цена.

Борзило

31 Oct, 11:46


Бу испугался не бойся я друг я тебя не обижу иди сюда иди ко мне сядь рядом со мной посмотри на дашборд ты видишь статзначимый результат?Давай смотреть на дашборд до тех пор пока наши глаза не устанут и мы не увидим прокрас ты не хочешь почему что-то не так

Борзило

31 Oct, 06:01


Почему стоит пройти марафон по АБ тестам? 🏌️

Когда-то я сидел и думал вот надо разобраться в АБ тестах, а то на собесах только и разговоров что про эти АБ тесты.

Время шло, я периодически открывал книгу по статистике и закрывал, т.к. она большая и непонятная.

Дело сдвинулось с мертвой точки когда я столкнулся с реальной задачей, надо было провести АБ тест. Мозг перешел в боевой режим и начал выхватывать только важную и практичную информацию, нужную для решения задачи. В голове начали формироваться нейронные связи заточенные на решение нового типа задач.

Марафон АБ тестов не сделает из вас гуру АБ тестов и не закроет все вопросы... Но он точно даст первый буст и вы получите базовый алгоритм решения задачи "нам нужно провести АБ тест".

Больше половины мест уже заняты, 4 человек в процессе принятия решения, так что мест остаётся совсем мало.

1. Здесь анонс про марафон с установочной информацией
2. Подробная программа по дням
3. Артефакты, которые вы заберете после марафона

Сроки проведения 18-24 ноября. Цена 4900р.

Если вы ждали какого то знака чтобы начать изучение АБ тестов, то вот он)) Пишите @borzilo_y

Борзило

30 Oct, 15:23


Тут в соседнем канале "Детектив данных" проводят розыгрыш прикольных книг по аналитике.

Автор канала - Виталий, вкатился в аналитику после 30.

Я кстати тоже стал настоящим сварщиком аналитиком только в 30 лет.

Книга на картинке по середине классная. Ее написал один мой знакомый, Василий Сабиров, опытный Head of Analytics из игровой индустрии)) Стоит прочесть если метите в продуктовые аналитики)

Так что советую попытать счастье в розыгрыше

Борзило

30 Oct, 06:06


🏆 Какие артефакты вы заберете с собой после марафона АБ тестов?

Позавчера я анонсировал марафон АБ тестов
Вчера рассказал о подробной программе по дням

Сегодня хочу подсветить какие полезные вещи вы заберете с собой после марафона

1. Шаблон для формулирования гипотез и их оценки
Хорошая гипотеза это не просто предположение. Для того чтобы оценить гипотезу важно правильно сформулировать по 6 параметрам.

2. Шаблон для дизайна АБ теста
АБ тест это не просто "давайте запустим, а потом сравним" он требует тщательного планирования, подбора стат параметров, метрик, предварительных расчетов. Чтобы все это учитывать вы получите специальный шаблон.

3. Чек-лист для проверки валидности АБ теста и оценки результата
Когда АБ проведен наступает этап проверки. Нужно выяснить, а правильно ли прошел АБ тест, нет ли проблем в данных, после подсчитать метрики, стат критерий и провести интерпретацию. Чтобы не забыть что-то важное вы получите чек-лист.

4. Ссылки на калькуляторы для расчета выборки, подведения итогов, оценки SRM

Калькуляторы помогут посчитать выборки, оценить результат АБ теста и проверить дисбаланс.

5. Подборка полезных материалов по разным темам АБ тестирования для начинающих
У меня есть много разных материалов про АБ тестирование из ru и en интернета. Подготовлю полезную подборку, которая поможет глубже погрузиться в АБ тесты

Как принять участие? ⤵️
Сроки проведения 18-24 ноября, цена 4900р. Подробности в анонсе

7 мест из 15 в марафоне уже занято. Если тоже хочешь участвовать, то пиши @borzilo_y

Борзило

29 Oct, 07:58


Что будет на марафоне АБ тестов? 🏃
Вчера анонсировал, что 18 ноября стартует марафон АБ тестирования. Где мы с участниками будем решать кейс по проведению АБ теста в интернет магазине.

Марафон будет идти 7 дней. Каждый день будет небольшой кусочек теории, видео или статья, а также задание, которое каждый участник должен сделать.

Ниже подробная программа, что будет происходить в каждый из дней.

🔸 День 1
Теория: Поиск точки роста. Экономика изменения, воронки, пример расчета.
Практика: Посчитайте кейс, найдите возможные точки роста.

🔸День 2
Теория: Что такое хорошая и плохая гипотеза? Как приоритезировать гипотезы?
Практика: Сформулируйте 3 гипотезы по шаблону и приоритезируйте их.

🔸День 3
Теория: Что такое дизайн АБ теста, как его заполнить? Как пользоваться калькулятором выборки?
Практика: Заполните шаблон дизайна АБ теста. Подберите стат параметры для АБ теста.
Рассчитайте объем выборки и длительность теста.

🔸День 4
Теория: Трекинг для отслеживания АБ тестов. Что нужно отслеживать?
Практика: Подготовьте ТЗ на внедрение событий на сайт ИМ.

🔸День 5
Теория: Работа над ошибками. Какие ошибки могут испортить ваш АБ тест?
Практика: Проверяем валидность результата АБ теста. Решаем что делать с выявленными проблемами.

🔸День 6
Теория: Анализ результата АБ теста. Как пользоваться калькулятором для оценки результата АБ?
Практика: Посчитайте метрики и результат вашего АБ теста. Примите решение катим изменение или нет.

🔸День 7
Стрим. Юра еще раз проходится по всему процессу нашего АБ теста + ответы на ваши вопросы.

4 места из 15 уже заняты, если хотите запрыгнуть, то пишите мне @borzilo_y
Цена: 4900 р, сроки проведения 18 - 24 ноября. Анонс с подробностями тут

Борзило

29 Oct, 04:42


Лайфхак, берите альфу 1%. И тогда доля ложно положительных среди статзначимых результатов уменьшится.

900 * 0.01 = 9 ложно положительных

9+80 = 89 статзначимых АБ

9/89 = 0.1 доля ложно положительных от стат значимых

При альфе 1%, в нашем кейсе, доля ложно положительных результатов среди статзначимых АБ снизится с 36% до 10%.

Борзило

28 Oct, 17:37


30% стат значимых АБ ложноположительные, но у меня же альфа 5%?

Сегодня в чате подняли интересную тему. А вы задумывались какая доля ваших успешных АБ тестов действительно успешные, а не ложноположительные? Мы никогда не знаем какие АБ тесты на самом деле дали истинный результат, а какие ложный, т.к. у нас всегда есть вероятность ошибок 1 и 2 рода. Поэтому смоделируем ситуацию, что у нас есть всевидящее око и мы точно знаем сколько у нас реально успешных АБ, а сколько не имеют разницы.

Пусть мы провели 1000 экспериментов и 100 из них реально имею отличия. При мощности 80%, мы из 100 АБ тестов с эффектом задетектим 80 АБ как значимые, 100 х 0,8 = 80.

Еще у нас есть 900 АБ тестов в которых на самом деле нет эффекта и есть альфа 5%. Значит 900 * 0,05 = 45 АБ тестов дадут ложноположительный результат и мы их тоже задетектим как статзначимые.

Итого мы будем иметь 80 + 45 = 125 АБ тестов которые показывают значимые отличия. Т.е. 12,5% стат значимых результатов АБ тестов. А теперь следите за руками. 45 ложноположительных АБ делим на 125 стат значимых АБ тестов 45/125 = 0,36. Получаем, что из 125 стат значимых результатов АБ тестов 36% ложноположительные.

Обратите внимание, что когда мы говорим, что альфа 5% контролирует долю ложноположительных результатов АБ тестов, то это доля от числа АБ тестов в которых истинно нет разницы, а не 5% от числа АБ тестов, которые показали стат значимые отличия.

Борзило

28 Oct, 09:21


АБ марафон👨‍💻

Придумал движняк, для тех кто никогда не делал АБ тесты или делал, но мало и хочет потренироваться.

Хочу провести марафон, на котором мы пройдемся по пайплайну АБ теста. Каждый день я буду выкладывать небольшой урок и задание, а участники будут выполнять.

Кейс, который будет обыгрываться - вы пришли на стажировку в роли продуктового аналитика и у вас есть наставник в роли меня, с которым вы должны найти точку роста, спланировать АБ и подвести его итоги.

План заданий
1. Ищем точки роста, анализируем данные.
2. Формируем гипотезы и приоритезируем их
3. Делаем дизайн АБ теста
4. Работа над ошибками
5. Анализируем результат

Формат
Разбираем один кейс по шагам от поиска точек роста до финального решения по АБ тесту. Формат ориентирован на практику, попробовать сделать самому руками. Рассказывать про ЦПТ, работу стат критериев под капотом и прочие прелести статистики не буду.

В марафоне будем работать с метрикой конверсия, т.к. она самая простая для старта, но при этом и самая практичная, т.к. во множестве случаев АБ тесты делаются на конверсию.

Для участия будет создан закрытый телеграм канал, где каждый день в течении недели будет выкладываться урок и задание, в комментарии вы должны будете скидывать свои решения, а я буду давать обратную связь по ним.

Для кого?
Для тех у кого нет практического опыта в АБ тестах, но хочется попробовать порешать подробный кейс по АБ тесту. Продакты, маркетологи, начинающие аналитики.

Нужны ли знания SQL, python и прочего?
Нет, будем использовать google sheets и всякие онлайн калькуляторы. Я хочу чтобы любой кто хочет "потрогать" АБ тесты смог это сделать, поэтому берем простые решения и простые кейсы.

Что по итогу?
Будете знать как спланировать и проанализировать простой эксперимент на конверсию.

Условия
Сроки проведения: 18-24 ноября
Количество мест: 15
Цена: 4900 р

Подробности
1. Программа
2. Артефакты, которые вы заберете

Если интересно, то для оплаты пиши в личку @borzilo_y или ставь + в комменты и я напишу сам

Борзило

25 Oct, 06:02


Кейс - задизайнь АБ тест для ипотечного калькулятора
Придумал вам новый кейс.

Допустим у нас есть отдельная страница-калькулятор подбора ипотеки и в ходе юзабилити тестов выяснили, что он не удобен пользователям, а значит и на бизнес показатели влияет плохо. Сделали новый калькулятор, вас попросили задизайнить АБ тест. Ответьте на вопросы ниже и дайте аргументацию.

1. Что возьмете в качестве единицы сплитования и почему? (пользователь/сессия/просмотр страницы)
2. Какие сегменты будете выделять под отдельные АБ тесты и надо ли?
3. Что возьмете в качестве целевых метрик? Как эти метрики должны считаться?
4. Нужны ли защитные метрики и если нужны, то какие?
5. Что важно учесть, т.к. мы работаем с ипотекой?
6. Если в результате АБ тесты не будет значимых отличий будете катить новую версию?

Ставь
🔥 - если кейс понравился
🎃 - если кейс не понравился

Пишите ваши решения в комменты⤵️

Борзило

24 Oct, 16:52


Порешаем кейсы
Вы обнаружили, что в АБ тесте при делении пользователей на группы возник дисбаланс ,aka SRM.

Чем может быть вызван дисбаланс? Напишите ваши варианты. Чем больше, тем лучше.

Только чур не гуглить и ГПТ не спрашивать😏

Борзило

24 Oct, 10:59


#хиханьки

Борзило

23 Oct, 15:57


Как сойти за своего если ты попал в компанию АБ тестеров?

1. Говори всем, что Манн Уитни не проверяет гипотезу о равенстве средних.

2. Жалуйся на менеджеров, что они "подглядывают" за твоими драгоценными АБ тестами.

3. Закатывай глаза и вздыхай, когда тебя просят проанализировать АБ тест для которого не делали дизайн.

4. Говори что эту неведомую херню можно посчитать бутстрапом

5. Всегда поправляй собеседника, если он говорит, что АБ тест это точный метод. Напомни ему про ошибки первого и второго рода.


P.S. Пишите ваши варианты в комменты😁

Борзило

23 Oct, 11:29


Как вкачать статистику и АБ тесты?
В канале много тех кто грызет эти темы. Давайте включим наше коллективное сознательное и поделимся советами, статьями, рекомендациями книг, курсов.

Отдельно было бы интересно послушать, а как именно учить статистику, чтобы было понятно и практически полезно? Какие ошибки и грабли вы набили пока учили?

Борзило

22 Oct, 15:52


Вырвался на концерт. Уже забыл когда был на концертах😎

Борзило

22 Oct, 04:47


Чем плох анализ эффекта до/после релиза фичи?

Продолжаю делиться серией постов для самых "маленьких", которые мы выпускаем в банке. Предыдущий пост

Анализ разницы показателей до и после может быть ошибочным, так как на результаты могут влиять другие события, а не само нововведение.

А вот А/Б-тесты решают эту проблему. Подробнее в карточках

Борзило

21 Oct, 06:47


Давайте поговорим про здоровье ⚖️
Последние 2 недели я был в отпуске и заметил такую тенденцию. Что когда у меня появляется свободное время, то я начинаю заботиться о своем здоровье.

За последнюю неделю, я наладил питание - перестал кушать всякое не нужное, начал пить много воды, вовремя ложиться спать, делать зарядку по утрам.

Это все дало свои плоды, ушел отек, улучшилось настроение, снизилась раздражительность.

В прошлом году, когда я длительно отдыхал, сценарий был такой же. Я пролечил свои болячки, скинул 10 кг, регулярно тренировался, чувствовал себя отлично, но результат удержать не смог😁

Почему то когда начинаю работать, то постепенно фокус со здоровья теряется и максимальная концентрация переходит на рабочие процессы.

Постоянно возникает какой-то перманентный стресс из-за разных мыслей, типа: "А все ли я правильно сделал? А достаточно ли я хорошо сегодня поработал?"🧐

И вот я уже забыл про свое здоровье, хочется съесть что-то вкусное, режим сна уехал. Удается ли вам длительно держать фокус на своем здоровье и как вы это делаете?

Борзило

19 Oct, 10:06


Что делать если менеджер говорит, что упала конверсия в интернет магазине?

Ребята в комментариях хорошо поработали, предложили много вариантов. Собрал комменты, приправил своими пояснениями и выдаю вам саммари.

1. Синхронизируйтесь с менеджером

Узнайте где именно он увидел падение конверсии. В какой системе GA, ЯМ, BI, админка сайта? Узнайте что именно он считает в качестве конверсии, её можно посчитать множеством способов.

Узнайте за какой именно период падение и с чем он сравнивает? По какой модели атрибуции? Может он сравнивает прошлый год или прошлый месяц или смотрит динамику по дням за последнюю неделю.

Без четкого понимания что и где смотрит менеджер вы можете потратить кучу времени на бесполезный анализ.

2. Установите, а действительно ли есть падение?
Допустим вы выяснили, что где и как смотрит менеджер. Теперь надо понять, а действительно ли есть отрицательный рост падение конверсии.

Для этого первым делом можно посмотреть на глаз динамику метрики по дням(неделям), а также сравнить период прошлого года и текущий. Тут надо понять, а может нет никакого падения возможно это просто сезонные колебания или просто шум метрики и это норма.

Если из визуальной оценки графика нельзя сделать четкий вывод о падении метрики, то можно например применить правило 3 сигм и попытаться оценить насколько наше значение отклоняется от среднего в периоде. Допустим вы установили что есть падение метрики.

3. Узнайте у менеджера какие изменения недавно происходили в интернет магазине
Например: редизайн карточки товара, изменение ассортимента или цен, перенастройка рекламных кампаний, какой-то АБ тест. Обычно если падение связано с каким-то изменением в бизнесе, то на графике мы увидим резкое падение метрики в день когда произошло изменение.

4. Проверьте настройки трекинга и сделайте кроссчек
Возможно в интернет магазине сломали трекинг. Проверьте что трекинг веб-аналитики отрабатывает на сайте и что данные веб-аналитики бьются с данными бэка.

5. Посмотрите динамику конверсии в разрезе основных каналов трафика
Если падение идет сразу по всем каналам трафика, то скорее всего проблема не в каналах трафика. Если же просел например только один основной канал трафика, то стоит отдельно просегментировать его.

Одна из частых причин падение конверсии в платных каналах - изменение структуры трафика, обычно трафик не падает в целом по каналу, а падает по отдельным высококнверсионным срезам, например за счет того что конкуренты подняли ставки.

6. Оцените динамику конверсии по основным срезам
Новые/старые пользователи(клиенты), типы устройств, гео, браузеры. Попробуйте найти сегменты, которые дают сильное падение конверсии в динамике.

7. Посмотрите на воронку и прокси метрики
Основная воронка у ИМ обычно выглядит так. Просмотр каталога → карточка товара → добавление в корзину → страница заказ → страница оплаты → успешный платеж.

Постройте воронку и сравните цифры конверсии по этапам воронки с предыдущим периодом. Ищите этапы на которых конверсия сильно просела. Дополнительно можно наложить на воронку значимые сегменты из предыдущего пункта.

8. Проведите исследование
Если вам удалось локализовать проблемный сегмент, то посмотрите записи вебвизора по пользователям проблемного сегмента, чтобы понять где у них возникает проблема. Если проблема в каком-то браузере, то установите эту версию браузера и сами протестируйте весь флоу покупки, чтобы найти проблему.

9. Проверьте изменение цен у конкурентов
Выберите товары, которые лучше всего продавались у вас в ИМ и сравните цены на них с конкурентами. Возможно конкуренты опустили цены на них или сделали какую-то привлекательную акцию.

Борзило

17 Oct, 15:52


Коллега прислал шутеечку

Борзило

16 Oct, 11:35


Начали внутри банка выпускать серию постов про АБ тесты для самых "маленьких".

Текст упаковали в красивые карточки❤️

Сказали, что можно поделиться с внешним миром. Вот делюсь с вами🦸‍♂

В этих карточках описано "что такое АБ тест?"

Борзило

15 Oct, 22:05


В общем вот. Йорш - Underground.

Мне прям очень нравится. Хотя я никогда панком не был, но друзей рокеров много.

Верните мой 2007(поймут те кто поймут). Режим скуф активирован😁

YouTube
Вк

Борзило

15 Oct, 10:26


🤍 Оффер в дата-аналитику за выходные? Легко — для опытных специалистов на Data Weekend Offer от Авито!

Вас ждет:
— зарплата от 250 до 420 тыс. рублей на руки, удаленка и дополнительные дни отпуска;
— интересные задачи на большом масштабе для прокачки вашего стека – проверяйте бизнес-модели, тестируйте гипотезы и улучшайте пользовательский опыт;
— участие в разработке новых продуктов — предлагаем для этого мощное железо и выделяем бюджет на обучающие курсы или профессиональную литературу;
— сильное IT-комьюнити, которое любит опенсорс.

🚀Авито – это про карьерное развитие и комфортные условия. Успейте зарегистрироваться до 15 октября включительно: https://u.to/XKL0IA

Борзило

15 Oct, 08:01


#хиханьки

Борзило

15 Oct, 06:28


Шеф - все пропало! 🆘

Продолжим тему с кейсами. Допустим вы аналитик интернет магазина. К вам приходит менеджер в панике и говорит, что число заказов падает. У меня такое реально часто было когда я работал в агентстве, которое вело рекламу для ИМ 😜

1. Что вы как аналитик будете делать?
2. Как построите коммуникацию?
3. Что и как будете проверять и анализировать?

Борзило

14 Oct, 15:48


Зарплата 200к для аналитика с опытом 3 года - это ок?🧐

Хотите знать в рынке ли ваша зарплата или вы на обочине?

New HR проводят новое исследование рынка аналитиков:

➤ Дата-аналитиков
➤ Продуктовых аналитиков
➤ BI-аналитиков
➤ Маркетинговых аналитиков
➤ Веб-аналитиков

Давайте поможем им собрать информацию. Вот исследование за 2023 год

В нем показаны грейды и зарплаты, критерии выбора работодателей, ожидания кандидатов и многое другое.

Сейчас идёт сбор данных для нового исследования, чтобы понять, что поменялось на рынке аналитиков за 2024 год.

➡️ Заполните опрос

Результаты исследования будут в начале 2025 года, но промежуточными итогами обещали поделиться раньше.

Борзило

14 Oct, 05:41


Напомню, что у нас новая рубрика 'кейсы'.

Можно прислать кейс с собеса или из вашей практики связанный с продуктом или АБ тестом. Чтобы остальные могли его разобрать.

Прислать можно мне в личку @borzilo_y или в чат https://t.me/bor_chat

#кейсы

Борзило

14 Oct, 05:41


Закину ещё кейс с собеса. "Вы аналитик в сети быстрого питания. Один из поставщиков предлагает колу, которая дешевле, но с его слов не отличаются ничем от колы, которая продается в вашей сети сейчас. Как провести эксперимент, чтобы проверить, что отличий нет?"