Аналитика данных / Data Study

Ярко начали этот год и в наших руках продолжить его также 😉

В этом году вас ждёт много полезного и интересного контента, давайте развиваться вместе 🔝

LTV, CAC и другие ключевые метрики продукта

В аналитике клиентов важно понимать какую прибыль компания получает с клиента и и что тратит на его привлечение и удержание. Исходя из этого и складывается экономика компаний. Одна из статей, которая рассказывает про ключевые метрики для расчета клиентской ценности.

Читать статью

Это поможет вам в 2025 начать карьеру в аналитике или решить, куда вам развиваться дальше📊

Команда Simulative подготовила адвент-календарь для аналитиков, который поможет заручиться вдохновением, поддержкой и знаниями для того, чтобы мощно ворваться в 2025 год🔥

Внутри вас ждут материалы по аналитике, машинному обучению и дата-инженерии:
🟠 чек-листы и тесты
🟠 записи прямых эфиров и подкасты с вдохновляющими историями
🟠 разборы тестовых заданий в крупные компании

Регистрируйтесь и ежедневно получайте порцию бесплатного качественного контента.

Если вы подписались на календарь не с самого начала января, не переживайте — вам всё равно откроются все материалы.

Перейти в адвент-календарь

Похож?

Питер заметает ❄️❄️❄️

😉 Дорогие друзья, коллеги, поздравляю вас с наступающим Новым Годом!

Желаю вам в будущем году крепкого здоровья, любви, творческих и профессиональных успехов, достижения новых вершин и огромного человеческого счастья. Пусть будет множество маленьких и больших счастливых и позитивных моментов в вашей жизни. А если будут огорчения, то пусть они будут лишь частью опыта на жизненном пути, которые не останавливают вас 🎄

С Новым Годом!!! 🎆

Как я про*бал не достиг годовые цели

В начале года в канале зафиксировал часть своих целей в посте, чтобы свериться с ними через год. Подведу итоги.

1️⃣ Здоровье
Это была цель первого приоритета. В конце февраля пошел в зал и ходил до начала ноября с перерывами на поездки. По цифрам:
- в сумме 6 месяцев регулярных занятий с тренером и без
- скинул 10кг
- набрал 3 кг мышечной массы взамен (по результатам исследования - кстати делал его в одном из МФЦ бесплатно)
По самочувствию скажу что год был похож на график функции y = -0,5*x^2, когда к лету был пик по заряду энергии, а вот к зиме как бы ни старался все равно чувствуется усталость и упадок сил.

2️⃣ Обучающие материалы и курсы
Здесь случилось самое большое расхождение план-факт.
🔵 Материалы Analytics Engineer - готовность 50% (есть детальный план уроков, конспекты, часть презентаций, практики с домашними заданиями). большая работа еще предстоит по предзаписи видеоматериалов, вычитывания материалов и их оформление в удобный для обучения формат.
🔵 Материалы для онлайн-платформ курсов - готовность 10% (слишком поздно сел за это направление, есть структура и пара вводных уроков)

3️⃣ 10к подписчиков в канале
Как можете видеть желаемой цифры пока не случилось. В телеге довольно сложно прокачивать канал без вложений в рекламный бюджет, но брать только рекламу и расти за счет этого мне не хочется. Есть альтернатива - делать контент для других площадок и привлекать внимание к каналу, этим и хочу заняться в будущем.

Это лишь малая часть того, что я фиксировал для себя в этом году. Я придерживаюсь правила завышения цели, о котором писал здесь, так повышается шанс добежать дальше в погоне за амбициозными результатами.

Подводя итоги, хочу сказать что этот год был как "выдох" после прошедших пары лет усердной работы 24/7 по всем направлениям. Фокус стал на работу в Сравни (наша команда и проектные задачи расширялись 😃) и на выделение личного времени по вечерам на свои интересы, саморазвитие и релакс. Всем желаю хорошо отдохнуть чтобы в новый год ворваться с новыми силами для достижения новых вершин 💪

Пока перебирал папки и файлы на ноутбуке для удаления всего лишнего, наткнулся на такую схему, которую рисовал на одной из консультаций для ученика.

Хотел изобразить что и в какой области стоит изучать, чтобы иметь представление как работать с DWH и ETL.

Кажется такой вид информации упрощает пониманием, 🔥 если считаете также

Встречайте новую версию Modus BI🎉

24 декабря стало доступно обновление Modus BI 3.7.

В новой версии платформы мы расширили возможности дизайна отчётов, добавили новые функции для форматирования таблиц и оптимизировали работу форм ввода данных.

❓Что именно изменилось?

➡️Визуализации

1. Режим наложения: теперь можно накладывать элементы отчёта друг на друга.

2. Режим группировки: "собранные" визуализации можно сгруппировать, чтобы перемещать целиком.

3. Режим без отступов: при вёрстке отчёта визуальные блоки можно максимально близко «прижать» друг к другу без наложения.

➡️Таблицы

1. Появилась возможность форматировать текст внутри ячеек при помощи HTML-разметки.

2. Добавлено условное форматирование для спарклайнов.

3. Реализована функция объединения ячеек с одинаковыми значениями внутри столбца.

И не только;)

Также мы прокачали функционал системы с т.з. информационной безопасности, поработали с быстродействием работы портала и визуальными компонентами.

Полное описание релиза Modus 3.7 читайте на нашем сайте.

Увидел ультра полезную статью про создание динамических таблиц в Apache Superset

Честно, до этого момента во многих проектах где сталкивался с Superset этого дико не хватало и такой функционал оставался только влажной фантазией 💦. Обходились созданием таблиц или других чартов по всем интересующим измерениям.
Оказывается если вооружиться датасетом на динамическом запросе, то фантазия становится реальностью 🔥

Статья

Предлагаем немного отвлечься от предновогодней суеты, отключиться от рабочей рутины и понастальгировать!

Играйте в СберЗмейку – пройдите уровни и соберите звездочки⭐️, чтобы украсить новогоднюю ёлку 🎄

Правила такие же, как и в знакомой всем игре 😉

Начинаем!💫💫💫

Еще не рассказывал вам здесь что являюсь контрибьютером в проекте Димы по созданию и наполнению полезной информацией сайта dataengineer.ru

Цель - собрать по разным направлениям максимально полезные ресурсы для изучения в виде статей, книг, видео, курсов и т.д. и объединить их в общих дорожных картах по направлениям аналитики, инженерии, BI.
Со свой стороны уже заполнил раздел про Хранилища данных и Моделирование данных, также ресурсы по Python, про Поиск работы и Отечественные облака

В целом уже многие другие разделы заполнены. Изучайте, уверен найдете много полезного и интересного 😉

Аналитики в Авито: от продуктового до клиентского.

Подробнее о том, чем отличаются BI-разработчики, биздевы, маркетинговые, продуктовые и клиентские аналитики, а также как они находят инсайты и создают инструменты для роста - читайте в новой статье от команды аналитиков в Авито.

Реклама. ООО «Авито Тех».

Дэн Роэм / Визуальное мышление

"Визуализация — это простой и остроумный способ объяснить трудные проблемы и решить запутанные вопросы. Прочитав эту книгу, вы поймете, что один рисунок подчас стоит тысячи слов. Автор книги демонстрирует, как можно ясно представить идею путем ее визуализации и убедительно донести суть до других людей, зрительно разделив ее на отдельные компоненты и применив инструменты визуального мышления. Используя простые графические образы при обдумывании ситуации, вы научитесь находить и развивать новые идеи, решать проблемы неожиданным оригинальным способом."

Скачать книгу

Почему стоит начать карьеру в ML и DS?

Посмотрел подкаст на канале Виктора Кантора MLinside – в гостях Алексей Толстиков, руководитель Школы анализа данных Яндекса (ШАД). Выпуск для тех, кто хочет стать востребованным специалистом в области Machine Learning и Data Science.

Что вы узнаете:

- Какие навыки необходимы ML- и DS-специалистам и что делает их востребованными.
- Как участие в ML-соревнованиях ускоряет карьерный рост.
- Можно ли освоить Data Science самостоятельно.
- Как подготовиться к поступлению в ШАД.

В общем, если хотите развиваться в индустрии, этот выпуск точно стоит вашего внимания.

Видео

А быстрей можно выучить SQL?)

Что такое постановка цели по SMART

SMART - одна из техник поставки целей в бизнес-анализе и менеджменте.
Правильно софрмулированные цели помогают эффективнее достичь результата. И что самое главное - позволяют измерить его

Статьи на эту тему:
🔗 Один
🔗 Два
🔗 Три

Ждёте подарков на Новый Год? 😄

Как Open Source меняет мир

Вчера побывал на классном мероприятии Ночь open source библиотек, которое организовал Яндекс. Фишкой организации на мой взгляд стало место - все проходило в настоящей библиотеке 📚

Было множество активностей, в которых все принимали активное участие и зарабатывали очки, чтобы была возможность обменять их на понравившуюся книгу 🎁

Рабочие зоны open source проектов
Здесь можно было познакомиться с новой технологией и сделать pull request в продукт с мейнтейнерами проекта, либо оставить обратную связь для них что нравится и что еще можно развивать для конечных пользователей.
В проектах большая часть задач конечно для разработчиков, но мне как аналитику было очень интересно послушать про 3 продукта:
1️⃣ Datalens
строили дашборд с нуля, разворачивая Datalens у себя локально через docker буквально за пару минут
2️⃣ YDB
распределенная база данных, которая совмещает внутри себя функционал сразу OLTP и OLAP систем
3️⃣ Diplodoc
Честно для меня проект стал открытием на этом вечере 🔥. Это решение для создания документации формата Docs as code и еще больше я удивился когда узнал, что вся документация сервисов Яндекс Облака написана с помощью Diplodoc. Меня это лично сильно заинтересовало и захотелось найти ему применение в своих задачах. Прочитал сразу статью, где более подробно расписано про сам продукт

Квесты
Мне лично зашел квест с перфокартами, где нужно было решать задачи и по ответам на эти задачи искать полку, книги, ее номер на полке, номер страницы и по приложенной перфокарте на странице узнавать зашифрованные фразы (напомню, что все это происходило в настоящей библиотеке, где сразу же чувствуешь себя немного Шерлоком). Еще можно было посоревноваться в скорости печати на настоящих печатных машинках

Silent party и экскурсии
Ближе к концу мероприятия можно было испытать опыт "тихой" тусовки, где каждый танцует в наушниках 🕺 Ну и вишенка вечера - закрытые экскурсии в книгохранилище библиотеки, куда обычному посетителю нет возможности попасть

Давайте в следующий раз соберем здесь тусовку единомышленников и вместе сходим на такое мероприятие! Что скажете? 🔥

CDC (change data capture) — это процесс отслеживания изменений в базе данных и поставка этих изменений к потребителям в режиме почти реального времени.

Одним из самых широко применимых CDC решений является Debezium. Таким образом берешь Apache Kafka + поддерживаемый в ней Debezium Connector и получается стриминг решение с учетом всех изменений данных в базе.

Зачем это нужно ❓

Чтобы было понятно на примере зачем нужен CDC. В таблице над строками реализуются операции
- вставки (insert)
- обновления (update)
- удаления (delete)

С помощью CDC можно не просто забирать актуальные данные записанную в строку в данный момент, но отслеживать всю историю изменения данных в строке с учетом всех операций вставки, обновлений и удалений в реальном времени.


Полезные ссылки 😉
🔗 What is CDC
🔗 CDC в Yandex Data Transfer
🔗 Знакомство с Debezium CDC для Apache Kafka

В недавней статье от Modus мы рассмотрели возможные варианты интеграции 1С и корпоративного хранилища данных.

Но каждый способ, конечно, заслуживает отдельного внимания.

Мы решили пойти по порядку и в нашей свежей статье более подробно рассмотрели интеграцию 1С и КХД через стандартный REST‐интерфейс Odata.

➡️Что нужно сделать, чтобы начать работу с протоколом OData?
➡️Какие глаголы нужно использовать при обращении к серверу и для каких задач?
➡️Какие риски несёт в себе этот способ интеграции?

Пошаговый сценарий интеграции 1С и КХД через стандартный REST‐интерфейс Odata читайте в нашем туториале на Habr!

P.S. Подписывайтесь на тг-канал Modus и узнавайте об интересных статьях первыми!

👨‍💻 Управление ресурсами внутри команды

Интересная статья про управление ресурсами с учетом soft навыков каждого сотрудника

А вы с кем себя ассоциируете из статьи?) Чак Норрис, Шерлок Холмс, Ван Дам или Пятачок? 😃

🧐 Какие методы и приемы помогают вам эффективно восстанавливать силы и энергию для продуктивной работы?

#datalk

Кто-нибудь пользуется (пользовался/собирается) столом с регулировкой высоты? Накидайте мысли насколько это удобно или как обычно - есть функционал, но поигрались пару раз и забыли?

Считаю что вебинар прошел успешно, видел 165 людей на старте презентации и 164 человека в момент скрина через час 👍

Сегодня в 19:00 буду проводить вебинар на тему "Как готовить данные для анализа с помощью ETL"

Регистрируйтесь для участия по ссылке https://clck.ru/3F29E3

Сегодня на конференции слушаем про клиентоцентричный подход и как спикеры из банков меряются *** (прибылью) между собой)
Сформулирую основные тезисы после конфы

На днях открыл для себя сервис buildin.ai, который является аналогом (с первого взгляда даже кажется копией) полюбившегося мне Notion.

Можно использовать как базу знаний, онлайн-редактор для статей и постов, или просто как личный digital-ежедневник с заметками, задачами, чек-листами, календарем и другими полезными функциями.
Вот только приложеньки еще для iphone нет, ждем 👍

Собирал сегодня презентацию для ближайшего выступления и вставил туда такую картинку. Как считаете, на какую тему презентация будет? 😄

🧐 Какие топ 3-5 критериев при выборе места работы, если представить что у вас на руках есть несколько офферов на выбор?

#datalk

Как аналитики создают крутые решения?

🔥Узнайте об этом на онлайн-митапе от Авито!

5 декабря в 18:00 спикеры из Авито и Т-Банка расскажут про:

➡️ особенности внедрения RFM-сегментации клиентов
➡️ эффективное управление при запуске Discovery-процессов
➡️ использование ML Autotasking для автоматизации задач

Подробности и регистрация ➡️ по ссылке.

Это просто стажировка, потом нормально будет 😄

Некоторые люди считают, что если ты ведешь канал и делишься полезными материалами и знаниями бесплатно в массы, то ты каждому еще и индивидуально должен уделять свое время, помогать и делать все это на безвозмездной основе

Вам никто ничего не должен и не обязан делать бесплатно. Наш мир полностью построен на обмене ценностями. Если требуете ценность от кого-то, будьте готовы также дать ценность человеку. Это не только речь про покупку чего-то за деньги. Могут быть разные форматы
Знания ↔️ знания
Знания ↔️ время
Время ↔️ время
и различные другие комбинации

Я всегда готов ответить на вопросы письменно, для этого могу выделить время в течение дня. На бесплатные созвоны даже на 5 минут идти не готов, если вы ничего не предлагаете взамен, на практике 5-минутами созвон не ограничивается. А если каждому так буду соглашаться на созвон, то в сумме за месяц будут тратить ~5-10 часов. Я найду куда потратить эти часы более эффективно для себя)

Будьте адекватными в своих запросах и цените время и ценность других людей

🧐 Как часто вами используются знания математики университетской программы для работы с данными? В каких областях работы с данными используете, а в каких вообще не сталкиваетесь?

#datalk

Вижу по реакциям что вам больше интересны мемы, фотки и жизненные истории чем аналитические материалы 😅 ну тогда ловите фотки с недавней поездки) классно отдохнули, жарили шашлык, катались, спасали кошку.

P.S. С кошкой кстати все хорошо, держали связь с ее хозяевами еще дня 4 пока были там. Ходит, кушает, пьет, через пару недель повезут в больницу проверять ее челюсть повторно

Вебинар «Анализируем транзакции в реальном времени» 

Приходите на бесплатный вебинар и узнайте, как обрабатывать высокие транзакционные и аналитические нагрузки в гибридной in-memory СУБД. 

Дата и время: 28 ноября, 16:00.

Программа

🔹 Ускорение аналитических расчетов и аналитика на самых свежих данных с помощью HTAP-систем.

🔹 Основные архитектурные характеристики гибридных транзакционно-аналитических СУБД (HTAP). 

🔹 Повышение отказоустойчивости транзакционно-аналитических решений, настройка под разные профили нагрузки и интеграция с другими компонентами ИТ-ландшафта. 

Проведем демонстрацию возможностей продукта Tarantool Column Store в работе с объектами и данными.

Расскажем, как формировать отчетность в реальном времени и рассчитывать агрегаты в антифрод-системах с помощью продукта Tarantool Column Store.  

Вебинар будет полезен архитекторам, дата-инженерам, DevOps-инженерам и разработчикам аналитических систем. 
  
Регистрируйтесь, и вам придет ссылка на трансляцию в день мероприятия.

А вы на сколько процентов выкладываетесь?)

🧐 Реально ли и как выстроить work-life баланс если есть большие амбиции в карьере?

#datalk

CLTV (customer lifetime value) — метрика, используемая для оценки прибыли, которую компания может получить от своего клиента за время его пользования продуктами и сервисами компании.

Для компаний с точки зрения клиентской аналитики метрика CLTV (или в другой аббревиатуре LTV) является одной из самых важных и в одно время сложных для расчета. Есть множество подходов к расчету этой метрики с учетом доходов от клиентов и расходов на их привлечение и удержание, а также учет времени жизни (активности) клиента внутри продуктов компании.

На Матемакретинге общался с девушкой из Билайна и она подсказала, что у них есть серия статей на тему расчета CLTV, спасибо ей большое 😉

🔗 Что такое CLTV и как в Билайне мы с ним работаем
🔗 Использование ML для прогнозирования CLTV
🔗 Коэффициент для экстраполяции прогнозов компонент CLTV на 5 лет

Роб Фитцпатрик / Спроси маму

"Обычно у мамы не выясняют, хороша ли та или иная бизнес-идея, потому что она любит вас и не хочет ранить правдой. Да, это так, но не совсем. Вы не должны спрашивать, является ли ваша идея хорошей. Это плохой вопрос, потому что не только мама, но и все остальные на него будут лгать, хотя бы чуть-чуть. И в самом деле, это же не их обязанность, говорить всегда правду. Выяснять истину и делать всё правильно — это только ваша ответственность и задача"

Скачать книгу

💪 Уже есть опыт работы с хранилищами данных, но хочешь прокачать скилы и открыть новые карьерные горизонты?

Тогда скорее залетай на бесплатный ИТ-интенсив в Открытых школах Т1 для аналитиков платформы данных (DWH) — регистрация до 19 ноября!

Открытые школы — это возможность усилить свои навыки и получить оффер от одного из лидеров* российского ИТ-рынка — Холдинга Т1. И все это за месяц, онлайн и в удобное вечернее время.

Что ты получишь?

🔹Уникальный рыночный опыт и масштабные ИТ-проекты: мы одни из первых, кто внедряет технологии для управления данными. Выпускники школ смогут присоединиться к проекту по созданию новой технологической платформы данных в банковской сфере.
🔹Быстрый рост в ИТ при поддержке экспертов и топовых преподавателей. Карьерные треки для выпускников Открытых школ позволяют быстро расти в профессии в Т1.
🔹Работа в бигтех-компании: ИТ-аккредитация, современный техстек, ДМС, удаленка, крутые офисы, спорт, обучение, митапы, ИТ-конференции, программы признания и развития, а также многое другое от Т1.

Более 900 специалистов уже прошли этот путь — теперь твоя очередь! Читай подробности в карточках ☝️ Старт обучения уже 21 ноября! Ссылка для подачи заявки.

Реклама. ООО «Т1» ИНН: 7720484492. Erid: 2SDnjc3AdxP

🧐 Какой на ваш взгляд самый важный навык аналитика?

#datalk

Джин Желязны / Говори на языке диаграмм

"Как наилучшим образом представить ваши идеи с помощью диаграмм? Как
привлечь и удержать внимание аудитории? На страницах этой книги вы найдете все необходимое для этого: практические рекомендации по выбору типа диаграммы (круговая, линейчатая, точечная и т.д.), правила подготовки и использования каждого из них, а также мастер-класс по исправлению неудачных диаграмм."

Скачать книгу

Необычное начало дня

Сегодня рабочий день пришлось начать с необычного сообщения в рабочий чатик.
Вчера гуляли вечером и на дороге увидели лежащую без движения кошку. В такие моменты сразу же накрывает грусть и обида за то, что множество животных погибают на дороге.

Но что-то в этот раз внутри подсказало, что нужно подойти поближе. Когда подошли увидели что кошка живая, тяжело дышит и даже подняла на нас голову. Не буду вдаваться в подробности о ее состоянии в тот момент, но мы боялись что у нее могут быть внутренние травмы, которые попросту не видим.

Сначала оттащили ее на обочину под куст и решили вернуться на машине, чтобы забрать домой.

Когда ехали за ней боялись что приедем уже напрасно…

Забрали домой, по пути проверили работают ли какие-нибудь ветклиники (увы, в 11 вечера ничего не работало) укололи обезболивающее и оставили до утра, зная что повезем утром в клинику на обследование.

Приехав в клинику после осмотра врача мы очень обрадовались, что кошка сама встает, шевелится, чувствует себя намного лучше чем вчера. Оказалось что у нее сломана челюсть и после сильного удара конечно был шок и возможно сотрясение, поэтому она лежала без движения.

Сделали операцию на челюсть, прокапали капельницы, привезли ее домой. Бабушка жены потом позвонила знакомым возле дома где нашли кошку, оказалось что они как раз ее хозяева. Отвезли кошку к ним 🙏
Сказали им, что завтра нужно опять показать кошку в клинике и провести физиотерапию.

Будьте добры и любите животных, они очень беззащитны. Если мы не поможем, то никто не поможет

Знакомые из X5 попросили найти классных аналитиков, уверен у нас такие есть в канале 😉

🤖 Data Analyst в Х5 Tech

В команде Х5 вас ждет:
— конкурентная зарплата, удаленка или гибридный формат;
— амбициозные проекты вроде собственной платформы по работе с нейросетями и автоматического ценообразования;
— прокачка навыков в корпоративном университете, митапы, конференции и общение с топами.

Развивайте один из продуктов:
— автоматизированное ценообразование;
— оптимизацию работы приложения;
— минимизацию затрат на транспорт.

Ожидаем, что вы:
— работаете в сфере Data Science или Data Analysis от трех лет;
— знаете Python;
— умеете проводить А/В-тестирования.

➡️ Откликнуться: @oooozhegovaaaa

🧐 Влияет ли удаленная работа на продуктивность?

#datalk

Давно в голове сидит идея запустить рубрику/отдельный канал в формате форума с обсуждением острых или спорных тем.

Почему кажется интересным:
1️⃣ интересно услышать множество мнений со стороны на одну тему, посмотреть как мыслят другие
2️⃣ может образуем своего рода нетворк и кружки по интересам
3️⃣ модерация тем в формате канала, не хочется создавать группу с открытым чатом из-за модерации и неудобного вовлечения в обсуждения, которые текут в одном потоке
4️⃣ послушать мнения экспертов и подчерпнуть их экспертизу и опыт
5️⃣ проверить гипотезу как это влияет на активность канала (простите, чисто шкурный интерес)

если формат зайдет и вам захочется больше тем для разгона, подумаю над переносом рубрики в отдельный канал, ну а если не зайдет - то лучше попробовать чем нет

Итак, все такие посты с темами для обсуждения будут публиковаться с хэштегом #datalk

ниже первый пост для обсуждения 👇

Основные мысли со второго дня конфы

📍Шаблонная архитектура data platform с точки зрения хранения данных: S3 + Greenplum + Clickhouse

S3 - объектное хранилище, можно писать любые форматы с любой структурой данных. Используется как часть Data Lake и промежуточным слоем хранения данных между источниками и core
Greenplum - основная БД хранения данных по слоям. Удобен, т.к. open source и является MPP-решением, что позволяет работать с большими объемами данных
Clickhouse - базенка для аналитических витрин, используют в основном для BI слоя и отчетов с возможностью real time аналитики. Понятное решение, т.к. клик является колоночной базой, что позволяет более быстро крутить метрики витрин чем напрямую это делать в GP.

📍Со стороны ETL было удивлением, что многие уже внедрили dbt для описания правил трансформации данных, думал что тренд dbt с запада будет к нам чуть дольше идти. В остальном никакие новые тренды не услышал, все стандартно: Airflow как оркестратор, Kafka для очередей.

📍У многих болит тема Data Governance, особенно у тех кто переходит в Data mesh. Ну правильно, чтобы не получить data mess вместо data mesh - нужно внедрять общие практики управления данными (Federated DG/DM) на уровне всей компании)

Разбираем тестовое задание на позицию Junior Аналитика в Самокат

Чтобы найти работу, мало пройти курс и сделать классное резюме. На практике, чтобы выделиться на собеседовании, нужно понимать, что лежит под капотом каждого инструмента, а не следовать конкретному заученному алгоритму.

Чтобы попрактиковаться в этом, приходите на бесплатный вебинар, где будем решать типичные задачи на SQL, которые дают на собеседованиях аналитикам на основании данных из Самоката.

Что будет на вебинаре:
- Проведем аналитику заказов и клиентов с помощью SQL

- Разберем фишки кода на SQL: CASE в агрегациях, удобная фильтрация и другие

- Построим мини-дашборд продаж в Metabase

Вебинар проведет Андрон Алексанян, CEO Simulative
🕗Встречаемся 12 ноября в 19:00

🎁Обязательно приходите смотреть вебинар в прямом эфире - в лайве будут дарить подарки, которые сильно бустанут старт карьеры в аналитике!

Зарегистрироваться на бесплатный вебинар

Много умных слов услышано на конференции

Заранее идя на доклады, связанные с клиентской аналитикой, ухожу с впечатлением, что все компании копают и двигаются в сторону еще большей клиентоцентричности и персонализации. Хотя кажется что персонализация и персональные рекомендации и так нас сильно окружают. Но оказывается можно больше и эффективнее…

Завтра разгружу голову другими темами типа BI и инженерии 👍

Завтра и послезавтра иду на конференцию Матемаркетинг

Вечером просмотрю еще раз программу конференции, чтобы заранее выбрать список докладов для посещения. Кто тоже пойдет, буду рад пообщаться 😉

Убил 3 часа своего времени

Поехал забирать заказ визиток-магнитов (да, вот что-то стрельнуло мне в голову что нужно попробовать сделать такие визитки). В итоге навигатор меня повел в какой-то тупик вдоль шоссе, и вместо 1 часа в одну сторону пробегал 2 часа. Ладно хоть успел забрать до закрытия

Доставку еды вот заказываю сидя на диване, когда в доме 4 магазина, а за магнитами поехать на 3 часа - х🤬ли нет

❓Как научиться извлекать максимальную пользу из данных?

Приходите на курс "Основы Data Governance" с Александром Бараковым от BI Consult и получите актуальные навыки в трендовой теме управления данными! Data Governance позволит вам навести порядок в данных, ускорить разработку в ИТ-системах, повысить надежность и качество данных, аналитики и отчетности.

📆Даты: 4-13 декабря 2024 года.

Формат курса: 5 встреч по 3 часа интенсива в онлайн формате для CDO, CIO, Data stewards, BI-менеджеров, Операционных директоров и всех кому тема близка.

Автор курса: Александр Бараков - эксперт с 10-летним опытом ведения Data Governance проектов.

Курс позволит сформировать глубокое понимание темы Data Governance и 'примерить' все это на бизнес реалии вашей организации. По итогам курса у каждого слушателя будет сформирована готовая стратегия по внедрению Data Governance в свою компанию и понимание того, как настроить управление данными в любом бизнесе.

🗂На курсе мы погрузимся в темы:

• Information Management (IM)
• Data Quality (DQ)
• Data Governance (DG) (основные элементы, технологии и практики)
• Master Data Management (MDM)
• Управление и оценка эффективности DG

Каждый участник будет заполнять excel-гайд своего проекта Data Governance, применяя разделы курса на контекст своей компании.

📌Почему стоит выбрать этот курс?

• Сильная база: Вы поймете почему данные - это важно, в чем их реальная ценность и как 'продавать' проект менеджменту.
• Практическая направленность: Курс включает реальные кейсы и задачи из бизнеса.
• Нетворкинг: Участвуйте в активном обмене опытом с другими участниками курса и расширьте свою профессиональную сеть. На нашем курсе обучаются CDO и CIO таких компаний, как Максидом, Сбербанк, ВК, Sunlight и KFC.

🔝Записаться на курс

Реклама. ИП Громов Сергей Леонидович, ИНН: 781133862981. Erid: CQH36pWzJppjxzA96HmYS4njtCiDXeoG2DtaLycgyPPCDF

Прошлый опрос показал, что практически половина голосовавших - аналитики (ничего странного с учетом тематики канала 🧐). Поэтому сейчас интересно посмотреть распределение по специализациям аналитиков, ниже будет опросик для вас, уважаемые аналитики

💪 Сила удаленного формата работы

Приехал в этот четверг в офис и в разговоре с командой стало понятно, что ребята быстро полюбили удаленку.

Немного контекста:
У нас проходила стажировка 3 месяца с условием работы в офисе, при этом кураторам (в данном случае мне) тоже нужно было ездить в офис.
Я рассказывал ребятам, что до стажировки появлялся в офисе за год всего 2 раза, поэтому после стажировки также уйду на удаленку. Команда на тот момент не понимала как можно работать без контакта в офисе и попросила приезжать хотя бы раз в 2 недели. Идея понравилась, поэтому пока ее придерживаемся, но в этот раз ребята уже сказали что полностью адаптировались к удаленке и у самих желания ездить в офис особо не возникает 😅

Вот так все быстро перешли на удаленный формат за месяц после окончания стажировки. Наверно дожди и холод этому поспособствовали ☔️

А вы в каком формате работаете?
👍- удаленка
❤️ - гибрид
🔥 - офис

☕️👨‍💻 А вы чем вечерами занимаетесь?

Проголосуйте пожалуйста ☝️
Хочу собрать портрет своей аудитории, чтобы готовить более подходящий для вас контент)

Открыл комменты, можете под этим постом написать свою профессию если не нашли ее в списке 😉

Аналитика данных / Data Study pinned «Привет! Меня зову Даниил, работаю Analytics Engineer в Сравни. Немного основной информации о себе и своем канале ⤵️ 🏙 Родом из Соликамска, живу в Москве уже 7 лет с момента поступления в ВУЗ 🎓 Закончил бакалавриат и магистратуру в НИУ ВШЭ, из интересного…»

Привет!
Меня зову Даниил, работаю Analytics Engineer в Сравни. Немного основной информации о себе и своем канале ⤵️

🏙 Родом из Соликамска, живу в Москве уже 7 лет с момента поступления в ВУЗ

🎓 Закончил бакалавриат и магистратуру в НИУ ВШЭ, из интересного успел съездить по обмену в Грецию "учиться" 😁
📚Инфокоммуникационные технологии и системы связи (бакалавр)
📚 Business Analytics and Big Data systems (магистратура на английском)

👨‍💻 В общем имею 5 лет опыта в аналитике, за это время сменил 3 компании
📍Леруа (System Analyst) ➡️ 📍EPAM (BI/DWH Analyst) ➡️ 📍Сравни (Analytics Engineer)

💼 На данный момент работаю на Lead позиции на проекте клиентской аналитики

✏️ Являюсь основателем образовательного проекта Data Study и автором курсов по аналитике данных, также автор данного канала и 2-х других
🔗 Data Вакансии - @data_vacancy
🔗 Книги по аналитике - @analyst_books

Также веду проектную активность в свое свободное время:
▪️ менторство и консультации
▪️ митапы и образовательные встречи для аналитиков компаний
▪️ консалтинговые проекты

В этом канале делюсь большим количеством полезного и бесплатного материала, как например эти посты:
🟣Дорожная карта аналитика данных
🟣Статьи по оконным функциям (часть 1 и часть 2)
🟣Исследование требуемых навыков в вакансиях data-специализаций
🟣Мок собесы на аналитиков
🟣Учебный проект по реализации платформы данных с нуля (часть 1, часть 2, часть 3)

Решил сменить закрепленное сообщение в канале. Расскажу вам актуальную информацию о себе и зафиксирую некоторые посты канала 😉

Решил расламиться дома и смотрите что нашел. Это игрушка с самой первой аналитической конференции, которую я посетил когда еще работал в Леруа. Так бы и не вспомнил об этой конференции и множестве полезных игр и докладов, которые тогда посетили с коллегами.

Все таки вещи способны хранить воспоминания…

Всем отличного вечера пятницы)

Управление безопасностью данных и распределения доступов с помощью CRUD-матрицы

🔎 CRUD-матрица -это один из методов управления информационной безопасностью в управлении данными. Используется подход построения матрицы данные-роли (столбцы матрицы) и данные-процессы (строки матрицы). Доступ управляется уровнями по аббревиатуре CRUD:
📍C (Create) - создание
📍R (Read) - чтение
📍U (Update) - обновление
📍D (Delete) - удаление

Иногда добавляют еще одно действие E (Execute) - выполнение

В каждую ячейку матрицы можно поставить как одно действие, так и сразу все, если эта роль должна иметь все доступы и возможности.

Привет!

Для тех кто хочет погружаться в Машинное Обучение есть курс, который читают студентам НИУ ВШЭ на Факультете Компьютерных Наук.

Записи лекций и семинаров выложены на Github: https://github.com/esokolov/ml-course-hse

pygwalker - библиотека Python для визуализации данных с удобным интерфейсом, очень схожим с Tableau.

Для быстрой визуализации результатов преобразований и анализа вообще супер! Всегда было запарно писать код для matplotlib или других визуалок, бывало что проще выгрузить sample данных в файлик и пойти повизуализировать в BI инструменте. Сейчас BI приехал прямо в Jupyter Notebook 🔥🔥🔥

Ссылка на описание pygwalker

💬 Кто такие Дата-инженеры (DE) и чем они занимаются?

Анализ данных - это работа аналитика, про которую я вам постоянно рассказываю. Но также я часто пишу про такие темы как ETL, батч и стриминг обработка данных, которые относятся уже к работе инженеров данных. Давайте обозначим кто и и чем занимается на проектах:

Аналитик данных
📍 оценка качества данных и подготовка данных для анализа (например, создание витрин данных)
📍 написание гипотез и непосредственно анализ данных (расчет метрик, проведение статистических экспериментов, описательный или прогнозный анализ данных)
📍 интерпретация результатов анализа для бизнеса, создание отчетов, дашбордов

Инженер данных
📍разработка потоков данных (ETL/ELT) и их автоматизация (чтобы данные из одного места автоматически попадали в другое место: например из CRM-системы в корпоративное хранилище)
📍настройка мониторинга работоспособности потоков данных (мало сделать сам поток, нужно чтобы он работал стабильно и качественно, а в этом может помочь мониторинг сбоев)
📍 оценка качества данных и подготовка данных для анализа (да, этим также как и аналитики могут заниматься инженеры данных)
Различие компетенций аналитика и инженера наглядно показано на картинке в посте

Упрощенную, но очень наглядную схему взаимодействия аналитика и инженера можно описать так:
1️⃣ Аналитик узнал у бизнеса какую задачу анализа требуется выполнить, перевел запрос бизнеса на техническое описание задачи (ТЗ - какие данные и где взять, в каком виде положить и как часто обновлять)
2️⃣ Инженер данных получил ТЗ от аналитика и выполнил его
3️⃣ ТЗ выполнено, аналитик получил данные, проанализировал, отдал результаты анализа бизнесу. Все счастливы и сделали свои куски работы

Рекомендую подписаться на канала Евгения "Я - Дата Инженер", если вы хотите еще больше узнать про работу инженера данных и какие навыки для этого нужны. Он кстати тоже работает в Сравни 😎

У него на канале есть огромное количество полезного материала:
🔗 Roadmap для Data Engineer
🔗 Видео про Hadoop HDFS
🔗 Канал на Youtube с подробными техническими видео про инструменты DE

Сходили вчера в Аптекарский огород

Это небольшой парк, в котором есть огромное количество разных видов растений как под открытым небом, так и в крытых галлереях.
Вход платный (есть льготные билеты), лучше идти в будни чтобы было меньше людей 😉

Локация

Наткнулся на исследование затрат предпринимателей и наемных сотрудников.
Круто когда бизнес знает все доходы и расходы своего клиента 😎 Так могут «подсказывать» клиентам куда потратить 💵 на свои же продукты или подкинуть партнеров, которые тоже принесут доход)

Почитать полное исследование можно здесь

Data Warehouse, Data Lake, Data Lakehouse, Data Fabric, Data Mesh – что это такое, и в чем разница между концепциями

Понравилась статья, делюсь как обычно с вами. Есть классная историческая справка (сможете похвастаться перед коллегами или на собесах знанием истории концепций хранилищ данных 😎). Если кто-то думает, что аналитика данных и Big Data зародились когда все об этом начали в рекламе курсов кричать, то вы далеко ошибаетесь, история уходит еще в 20 век.

Ну и лаконично описаны концепции хранилищ и показаны на визуальных схемах с основными элементами. Помогает понять зачем вообще такой зоопарк систем нужен и как это все обусловлено эволюцией подходов работы с данными.

Читать статью

Сегодня пополнение в моей библиотеке 😃

Какую первую начать читать? Голосуем реакциям)
👍 - левая книга
🔥 - правая книга

Всем отличных выходных и немного юмора 😁

Классный сборник ресурсов для data инженеров (или кто хочет им стать) https://github.com/DataExpert-io/data-engineer-handbook

Довольно часто сталкиваюсь с вопросами о рынке труда ☝️
❓есть ли спрос на специалистов
❓какие сейчас зарплатные вилки
❓можно ли без опыта найти работу
❓сколько времени занимает трудоустройство

Если не исследовать рынок и не изучать вакансии - на такие вопросы довольно сложно ответить, особенно начинающим специалистам.
Но есть очень крутые исследования и опросы специалистов из рынка, на основе которых можно понять что происходит сейчас и какая тенденция рынка.

Сейчас исследование проводят NEWHR по рынку аналитиков, они собирают данные каждый год начиная с 2018!

Рынок каких аналитиков исследуют?
➤ Дата-аналитиков
➤ Продуктовых аналитиков
➤ BI-аналитиков
➤ Маркетинговых аналитиков
➤ Веб-аналитиков

Что исследуют?
👉 Зарплаты и их динамика. Спрашивают про вилки, а потом делятся результатами и корреляциями.
👉 Рейтинг работодателей для аналитиков
👉 Где работают аналитики, как работают (удалёнка/офис), какие планы на трудоустройство.
👉 Как меняется зона ответственности аналитиков.
👉 Как аналитики ищут работу и выбирают работодателя.

Как принять участие в исследовании?
⏩ Заполните 20-мин опросник

После заполнения опросника у вас будет возможность получить не только результаты исследования (они планируются в начале 2025 года пока соберут все данные и проанализируют), вы также получите полезные ссылки и материалы от аналитиков в отрасли 😎🔥

Увидел сегодня вакансию с пометкой о количестве активных пользователей и количестве дашбордов 1200+
Аж мурашки от таких цифр побежали 😨

В таких кейсах всегда интересно как компания реализовывает интеграцию такого количества отчетов в удобное пользование, есть ли data-каталоги, либо системы data governance/management. Иначе потеряется качество данных, одни и те же метрики будут считать на разных отчетах по разному, да и пользователям вообще может быть сложно найти нужный им отчет в таком количестве.

📍Кстати, в публикации вакансий я реализовал пересказ полного описания вакансии с помощью LLM, чтобы посты были более лаконичными. Получилось очень неплохо если сравнивать пересказ с полным описанием)

Data вакансии - https://t.me/data_vacancy

Data Mesh - вид организации аналитических хранилищ

В современном мире данных, где объемы информации растут экспоненциально, традиционные подходы к организации аналитических хранилищ могут оказаться недостаточно гибкими и масштабируемыми. Одним из инновационных решений этой проблемы является концепция Data Mesh.

🔎 Data Mesh — это архитектурный подход к управлению данными, который децентрализует ответственность за данные и их качество. Вместо централизованного хранилища данных, Data Mesh предполагает создание сети децентрализованных доменов данных, каждый из которых управляется отдельной командой. Эти домены данных предоставляют данные как продукты, которые могут быть использованы другими командами и системами.

В чем его особенность от других типов хранилищ?

📍Децентрализация: В отличие от традиционных централизованных хранилищ данных, Data Mesh распределяет ответственность за данные между различными командами, что позволяет более гибко и оперативно управлять данными.
📍 Данные как продукты: В Data Mesh данные рассматриваются как продукты, которые имеют своих владельцев, потребителей и стандарты качества. Это способствует более высокому качеству данных и их лучшей доступности.
📍 Автономность команд: Каждая команда, ответственная за свой домен данных, имеет полную автономию в управлении этими данными, что позволяет быстрее реагировать на изменения и потребности бизнеса.

Какие плюсы есть в такой организации хранилища?

➕ Масштабируемость: Data Mesh позволяет легко масштабировать управление данными, так как каждая команда управляет своим доменом данных независимо от других.
➕ Гибкость: Децентрализованная архитектура Data Mesh обеспечивает высокую гибкость в управлении данными, что позволяет быстрее адаптироваться к изменениям и новым требованиям.
➕ Повышение качества данных: Рассмотрение данных как продуктов и назначение ответственных за их качество способствует повышению общего качества данных в организации.
➕ Ускорение инноваций: Автономность команд и децентрализованное управление данными позволяют быстрее внедрять инновации и новые решения.

Потенциальные минусы подхода Data Mesh

➖Сложность управления: Децентрализация ответственности может привести к сложностям в координации между командами, особенно в крупных организациях.
➖ Риск дублирования данных: В условиях децентрализованного управления данными возрастает риск дублирования данных и возникновения несогласованностей.
➖ Необходимость в стандартах и соглашениях: Для успешного функционирования Data Mesh необходимо разработать и поддерживать общие стандарты и соглашения по управлению данными, что может потребовать значительных усилий.
➖ Зависимость от культуры организации: Успешное внедрение Data Mesh требует определенной культуры и менталитета в организации, что может быть сложно достичь в организациях с незрелой Data-культурой.

🔗 Полезные ссылки про Data Mesh
🔗 Data Mesh Architecture
🔗 Статья про Data Mesh на Habr
🔗 Сравнение подходов Data Fabric и Data Mesh

Временные таблицы в базах данных

В ETL процессах часто возникает необходимость в промежуточном хранении данных. Одним из эффективных решений для этой задачи являются временные таблицы.

🔎 Временная таблица — это специальный тип таблицы в базе данных, которая существует только в течение сессии пользователя или до конца транзакции. Она создается для временного хранения данных и автоматически удаляется после завершения работы.

Чем они отличаются от обычных таблиц?

1️⃣ Временность: Временные таблицы существуют только в течение сессии или транзакции, тогда как обычные таблицы сохраняются в базе данных до тех пор, пока их не удалят вручную.
2️⃣ Изоляция: Временные таблицы видны только в пределах текущей сессии или транзакции, что обеспечивает изоляцию данных между разными пользователями или процессами.
3️⃣ Производительность: Временные таблицы часто хранятся в оперативной памяти, что позволяет значительно ускорить операции с данными.

Эти особенности и дают плюсы использования временных таблиц для оптимизации ETL

Пример создания временной таблицы в SQL из результата SELECT запроса:

CREATE TEMPORARY TABLE temp_table (
    id INT,
    name VARCHAR(50),
    value DECIMAL(10, 2)
);

--либо создание из результата SELECT запроса
CREATE TEMPORARY TABLE temp_table AS 
SELECT 
id
, name
, value
FROM table
;

Также хочу отметить, что временные таблицы позволяют оптимизировать выполнение запросов, если вам нужно преобразовывать и извлекать данные из множества разных таблиц в базе. Например, если из таблицы с продажами за все время вам нужны продажи только за последний месяц для разных видов расчетом, сохраните продажи за последний месяц во временную таблицу и обращайтесь к ней для ваших расчетов, чтобы не делать несколько тяжелых запросов к таблице всех продаж.

Это кажется ужасным поступком со стороны компании поступить так со своими сотрудниками, несмотря на все санкционное давление 😔

Надеюсь найдутся правильные правовые рычаги компенсации для сотрудников после таких поспешных действий компании 💪

Оконные функции простым языком - Фреймы (часть 2)

Спустя 2 года после написания первой части статьи наконец дошли руки до второй части.

🚨 Материал исключительно для новичков в SQL и применении оконок, опытные SQLисты проходите мимо. А то там в комментариях уже начали накидывать сложные кейсы, что я их в статье не указал, и вообще не расписал учебник вместо статьи со всей теорией и практикой в одном месте 😅

Читать статью

Фреймворки Python с параллельной обработкой данных

Часто на практике возникает потребность обрабатывать большие объемы данных, либо работать с большим набором запросов к сервису. Делать это в один поток выполнения кода не всегда эффективно и быстро, а сделать эту работу параллельной помогают различные фреймворки или ETL инструменты.

Читать статью про фреймворки Python для параллельной обработки данных

Где искать вакансии с анализом данных

Привет! Это статья будет полезна начинающим специалистам по анализу и работы с данными в формате сборника ресурсов для поиска вакансий.

Статья

Хочется пожелать всем замечательной рабочей недели и чтобы вы не испытывали стресс как и эти котики 😉

Вчера после работы гуляли и зашли в книжный магазин. Нашел много интересных книг, но покупать их там конечно же не стал, ведь на озоне они в 2 раза дешевле)
Заказал пока только «Мама, я тимлид», после прочтения поделюсь своими впечатлениями