Про BI, DWH, DE

Как научиться внедрять сквозную аналитику?

У меня была идея сделать свой курс по изучению сквозной аналитики, ее внедрению и построению всей системы от подготовки до использования. Но прошло время, сейчас у меня другие интересы и вектор развития поэтому выполненная мной подготовительная работа оказалась не востребованной и развивать ее я не планирую.

В связи с этим я принял решение поделиться своим учебным планом / планом курса, который по задумке состоит из моделей, а модули из тем. На скриншотах модули и базовые темы. Используя их можно самостоятельно изучить это направление, а можно и подготовить полноценный курс.

Накидайте огонечков если оказалось интересно и полезно

Ранее мой пост про Типовую схему построения сквозной аналитики собрал массу негативных реакций. Нашел среди своих работ пример дашборда, который как раз построен по описанной выше схеме.

Под капотом Google Analytics 3 и рекламные кабинеты. Процесс сбора настроен через ETL сервис, хранилище Big Query. Детализация до ключевого запроса, все показатели в одном месте от показа объявления до ожидаемых сделок.

Как устроена работа с DWH в Lamoda

Data Warehouse (DWH) — это централизованное хранилище данных, агрегирующее данные из разных систем-источников, на которых можно проводить анализ исторических и текущих данных.

DWH состоит из пяти слоев:

▫️ Data Layer (DL)
▫️ Intelligence Layer (IL)
▫️ Business Layer (BL)
▫️ Metadata Layer (ML)
▫️ Operational Data Store (ODS Report)

Читать полностью здесь

Бесплатная книга по визуализации данных в Power BI

Коллеги, эксперты по Power BI, подготовили и выложили в открытый доступ книгу по визуализации даных в Power BI. Описанное в ней можно применять не только в Power BI, но и в других инструментах, т.к. правила визуализации едины

Типовая схема построения сквозной аналитики 🔥

❗️Оставим за скобками технические аспекты и тонкости, общая схема такова:

Данные лучше объединять не по ClientID. Есть трафик, который характеризуется UTM метками. В них можно передавать динамические значения: id компании, группы объявления и т.п. Система веб аналитики фиксирует факт перехода по некоторой ссылке с набором UTM меток - факт посещения сайта.

Далее на сайте происходят различные действия в рамках визита, значит имея данные об источнике и UTM метках мы можем сопоставить эти действия с тем, что находилось в разметке (id компании, группы объявления и т.п.)

При отправке данных любой формы с сайта она где-то фиксируется (например, CRM). Этот факт с ID созданной записи (ID заявки в CRM) нужно зафиксировать в системе веб аналитики. Можно использовать протокол передачи данных.

В итоге в системе веб аналитики есть все данные по визиту, вплоть до того, какая сделка с ее ID создана в CRM системе.

Следующим шагом можно выгрузить факты создания записей в CRM (переданные протоколом передачи данных) из системы веб-аналитики. Получим ID сделки и UTM метки с ID id компании, группы объявления и т.п. Далее нужно разобрать эти данные на составляющие.

После этого получить данные из рекламных систем и данные по сделке из CRM. В итоге везде одинаковые ID, которые используются как ключи для связи и обогащения данных

Примерно так выглядит система сквозной аналитики, которую можно построить.

Когортный анализ с помощью SQL

Мы делим пользователей на группы, когорты, после чего анализируем поведение групп в отдельности. Признаком, по которому формируется когорта, является выполнение некоторого действия в определенный период времени. Например, регистрация на сайте, покупка и т.п.

Данные по пользователям обычно хранятся в БД, а для работы с ними используется язык SQL. С его помощью можно выполнить когортный анализ.

О том как это сделать можно прочитать в этой статье, которая является одной из глав большой книги "SQL for Data Analysi" от O'Reilly. Статья на английском, объемная, рекомендую к изучению, много интересного от простого к сложному.

Интересно, наберем ли мы пятьдесят 🔥 под этим сообщением?

Сквозная аналитика - что такое и зачем она нужна?

✔️ Сквозная аналитика - система, которая объединяет в себе информацию о рекламных расходах и результативности рекламы до конкретной сделки. Причем отчет по рекламе может быть максимально детализирован.

Для конечного пользователя такая система это дашборд или отчет, в котором он видит необходимую информацию. На самом деле все гораздо сложнее: нужно организовать сбор и хранение данных, построение модели и только потом переходить к отчётности.

Если вы работает с подобной системой, но никогда не интересовались, что у "нее под капотом" или только разбираетесь в вопросе, могу порекомендовать это видео, в котором хорошо объясняются многие вопросы. Несмотря на свой возраст (3 года с момента публикации видео) информация достаточно актуальная.

Какие специалисты нужны для внедрения BI

Если упростить процесс внедрения и перейти непосредственно к технической реализации, то в большинстве случаев нам нужно решить следующие задачи:

✔️ извлечь данные из разрозненных источников
✔️ организовать единое хранилище данных
✔️ построить витрины данных
✔️ выполнить визуализацию, разработку дашбордов

📌 Читать полностью

Где бесплатно (или почти бесплатно) изучить SQL?

Сегодня много курсов, симуляторов, тренажеров и прочего, что помогает изучить SQL. Но не обязательно использовать эти сервисы и площадки. Изучить SQL до уровня повседневного использования и понимания чужого кода можно на курсах, которые покрвают множество требований в части работы с SQL. Проходил их сам когда-то, рекомендую:

1️⃣ Самый популярный на степике, покрывает все, что нужно новичку

2️⃣ После него можно (аналитику нужно) изучить оконные функции (курс стоит 900 руб., но по своей ценности вне конкуренции)

Про доступы к демоверсиям и демостендам вендров российских BI

Подготовил очередную заметку про свой опыт работы с отечественными BI инструментами. В этот раз про то как они предоставляют демо-доступы и стенды для изучения их продуктов. Читать здесь

Кто не видел первую часть про сообщества вендоров, можете ознакомится здесь