Про BI, DWH, DE

Соскучились по Universal Analytics?

Если вам хочется вернуться в прошлое и работать в системе, которой много лет пользовались с понятиями pageview и event и при этом иметь возможность работать с сырыми данными, посмотрите на Motomo.

Motomo — это сервис веб-аналитики, который помогает отслеживать эффективность рекламных кампаний и улучшать взаимодействие с клиентами. Система аналитики может собирать данные о поведении пользователей на сайте или в приложении, анализировать их и предоставлять отчёты, которые помогают принимать решения.

Основные функции системы аналитики:

1️⃣ Отслеживание источников трафика - Система может определять, откуда приходят посетители сайта или приложения, чтобы понять, какие каналы рекламы наиболее эффективны.
2️⃣ Анализ поведения пользователей - Система анализирует действия пользователей на сайте или в приложении, чтобы понять, как они взаимодействуют с контентом и какие страницы наиболее популярны.
3️⃣ Отчёты и дашборды - Система предоставляет отчёты и дашборды, которые отображают ключевые метрики эффективности, такие как количество посетителей, время на сайте, конверсия и т. д.
4️⃣ Сегментация аудитории - Система позволяет сегментировать аудиторию по различным критериям, таким как возраст, пол, местоположение, поведение и т. п., чтобы лучше понимать потребности и предпочтения разных групп пользователей.
5️⃣ Интеграция с другими сервисами - Система может интегрироваться с другими сервисами, такими как CRM, email-рассылки, платёжные системы и т. д., чтобы получать более полную картину взаимодействия с клиентами.

Развернуть систему можно на своих серверах, что позволит контролировать сбор данных и работать с сырыми данными. Официальный сайт

Секреты построения Data Vault 2.0: эффективное хранение данных

Data Vault 2.0 - это методология моделирования данных, которая используется для управления и интеграции больших объёмов информации в системах управления данными. Разработана для решения проблем, связанных с управлением данными в сложных и динамичных средах. Обеспечивает целостность и согласованность данных, а также позволяет отслеживать изменения в данных с течением времени. Это достигается за счёт использования трёх основных компонентов:

- Хаб (Hub) - содержит основную информацию о сущностях, таких как люди, места или события.
- Связь (Link) - описывает отношения между сущностями и содержит информацию о том, когда и как эти отношения были установлены.
- Сателлит (Satellite) - хранит дополнительные атрибуты сущностей и связей, такие как даты, идентификаторы и другие метаданные.

Ознакомиться с материалом можно по ссылке

Отход от Airflow: почему Dagster — это оркестратор данных следующего поколения

Dagster позволяет создавать сложные конвейеры обработки данных, управлять зависимостями между задачами и обеспечивать выполнение этих конвейеров. Это может быть полезно для разработчиков и исследователей, работающих с большими объёмами данных.

Dagster и Airflow — это инструменты для управления рабочими процессами и оркестрации задач, но они имеют разные подходы и особенности.

Dagster:

- Ориентирован на управление данными и машинное обучение.
- Позволяет создавать сложные конвейеры обработки данных и управлять зависимостями между задачами.
- Обеспечивает выполнение этих конвейеров.
- Поддерживает воспроизводимость экспериментов и исследований.
- Подходит для разработчиков и исследователей, работающих с большими объёмами данных.

Airflow:

- Более универсальный инструмент, который может использоваться в различных областях.
- Имеет широкий спектр функций для управления задачами и рабочими процессами.
- Предоставляет возможности для планирования, мониторинга и управления задачами.
- Может использоваться для автоматизации рабочих процессов в разных областях, включая данные, DevOps и другие.

Выбор между Dagster и Airflow зависит от конкретных потребностей и целей проекта. Читать подробнее

Как научиться внедрять сквозную аналитику?

У меня была идея сделать свой курс по изучению сквозной аналитики, ее внедрению и построению всей системы от подготовки до использования. Но прошло время, сейчас у меня другие интересы и вектор развития поэтому выполненная мной подготовительная работа оказалась не востребованной и развивать ее я не планирую.

В связи с этим я принял решение поделиться своим учебным планом / планом курса, который по задумке состоит из моделей, а модули из тем. На скриншотах модули и базовые темы. Используя их можно самостоятельно изучить это направление, а можно и подготовить полноценный курс.

Накидайте огонечков если оказалось интересно и полезно

Ранее мой пост про Типовую схему построения сквозной аналитики собрал массу негативных реакций. Нашел среди своих работ пример дашборда, который как раз построен по описанной выше схеме.

Под капотом Google Analytics 3 и рекламные кабинеты. Процесс сбора настроен через ETL сервис, хранилище Big Query. Детализация до ключевого запроса, все показатели в одном месте от показа объявления до ожидаемых сделок.

Как устроена работа с DWH в Lamoda

Data Warehouse (DWH) — это централизованное хранилище данных, агрегирующее данные из разных систем-источников, на которых можно проводить анализ исторических и текущих данных.

DWH состоит из пяти слоев:

▫️ Data Layer (DL)
▫️ Intelligence Layer (IL)
▫️ Business Layer (BL)
▫️ Metadata Layer (ML)
▫️ Operational Data Store (ODS Report)

Читать полностью здесь

Бесплатная книга по визуализации данных в Power BI

Коллеги, эксперты по Power BI, подготовили и выложили в открытый доступ книгу по визуализации даных в Power BI. Описанное в ней можно применять не только в Power BI, но и в других инструментах, т.к. правила визуализации едины

Типовая схема построения сквозной аналитики 🔥

❗️Оставим за скобками технические аспекты и тонкости, общая схема такова:

Данные лучше объединять не по ClientID. Есть трафик, который характеризуется UTM метками. В них можно передавать динамические значения: id компании, группы объявления и т.п. Система веб аналитики фиксирует факт перехода по некоторой ссылке с набором UTM меток - факт посещения сайта.

Далее на сайте происходят различные действия в рамках визита, значит имея данные об источнике и UTM метках мы можем сопоставить эти действия с тем, что находилось в разметке (id компании, группы объявления и т.п.)

При отправке данных любой формы с сайта она где-то фиксируется (например, CRM). Этот факт с ID созданной записи (ID заявки в CRM) нужно зафиксировать в системе веб аналитики. Можно использовать протокол передачи данных.

В итоге в системе веб аналитики есть все данные по визиту, вплоть до того, какая сделка с ее ID создана в CRM системе.

Следующим шагом можно выгрузить факты создания записей в CRM (переданные протоколом передачи данных) из системы веб-аналитики. Получим ID сделки и UTM метки с ID id компании, группы объявления и т.п. Далее нужно разобрать эти данные на составляющие.

После этого получить данные из рекламных систем и данные по сделке из CRM. В итоге везде одинаковые ID, которые используются как ключи для связи и обогащения данных

Примерно так выглядит система сквозной аналитики, которую можно построить.

Когортный анализ с помощью SQL

Мы делим пользователей на группы, когорты, после чего анализируем поведение групп в отдельности. Признаком, по которому формируется когорта, является выполнение некоторого действия в определенный период времени. Например, регистрация на сайте, покупка и т.п.

Данные по пользователям обычно хранятся в БД, а для работы с ними используется язык SQL. С его помощью можно выполнить когортный анализ.

О том как это сделать можно прочитать в этой статье, которая является одной из глав большой книги "SQL for Data Analysi" от O'Reilly. Статья на английском, объемная, рекомендую к изучению, много интересного от простого к сложному.

Интересно, наберем ли мы пятьдесят 🔥 под этим сообщением?

Сквозная аналитика - что такое и зачем она нужна?

✔️ Сквозная аналитика - система, которая объединяет в себе информацию о рекламных расходах и результативности рекламы до конкретной сделки. Причем отчет по рекламе может быть максимально детализирован.

Для конечного пользователя такая система это дашборд или отчет, в котором он видит необходимую информацию. На самом деле все гораздо сложнее: нужно организовать сбор и хранение данных, построение модели и только потом переходить к отчётности.

Если вы работает с подобной системой, но никогда не интересовались, что у "нее под капотом" или только разбираетесь в вопросе, могу порекомендовать это видео, в котором хорошо объясняются многие вопросы. Несмотря на свой возраст (3 года с момента публикации видео) информация достаточно актуальная.

Какие специалисты нужны для внедрения BI

Если упростить процесс внедрения и перейти непосредственно к технической реализации, то в большинстве случаев нам нужно решить следующие задачи:

✔️ извлечь данные из разрозненных источников
✔️ организовать единое хранилище данных
✔️ построить витрины данных
✔️ выполнить визуализацию, разработку дашбордов

📌 Читать полностью

Где бесплатно (или почти бесплатно) изучить SQL?

Сегодня много курсов, симуляторов, тренажеров и прочего, что помогает изучить SQL. Но не обязательно использовать эти сервисы и площадки. Изучить SQL до уровня повседневного использования и понимания чужого кода можно на курсах, которые покрвают множество требований в части работы с SQL. Проходил их сам когда-то, рекомендую:

1️⃣ Самый популярный на степике, покрывает все, что нужно новичку

2️⃣ После него можно (аналитику нужно) изучить оконные функции (курс стоит 900 руб., но по своей ценности вне конкуренции)

Про доступы к демоверсиям и демостендам вендров российских BI

Подготовил очередную заметку про свой опыт работы с отечественными BI инструментами. В этот раз про то как они предоставляют демо-доступы и стенды для изучения их продуктов. Читать здесь

Кто не видел первую часть про сообщества вендоров, можете ознакомится здесь