Аналитика данных / Data Study

🧐 Реально ли и как выстроить work-life баланс если есть большие амбиции в карьере?

#datalk

CLTV (customer lifetime value) — метрика, используемая для оценки прибыли, которую компания может получить от своего клиента за время его пользования продуктами и сервисами компании.

Для компаний с точки зрения клиентской аналитики метрика CLTV (или в другой аббревиатуре LTV) является одной из самых важных и в одно время сложных для расчета. Есть множество подходов к расчету этой метрики с учетом доходов от клиентов и расходов на их привлечение и удержание, а также учет времени жизни (активности) клиента внутри продуктов компании.

На Матемакретинге общался с девушкой из Билайна и она подсказала, что у них есть серия статей на тему расчета CLTV, спасибо ей большое 😉

🔗 Что такое CLTV и как в Билайне мы с ним работаем
🔗 Использование ML для прогнозирования CLTV
🔗 Коэффициент для экстраполяции прогнозов компонент CLTV на 5 лет

Роб Фитцпатрик / Спроси маму

"Обычно у мамы не выясняют, хороша ли та или иная бизнес-идея, потому что она любит вас и не хочет ранить правдой. Да, это так, но не совсем. Вы не должны спрашивать, является ли ваша идея хорошей. Это плохой вопрос, потому что не только мама, но и все остальные на него будут лгать, хотя бы чуть-чуть. И в самом деле, это же не их обязанность, говорить всегда правду. Выяснять истину и делать всё правильно — это только ваша ответственность и задача"

Скачать книгу

💪 Уже есть опыт работы с хранилищами данных, но хочешь прокачать скилы и открыть новые карьерные горизонты?

Тогда скорее залетай на бесплатный ИТ-интенсив в Открытых школах Т1 для аналитиков платформы данных (DWH) — регистрация до 19 ноября!

Открытые школы — это возможность усилить свои навыки и получить оффер от одного из лидеров* российского ИТ-рынка — Холдинга Т1. И все это за месяц, онлайн и в удобное вечернее время.

Что ты получишь?

🔹Уникальный рыночный опыт и масштабные ИТ-проекты: мы одни из первых, кто внедряет технологии для управления данными. Выпускники школ смогут присоединиться к проекту по созданию новой технологической платформы данных в банковской сфере.
🔹Быстрый рост в ИТ при поддержке экспертов и топовых преподавателей. Карьерные треки для выпускников Открытых школ позволяют быстро расти в профессии в Т1.
🔹Работа в бигтех-компании: ИТ-аккредитация, современный техстек, ДМС, удаленка, крутые офисы, спорт, обучение, митапы, ИТ-конференции, программы признания и развития, а также многое другое от Т1.

Более 900 специалистов уже прошли этот путь — теперь твоя очередь! Читай подробности в карточках ☝️ Старт обучения уже 21 ноября! Ссылка для подачи заявки.

Реклама. ООО «Т1» ИНН: 7720484492. Erid: 2SDnjc3AdxP

🧐 Какой на ваш взгляд самый важный навык аналитика?

#datalk

Джин Желязны / Говори на языке диаграмм

"Как наилучшим образом представить ваши идеи с помощью диаграмм? Как
привлечь и удержать внимание аудитории? На страницах этой книги вы найдете все необходимое для этого: практические рекомендации по выбору типа диаграммы (круговая, линейчатая, точечная и т.д.), правила подготовки и использования каждого из них, а также мастер-класс по исправлению неудачных диаграмм."

Скачать книгу

Необычное начало дня

Сегодня рабочий день пришлось начать с необычного сообщения в рабочий чатик.
Вчера гуляли вечером и на дороге увидели лежащую без движения кошку. В такие моменты сразу же накрывает грусть и обида за то, что множество животных погибают на дороге.

Но что-то в этот раз внутри подсказало, что нужно подойти поближе. Когда подошли увидели что кошка живая, тяжело дышит и даже подняла на нас голову. Не буду вдаваться в подробности о ее состоянии в тот момент, но мы боялись что у нее могут быть внутренние травмы, которые попросту не видим.

Сначала оттащили ее на обочину под куст и решили вернуться на машине, чтобы забрать домой.

Когда ехали за ней боялись что приедем уже напрасно…

Забрали домой, по пути проверили работают ли какие-нибудь ветклиники (увы, в 11 вечера ничего не работало) укололи обезболивающее и оставили до утра, зная что повезем утром в клинику на обследование.

Приехав в клинику после осмотра врача мы очень обрадовались, что кошка сама встает, шевелится, чувствует себя намного лучше чем вчера. Оказалось что у нее сломана челюсть и после сильного удара конечно был шок и возможно сотрясение, поэтому она лежала без движения.

Сделали операцию на челюсть, прокапали капельницы, привезли ее домой. Бабушка жены потом позвонила знакомым возле дома где нашли кошку, оказалось что они как раз ее хозяева. Отвезли кошку к ним 🙏
Сказали им, что завтра нужно опять показать кошку в клинике и провести физиотерапию.

Будьте добры и любите животных, они очень беззащитны. Если мы не поможем, то никто не поможет

Знакомые из X5 попросили найти классных аналитиков, уверен у нас такие есть в канале 😉

🤖 Data Analyst в Х5 Tech

В команде Х5 вас ждет:
— конкурентная зарплата, удаленка или гибридный формат;
— амбициозные проекты вроде собственной платформы по работе с нейросетями и автоматического ценообразования;
— прокачка навыков в корпоративном университете, митапы, конференции и общение с топами.

Развивайте один из продуктов:
— автоматизированное ценообразование;
— оптимизацию работы приложения;
— минимизацию затрат на транспорт.

Ожидаем, что вы:
— работаете в сфере Data Science или Data Analysis от трех лет;
— знаете Python;
— умеете проводить А/В-тестирования.

➡️ Откликнуться: @oooozhegovaaaa

🧐 Влияет ли удаленная работа на продуктивность?

#datalk

Давно в голове сидит идея запустить рубрику/отдельный канал в формате форума с обсуждением острых или спорных тем.

Почему кажется интересным:
1️⃣ интересно услышать множество мнений со стороны на одну тему, посмотреть как мыслят другие
2️⃣ может образуем своего рода нетворк и кружки по интересам
3️⃣ модерация тем в формате канала, не хочется создавать группу с открытым чатом из-за модерации и неудобного вовлечения в обсуждения, которые текут в одном потоке
4️⃣ послушать мнения экспертов и подчерпнуть их экспертизу и опыт
5️⃣ проверить гипотезу как это влияет на активность канала (простите, чисто шкурный интерес)

если формат зайдет и вам захочется больше тем для разгона, подумаю над переносом рубрики в отдельный канал, ну а если не зайдет - то лучше попробовать чем нет

Итак, все такие посты с темами для обсуждения будут публиковаться с хэштегом #datalk

ниже первый пост для обсуждения 👇

Основные мысли со второго дня конфы

📍Шаблонная архитектура data platform с точки зрения хранения данных: S3 + Greenplum + Clickhouse

S3 - объектное хранилище, можно писать любые форматы с любой структурой данных. Используется как часть Data Lake и промежуточным слоем хранения данных между источниками и core
Greenplum - основная БД хранения данных по слоям. Удобен, т.к. open source и является MPP-решением, что позволяет работать с большими объемами данных
Clickhouse - базенка для аналитических витрин, используют в основном для BI слоя и отчетов с возможностью real time аналитики. Понятное решение, т.к. клик является колоночной базой, что позволяет более быстро крутить метрики витрин чем напрямую это делать в GP.

📍Со стороны ETL было удивлением, что многие уже внедрили dbt для описания правил трансформации данных, думал что тренд dbt с запада будет к нам чуть дольше идти. В остальном никакие новые тренды не услышал, все стандартно: Airflow как оркестратор, Kafka для очередей.

📍У многих болит тема Data Governance, особенно у тех кто переходит в Data mesh. Ну правильно, чтобы не получить data mess вместо data mesh - нужно внедрять общие практики управления данными (Federated DG/DM) на уровне всей компании)

Разбираем тестовое задание на позицию Junior Аналитика в Самокат

Чтобы найти работу, мало пройти курс и сделать классное резюме. На практике, чтобы выделиться на собеседовании, нужно понимать, что лежит под капотом каждого инструмента, а не следовать конкретному заученному алгоритму.

Чтобы попрактиковаться в этом, приходите на бесплатный вебинар, где будем решать типичные задачи на SQL, которые дают на собеседованиях аналитикам на основании данных из Самоката.

Что будет на вебинаре:
- Проведем аналитику заказов и клиентов с помощью SQL

- Разберем фишки кода на SQL: CASE в агрегациях, удобная фильтрация и другие

- Построим мини-дашборд продаж в Metabase

Вебинар проведет Андрон Алексанян, CEO Simulative
🕗Встречаемся 12 ноября в 19:00

🎁Обязательно приходите смотреть вебинар в прямом эфире - в лайве будут дарить подарки, которые сильно бустанут старт карьеры в аналитике!

Зарегистрироваться на бесплатный вебинар

Много умных слов услышано на конференции

Заранее идя на доклады, связанные с клиентской аналитикой, ухожу с впечатлением, что все компании копают и двигаются в сторону еще большей клиентоцентричности и персонализации. Хотя кажется что персонализация и персональные рекомендации и так нас сильно окружают. Но оказывается можно больше и эффективнее…

Завтра разгружу голову другими темами типа BI и инженерии 👍

Завтра и послезавтра иду на конференцию Матемаркетинг

Вечером просмотрю еще раз программу конференции, чтобы заранее выбрать список докладов для посещения. Кто тоже пойдет, буду рад пообщаться 😉

Убил 3 часа своего времени

Поехал забирать заказ визиток-магнитов (да, вот что-то стрельнуло мне в голову что нужно попробовать сделать такие визитки). В итоге навигатор меня повел в какой-то тупик вдоль шоссе, и вместо 1 часа в одну сторону пробегал 2 часа. Ладно хоть успел забрать до закрытия

Доставку еды вот заказываю сидя на диване, когда в доме 4 магазина, а за магнитами поехать на 3 часа - х🤬ли нет

❓Как научиться извлекать максимальную пользу из данных?

Приходите на курс "Основы Data Governance" с Александром Бараковым от BI Consult и получите актуальные навыки в трендовой теме управления данными! Data Governance позволит вам навести порядок в данных, ускорить разработку в ИТ-системах, повысить надежность и качество данных, аналитики и отчетности.

📆Даты: 4-13 декабря 2024 года.

Формат курса: 5 встреч по 3 часа интенсива в онлайн формате для CDO, CIO, Data stewards, BI-менеджеров, Операционных директоров и всех кому тема близка.

Автор курса: Александр Бараков - эксперт с 10-летним опытом ведения Data Governance проектов.

Курс позволит сформировать глубокое понимание темы Data Governance и 'примерить' все это на бизнес реалии вашей организации. По итогам курса у каждого слушателя будет сформирована готовая стратегия по внедрению Data Governance в свою компанию и понимание того, как настроить управление данными в любом бизнесе.

🗂На курсе мы погрузимся в темы:

• Information Management (IM)
• Data Quality (DQ)
• Data Governance (DG) (основные элементы, технологии и практики)
• Master Data Management (MDM)
• Управление и оценка эффективности DG

Каждый участник будет заполнять excel-гайд своего проекта Data Governance, применяя разделы курса на контекст своей компании.

📌Почему стоит выбрать этот курс?

• Сильная база: Вы поймете почему данные - это важно, в чем их реальная ценность и как 'продавать' проект менеджменту.
• Практическая направленность: Курс включает реальные кейсы и задачи из бизнеса.
• Нетворкинг: Участвуйте в активном обмене опытом с другими участниками курса и расширьте свою профессиональную сеть. На нашем курсе обучаются CDO и CIO таких компаний, как Максидом, Сбербанк, ВК, Sunlight и KFC.

🔝Записаться на курс

Реклама. ИП Громов Сергей Леонидович, ИНН: 781133862981. Erid: CQH36pWzJppjxzA96HmYS4njtCiDXeoG2DtaLycgyPPCDF

Прошлый опрос показал, что практически половина голосовавших - аналитики (ничего странного с учетом тематики канала 🧐). Поэтому сейчас интересно посмотреть распределение по специализациям аналитиков, ниже будет опросик для вас, уважаемые аналитики

💪 Сила удаленного формата работы

Приехал в этот четверг в офис и в разговоре с командой стало понятно, что ребята быстро полюбили удаленку.

Немного контекста:
У нас проходила стажировка 3 месяца с условием работы в офисе, при этом кураторам (в данном случае мне) тоже нужно было ездить в офис.
Я рассказывал ребятам, что до стажировки появлялся в офисе за год всего 2 раза, поэтому после стажировки также уйду на удаленку. Команда на тот момент не понимала как можно работать без контакта в офисе и попросила приезжать хотя бы раз в 2 недели. Идея понравилась, поэтому пока ее придерживаемся, но в этот раз ребята уже сказали что полностью адаптировались к удаленке и у самих желания ездить в офис особо не возникает 😅

Вот так все быстро перешли на удаленный формат за месяц после окончания стажировки. Наверно дожди и холод этому поспособствовали ☔️

А вы в каком формате работаете?
👍- удаленка
❤️ - гибрид
🔥 - офис

☕️👨‍💻 А вы чем вечерами занимаетесь?

Проголосуйте пожалуйста ☝️
Хочу собрать портрет своей аудитории, чтобы готовить более подходящий для вас контент)

Открыл комменты, можете под этим постом написать свою профессию если не нашли ее в списке 😉

Аналитика данных / Data Study pinned «Привет! Меня зову Даниил, работаю Analytics Engineer в Сравни. Немного основной информации о себе и своем канале ⤵️ 🏙 Родом из Соликамска, живу в Москве уже 7 лет с момента поступления в ВУЗ 🎓 Закончил бакалавриат и магистратуру в НИУ ВШЭ, из интересного…»

Привет!
Меня зову Даниил, работаю Analytics Engineer в Сравни. Немного основной информации о себе и своем канале ⤵️

🏙 Родом из Соликамска, живу в Москве уже 7 лет с момента поступления в ВУЗ

🎓 Закончил бакалавриат и магистратуру в НИУ ВШЭ, из интересного успел съездить по обмену в Грецию "учиться" 😁
📚Инфокоммуникационные технологии и системы связи (бакалавр)
📚 Business Analytics and Big Data systems (магистратура на английском)

👨‍💻 В общем имею 5 лет опыта в аналитике, за это время сменил 3 компании
📍Леруа (System Analyst) ➡️ 📍EPAM (BI/DWH Analyst) ➡️ 📍Сравни (Analytics Engineer)

💼 На данный момент работаю на Lead позиции на проекте клиентской аналитики

✏️ Являюсь основателем образовательного проекта Data Study и автором курсов по аналитике данных, также автор данного канала и 2-х других
🔗 Data Вакансии - @data_vacancy
🔗 Книги по аналитике - @analyst_books

Также веду проектную активность в свое свободное время:
▪️ менторство и консультации
▪️ митапы и образовательные встречи для аналитиков компаний
▪️ консалтинговые проекты

В этом канале делюсь большим количеством полезного и бесплатного материала, как например эти посты:
🟣Дорожная карта аналитика данных
🟣Статьи по оконным функциям (часть 1 и часть 2)
🟣Исследование требуемых навыков в вакансиях data-специализаций
🟣Мок собесы на аналитиков
🟣Учебный проект по реализации платформы данных с нуля (часть 1, часть 2, часть 3)

Решил сменить закрепленное сообщение в канале. Расскажу вам актуальную информацию о себе и зафиксирую некоторые посты канала 😉

Решил расламиться дома и смотрите что нашел. Это игрушка с самой первой аналитической конференции, которую я посетил когда еще работал в Леруа. Так бы и не вспомнил об этой конференции и множестве полезных игр и докладов, которые тогда посетили с коллегами.

Все таки вещи способны хранить воспоминания…

Всем отличного вечера пятницы)

Управление безопасностью данных и распределения доступов с помощью CRUD-матрицы

🔎 CRUD-матрица -это один из методов управления информационной безопасностью в управлении данными. Используется подход построения матрицы данные-роли (столбцы матрицы) и данные-процессы (строки матрицы). Доступ управляется уровнями по аббревиатуре CRUD:
📍C (Create) - создание
📍R (Read) - чтение
📍U (Update) - обновление
📍D (Delete) - удаление

Иногда добавляют еще одно действие E (Execute) - выполнение

В каждую ячейку матрицы можно поставить как одно действие, так и сразу все, если эта роль должна иметь все доступы и возможности.

Привет!

Для тех кто хочет погружаться в Машинное Обучение есть курс, который читают студентам НИУ ВШЭ на Факультете Компьютерных Наук.

Записи лекций и семинаров выложены на Github: https://github.com/esokolov/ml-course-hse

pygwalker - библиотека Python для визуализации данных с удобным интерфейсом, очень схожим с Tableau.

Для быстрой визуализации результатов преобразований и анализа вообще супер! Всегда было запарно писать код для matplotlib или других визуалок, бывало что проще выгрузить sample данных в файлик и пойти повизуализировать в BI инструменте. Сейчас BI приехал прямо в Jupyter Notebook 🔥🔥🔥

Ссылка на описание pygwalker

💬 Кто такие Дата-инженеры (DE) и чем они занимаются?

Анализ данных - это работа аналитика, про которую я вам постоянно рассказываю. Но также я часто пишу про такие темы как ETL, батч и стриминг обработка данных, которые относятся уже к работе инженеров данных. Давайте обозначим кто и и чем занимается на проектах:

Аналитик данных
📍 оценка качества данных и подготовка данных для анализа (например, создание витрин данных)
📍 написание гипотез и непосредственно анализ данных (расчет метрик, проведение статистических экспериментов, описательный или прогнозный анализ данных)
📍 интерпретация результатов анализа для бизнеса, создание отчетов, дашбордов

Инженер данных
📍разработка потоков данных (ETL/ELT) и их автоматизация (чтобы данные из одного места автоматически попадали в другое место: например из CRM-системы в корпоративное хранилище)
📍настройка мониторинга работоспособности потоков данных (мало сделать сам поток, нужно чтобы он работал стабильно и качественно, а в этом может помочь мониторинг сбоев)
📍 оценка качества данных и подготовка данных для анализа (да, этим также как и аналитики могут заниматься инженеры данных)
Различие компетенций аналитика и инженера наглядно показано на картинке в посте

Упрощенную, но очень наглядную схему взаимодействия аналитика и инженера можно описать так:
1️⃣ Аналитик узнал у бизнеса какую задачу анализа требуется выполнить, перевел запрос бизнеса на техническое описание задачи (ТЗ - какие данные и где взять, в каком виде положить и как часто обновлять)
2️⃣ Инженер данных получил ТЗ от аналитика и выполнил его
3️⃣ ТЗ выполнено, аналитик получил данные, проанализировал, отдал результаты анализа бизнесу. Все счастливы и сделали свои куски работы

Рекомендую подписаться на канала Евгения "Я - Дата Инженер", если вы хотите еще больше узнать про работу инженера данных и какие навыки для этого нужны. Он кстати тоже работает в Сравни 😎

У него на канале есть огромное количество полезного материала:
🔗 Roadmap для Data Engineer
🔗 Видео про Hadoop HDFS
🔗 Канал на Youtube с подробными техническими видео про инструменты DE

Сходили вчера в Аптекарский огород

Это небольшой парк, в котором есть огромное количество разных видов растений как под открытым небом, так и в крытых галлереях.
Вход платный (есть льготные билеты), лучше идти в будни чтобы было меньше людей 😉

Локация

Наткнулся на исследование затрат предпринимателей и наемных сотрудников.
Круто когда бизнес знает все доходы и расходы своего клиента 😎 Так могут «подсказывать» клиентам куда потратить 💵 на свои же продукты или подкинуть партнеров, которые тоже принесут доход)

Почитать полное исследование можно здесь

Data Warehouse, Data Lake, Data Lakehouse, Data Fabric, Data Mesh – что это такое, и в чем разница между концепциями

Понравилась статья, делюсь как обычно с вами. Есть классная историческая справка (сможете похвастаться перед коллегами или на собесах знанием истории концепций хранилищ данных 😎). Если кто-то думает, что аналитика данных и Big Data зародились когда все об этом начали в рекламе курсов кричать, то вы далеко ошибаетесь, история уходит еще в 20 век.

Ну и лаконично описаны концепции хранилищ и показаны на визуальных схемах с основными элементами. Помогает понять зачем вообще такой зоопарк систем нужен и как это все обусловлено эволюцией подходов работы с данными.

Читать статью

Сегодня пополнение в моей библиотеке 😃

Какую первую начать читать? Голосуем реакциям)
👍 - левая книга
🔥 - правая книга

Всем отличных выходных и немного юмора 😁

Классный сборник ресурсов для data инженеров (или кто хочет им стать) https://github.com/DataExpert-io/data-engineer-handbook

Довольно часто сталкиваюсь с вопросами о рынке труда ☝️
❓есть ли спрос на специалистов
❓какие сейчас зарплатные вилки
❓можно ли без опыта найти работу
❓сколько времени занимает трудоустройство

Если не исследовать рынок и не изучать вакансии - на такие вопросы довольно сложно ответить, особенно начинающим специалистам.
Но есть очень крутые исследования и опросы специалистов из рынка, на основе которых можно понять что происходит сейчас и какая тенденция рынка.

Сейчас исследование проводят NEWHR по рынку аналитиков, они собирают данные каждый год начиная с 2018!

Рынок каких аналитиков исследуют?
➤ Дата-аналитиков
➤ Продуктовых аналитиков
➤ BI-аналитиков
➤ Маркетинговых аналитиков
➤ Веб-аналитиков

Что исследуют?
👉 Зарплаты и их динамика. Спрашивают про вилки, а потом делятся результатами и корреляциями.
👉 Рейтинг работодателей для аналитиков
👉 Где работают аналитики, как работают (удалёнка/офис), какие планы на трудоустройство.
👉 Как меняется зона ответственности аналитиков.
👉 Как аналитики ищут работу и выбирают работодателя.

Как принять участие в исследовании?
⏩ Заполните 20-мин опросник

После заполнения опросника у вас будет возможность получить не только результаты исследования (они планируются в начале 2025 года пока соберут все данные и проанализируют), вы также получите полезные ссылки и материалы от аналитиков в отрасли 😎🔥

Увидел сегодня вакансию с пометкой о количестве активных пользователей и количестве дашбордов 1200+
Аж мурашки от таких цифр побежали 😨

В таких кейсах всегда интересно как компания реализовывает интеграцию такого количества отчетов в удобное пользование, есть ли data-каталоги, либо системы data governance/management. Иначе потеряется качество данных, одни и те же метрики будут считать на разных отчетах по разному, да и пользователям вообще может быть сложно найти нужный им отчет в таком количестве.

📍Кстати, в публикации вакансий я реализовал пересказ полного описания вакансии с помощью LLM, чтобы посты были более лаконичными. Получилось очень неплохо если сравнивать пересказ с полным описанием)

Data вакансии - https://t.me/data_vacancy

Data Mesh - вид организации аналитических хранилищ

В современном мире данных, где объемы информации растут экспоненциально, традиционные подходы к организации аналитических хранилищ могут оказаться недостаточно гибкими и масштабируемыми. Одним из инновационных решений этой проблемы является концепция Data Mesh.

🔎 Data Mesh — это архитектурный подход к управлению данными, который децентрализует ответственность за данные и их качество. Вместо централизованного хранилища данных, Data Mesh предполагает создание сети децентрализованных доменов данных, каждый из которых управляется отдельной командой. Эти домены данных предоставляют данные как продукты, которые могут быть использованы другими командами и системами.

В чем его особенность от других типов хранилищ?

📍Децентрализация: В отличие от традиционных централизованных хранилищ данных, Data Mesh распределяет ответственность за данные между различными командами, что позволяет более гибко и оперативно управлять данными.
📍 Данные как продукты: В Data Mesh данные рассматриваются как продукты, которые имеют своих владельцев, потребителей и стандарты качества. Это способствует более высокому качеству данных и их лучшей доступности.
📍 Автономность команд: Каждая команда, ответственная за свой домен данных, имеет полную автономию в управлении этими данными, что позволяет быстрее реагировать на изменения и потребности бизнеса.

Какие плюсы есть в такой организации хранилища?

➕ Масштабируемость: Data Mesh позволяет легко масштабировать управление данными, так как каждая команда управляет своим доменом данных независимо от других.
➕ Гибкость: Децентрализованная архитектура Data Mesh обеспечивает высокую гибкость в управлении данными, что позволяет быстрее адаптироваться к изменениям и новым требованиям.
➕ Повышение качества данных: Рассмотрение данных как продуктов и назначение ответственных за их качество способствует повышению общего качества данных в организации.
➕ Ускорение инноваций: Автономность команд и децентрализованное управление данными позволяют быстрее внедрять инновации и новые решения.

Потенциальные минусы подхода Data Mesh

➖Сложность управления: Децентрализация ответственности может привести к сложностям в координации между командами, особенно в крупных организациях.
➖ Риск дублирования данных: В условиях децентрализованного управления данными возрастает риск дублирования данных и возникновения несогласованностей.
➖ Необходимость в стандартах и соглашениях: Для успешного функционирования Data Mesh необходимо разработать и поддерживать общие стандарты и соглашения по управлению данными, что может потребовать значительных усилий.
➖ Зависимость от культуры организации: Успешное внедрение Data Mesh требует определенной культуры и менталитета в организации, что может быть сложно достичь в организациях с незрелой Data-культурой.

🔗 Полезные ссылки про Data Mesh
🔗 Data Mesh Architecture
🔗 Статья про Data Mesh на Habr
🔗 Сравнение подходов Data Fabric и Data Mesh

Временные таблицы в базах данных

В ETL процессах часто возникает необходимость в промежуточном хранении данных. Одним из эффективных решений для этой задачи являются временные таблицы.

🔎 Временная таблица — это специальный тип таблицы в базе данных, которая существует только в течение сессии пользователя или до конца транзакции. Она создается для временного хранения данных и автоматически удаляется после завершения работы.

Чем они отличаются от обычных таблиц?

1️⃣ Временность: Временные таблицы существуют только в течение сессии или транзакции, тогда как обычные таблицы сохраняются в базе данных до тех пор, пока их не удалят вручную.
2️⃣ Изоляция: Временные таблицы видны только в пределах текущей сессии или транзакции, что обеспечивает изоляцию данных между разными пользователями или процессами.
3️⃣ Производительность: Временные таблицы часто хранятся в оперативной памяти, что позволяет значительно ускорить операции с данными.

Эти особенности и дают плюсы использования временных таблиц для оптимизации ETL

Пример создания временной таблицы в SQL из результата SELECT запроса:

CREATE TEMPORARY TABLE temp_table (
    id INT,
    name VARCHAR(50),
    value DECIMAL(10, 2)
);

--либо создание из результата SELECT запроса
CREATE TEMPORARY TABLE temp_table AS 
SELECT 
id
, name
, value
FROM table
;

Также хочу отметить, что временные таблицы позволяют оптимизировать выполнение запросов, если вам нужно преобразовывать и извлекать данные из множества разных таблиц в базе. Например, если из таблицы с продажами за все время вам нужны продажи только за последний месяц для разных видов расчетом, сохраните продажи за последний месяц во временную таблицу и обращайтесь к ней для ваших расчетов, чтобы не делать несколько тяжелых запросов к таблице всех продаж.

Это кажется ужасным поступком со стороны компании поступить так со своими сотрудниками, несмотря на все санкционное давление 😔

Надеюсь найдутся правильные правовые рычаги компенсации для сотрудников после таких поспешных действий компании 💪

Оконные функции простым языком - Фреймы (часть 2)

Спустя 2 года после написания первой части статьи наконец дошли руки до второй части.

🚨 Материал исключительно для новичков в SQL и применении оконок, опытные SQLисты проходите мимо. А то там в комментариях уже начали накидывать сложные кейсы, что я их в статье не указал, и вообще не расписал учебник вместо статьи со всей теорией и практикой в одном месте 😅

Читать статью

Фреймворки Python с параллельной обработкой данных

Часто на практике возникает потребность обрабатывать большие объемы данных, либо работать с большим набором запросов к сервису. Делать это в один поток выполнения кода не всегда эффективно и быстро, а сделать эту работу параллельной помогают различные фреймворки или ETL инструменты.

Читать статью про фреймворки Python для параллельной обработки данных

Где искать вакансии с анализом данных

Привет! Это статья будет полезна начинающим специалистам по анализу и работы с данными в формате сборника ресурсов для поиска вакансий.

Статья

Хочется пожелать всем замечательной рабочей недели и чтобы вы не испытывали стресс как и эти котики 😉

Вчера после работы гуляли и зашли в книжный магазин. Нашел много интересных книг, но покупать их там конечно же не стал, ведь на озоне они в 2 раза дешевле)
Заказал пока только «Мама, я тимлид», после прочтения поделюсь своими впечатлениями