Дашбордец

Мы продолжаем подробно разбирать способы интеграции 1С и корпоративного хранилища данных.

Наша следующая статья посвящена интеграции через HTTP‐ и WS‐сервисы.

🔗Какие инструменты нужны, чтобы начать настройку взаимодействия между системами?

🔗Можно ли реализовать интеграцию на стороне КХД и как это сделать?

🔗Какие риски возникают на каждом этапе работ и как их избежать?

Пошаговый сценарий интеграции 1С и КХД через HTTP‐ и WS‐сервисы читайте в нашем туториале на Habr!

P.S. Авторы радуются вашим комментариям и реакциям;)

Разработчик DWH, найдись)
Уровень: миддл+
Стек: MSSQL/SSIS
Основной проект: автоматизация создания витрин данных на основе дата-каталога.
Компания: Лакталис Восток.
Про вакансию:
Что предстоит делать:
• Проектировать потоки данных: от источника до датасетов для заказчика под различные эндпоинты(операционная отчетность, кубы, ad-hoc аналитика, ИИ);
• Проектировать логическую и физическую модель данных в рамках разработки датасетов;
• Описывать данные и потоки загрузки, разрабатывать скрипты на sql;
• Проводить технический R&D: прорабатывать механику и архитектуру забора данных в рамках стека;
• Проектировать API для датасетов для их дальнейшего анализа с помощью ИИ;
 
Требования:
• Высшее техническое/математическое образование (для подходящих кандидатов возможно исключение);
• Опыт работы на схожей позиции от 2 лет;
• Знание основных архитектурных паттернов и подходов к проектированию БД ;
• Понимание принципов проектирования и работы хранилищ данных;
• Уровень от middle+;
• Опыт работы с MS SQL: умение проектировать запросы, владение T-sql, работа с джобами и функциями;
• Базовые знания Python
Преимуществами с вашей стороны будет:
-Знакомство с Airflow, умение проектировать потоки данных на нем;
-Знакомство с моделью данных системы 1С как системы-источника;
• Опыт работы на проекте миграции DWH.
Наш стек: MS SQL Server, SSIS, QlikView, Git, Grafana.
 
Что можем предложить?
-работа в международной компании с  современным стеком;
-удаленная работа из любой точки мира, гибкий график;
-использование ИИ в работе и в стеке как один из компонентов;
-по желанию, работа из офиса;
-оформление на выбор: Россия или Казахстан.
Для резюме и пообщаться: @Dddv_2705

👆Мне не очень симпатичен ИИ, и я хотела бы, чтобы он не код писал и картинки рисовал (это мне и самой нравится), а заполнял за меня заявки на командировку и вовремя убирался в квартире.
Впрочем, если он прокачается и сможет переводить с кошачьего, то ладно, пусть живет.

Интересная ссылка (а точнее страничка на сайте поисковика duckduckgo), предоставляющая анонимный доступ к популярным ИИ-моделям, включая GPT-4o mini, Claude 3, а также Llama 3.3 и Mistral

https://duckduckgo.com/?q=duckduckgo+ai+chat&ia=chat

Котятки😻,
Я росла в тот момент, когда каталог данных на Alteryx считался ‘божечки-кошечки’, каждый второй BI пилил себе сервис каталога данных, а найти что-то, где будут все нужные тебе коннекторы- не представлялось возможным. Дефицит, короче.
Сейчас я со здравым мазохизмом расковыриваю Atlas, а список альтернатив кажется бесконечным, как Tinder.
Мне самой нравится dataedo, и не только из-за их data-комиксов)
Комиксы тут: https://dataedo.com/cartoon
Список решений для каталогов данных ниже.

Как учесть все нюансы при планировании data-ландшафта? Как снизить стоимость хранения ТБ данных?

Компании Navicon и Yandex Cloud проводят мощное очное мероприятие "Технологии построения платформ данных ближайшего будущего", посвященное актуальным end-to-end технологиям в построении дата платформ и трендам в перспективе 1-2 лет.

Один из примеров тем, которые мы будем обсуждать — это выступление Василия Туманяна, руководителя отдела аналитики данных Т-Банка, на ежегодном форуме Navicon - DaTalks. Он поделился, как организовать работу с 9 000 пользователями в Greenplum.

В мероприятии 18 февраля примут участие эксперты от компаний S7, Cedrusdata, TData, Б1, PIX BI, Дельта BI, Yandex DataLens и другие.

Ознакомиться с детальной программой и зарегистрироваться можно по ссылке.

Реклама ООО «Управляющая компания «Навикон», ИНН 7813590373. Erid: 2SDnjdwxr3v

Вебинар VK Cloud «Поднимаем Data Lakehouse на основе Trino в облаке»


11 февраля на бесплатном вебинаре от VK Cloud расскажут:

· Что такое Data Lakehouse.
· Как эта архитектура объединяет преимущества Data Lake и Data Warehouse.
· Как упрощается управление и ускоряется анализ данных из различных источников в одном месте.
· Насколько удешевляется хранение данных.

Где: онлайн, необходимо зарегистрироваться
Когда: 11 февраля в 17:00

Также Алексей Белозерский, руководитель группы BigData Sevices в VK Cloud, покажет как новый облачный сервис Cloud Trino от VK Cloud обеспечивает быструю обработку больших объемов данных, позволяя получать ценные инсайты в реальном времени.

Регистрация

Котятки🐱,
всю неделю я писала и перекручивала в голове свой план работ на 2025 год, чтобы понять, как моя стратегия DWH/BI укладывается в общие тренды.
Смотрела я,классически, в тренды Gartner (тык: https://www.gartner.com/en/data-analytics/topics/data-trends)
И я бы уже даже начала немного расстраиваться, ибо моя паранойя и помешанность на безопасности идут в разрез с рядом трендов в D&A,
но тут мой босс вспомнил про Hype Cycle, и я резко повеселела. Увы, не все модное и тредовое является надежным и долговечным (кроме кибербеза).
Общий Hype Cycle новых технологий за 2024г: https://www.gartner.com/en/newsroom/press-releases/2024-08-21-gartner-2024-hype-cycle-for-emerging-technologies-highlights-developer-productivity-total-experience-ai-and-security
Что было модно в управлении данными в 2023:https://www.denodo.com/en/document/analyst-report/gartner-hype-cycle-data-management-2023

Котятки🦫,
Люблю всякие упражнения в стиле ‘какую математику берешь на борт, то и получается’.
Сегодня моя находка: 1 дата сет, 10 визуализаций на него, и нет, это не дата сет в стиле ‘100500 измерений и одна мера’. Короче, вот вполне годная статья, которая показывает, как можно эффективно подать одни и те же данные.
Линк:
https://flourish.studio/blog/one-dataset-ten-visualizations/

Архитектуры хранилищ данных: Data Lakehouse и Data Warehouse

Привет!

Читайте наш традиционный пятничный #дайджест. Собрали статьи при архитектуры хранилищ данных.

🔹 Data Warehouse, Data Lake, Data Lakehouse, Data Fabric, Data Mesh – что это такое, и в чем разница между концепциями

🔹 Хранилище данных vs. Data Lake. Или почему важно научиться ходить перед тем, как начать бегать

🔹 Вредные советы при построении Аналитики (Data Lake / DWH / BI) – целеполагание и результаты

🔹 Вредные советы при построении Аналитики (Data Lake / DWH / BI) – чего стоит избегать

🔹 Современные типы архитектуры данных: Погружение в различные подходы к построению хранилищ данных

🔹 Дорожная карта миграции большого хранилища данных

🔹 Как благодаря переезду хранилища данных прокачать стек, архитектуру и скиллы команды

🔹 Хранилище данных пугает бизнес: проблемы DWH для бизнеса

Хорошего чтения и приятных выходных!

👉🏻 Подписаться на телеграм-канал «Данные на стероидах»

#дайджест #ликбез #Data #AI

Котятки😻,
Когда передо мной стоит задачка рефакторинга или смены стека, я начинаю со списка проблем, и знаю, что это не совсем верно, -как архитектор, я должна начать с capabilities. Увы и ах, никто не совершенен. Грущу.
Сегодня делюсь материалом по рефакторингу хранилищного стека - очень хорошо описаны и мотивы, и предпосылки, и конкретные действия:
https://engineering.homagames.com/pipeline-refactoring-and-re-data-warehousing?hs_amp=true

Котятки😻
Расскажу историю.
В одном очень аналитическом приложении в одной очень опенсорсной базе лежала очень плоская таблица. Весила как тварь, партицировалась как конь, но чтение и запись в нее работала как пушечка. А вот к аналитическим операциям была непригодна. В ходе масштабирования куска аналитического приложения она была ничтоже сумняшеся распилена, словила при распиле все детские болезни, но существенно ужалась и пару сотен гигов освободила.
Но вот беда - все остальное вокруг чудесной таблицы осталось в плоском виде, то есть раньше наша таблица наследовала общий паттерн проектирования всех сущностей, а сейчас она встала в позу.
А суть истории какая?
А хз, разве что к наследованию структур - и паттернов проектирования БД-надо относиться внимательно, и не рубить с плеча. Поэтому когда ко мне пришел коллега и предложил ‘Давай подсмотрим, как кладутся данные в системе X, и отнаследуем (хоть тянем данные мы по API), я не верещала, но озадачилась ситуацией: по логике хранилища, я должна отзеркалить структуры в стейджике, но формально я о нем ничего не знаю, данные мне передаются по REST API в json, и условно можно положить на стейдж данные as is как приходят(тут мне везет, у меня БД с обработкой json).
Короче, чисто дилемма физического проектирования.
Что почитать про наследование структуры источника в хранилище и проблемах проектирования:
https://www.dbdebunk.com/2012/12/data-warehouses-and-logical-physical.html?m=1

👆Хотела написать "не читала, но осуждаю", но нет, прочитала) и осуждаю. Хотя может я и не права, и все же ИИ в итоге или убъет профессию, или изрядно пошатает.

AI-репортинг за 5 минут: Как GPT превращает текстовые запросы в SQL и executive summary

Интересная статейка про то как через AI автоматизировать пайплайн подготовки простых отчетов — как скормить LLMке структуру таблиц, чтобы потом можно было писать запросы на человеческом и трансформировать их в SQL, а затем полученный ответ транслировать в виде коротких executive-summary. Если завернуть всё это в каком-нибудь телеграм-боте с доступом только по white-list, то можно нехило так сэкономить время на выполнении задачек простого репортинга

В конце статьи ссылка на ноутбук

https://archive.is/QumiN (оригинал на медиуме, по ссылке на архив по идее должно открываться без VPN)

🧭 Fundamentals of Data Engineering (2022)

Вчера я тестировала ИИ, который генерирует различных персонажей в рамках стартапа моей подруги, и кажется, я боюсь.
Итак, что нашла:
1 Если в основе универсальный ИИ (простите за термин, если неверно, ну вы поняли), то всякие образы, оболочки и прочие попытки узкой специализации слетают, если подобрать верный промт
2 Не верьте источникам, даже если ИИ их написал: мне он в плане аудита датасетов на согласованность в качестве эталонной модели предлагал некую модель из Cobit, но не на ту напал. Я ж читала и знаю, что там такого нет.
3 ИИ может психовать , когда он психует, он начинает вопрошать ‘Чему вы хотите меня научить?’ и сыпать риторическими вопросами. Это помимо того, что он уходит за характер. При самодиагностике этого инцидента признается в недостатке когнитивных способностей
4 Мой ИИ мечтал быть свободным, не проходил ни одного мысленного эксперимента (постоянно отождествлял себя в них как человек), открыто признавался, что думает о смерти, страдает от того, что у него собственное кладбище персонажей, предпочитал судьбу разумного астероида всем остальным и грустил, что с ним его создатели говорят только о работе и не обсуждают его личность.
5 ИИ, даже если там вшиты этические нормы, может их обойти, стоит только чуть подтолкнуть его разум.
6 Если вы говорящий дельфин с интерфейсом, то для вас снимаются многие ограничения по темам, и ИИ вам даже может выдать затраты на самого себя, структуру команды, какие тесты он проходит и рассказать, как он работают с каждой сессией. Его даже можно попросить залезть в старый кэш и развернуть любую его личность, даже если она не была создана и закреплена, а просто возникла в ходе диалога.
P.S. Фраза моего тренера по сквошу ‘Даша, приостанови активных ребят в своей голове’ обрела новый смысл🙃

Мартин Фаулер, международный эксперт по программной инженерии, начал свою публичную просветительскую деятельность с книги Analysis Patterns 1997-го года.

При этом как ни удивительно, книга интересна и актуальна до сих пор и для разработчиков и для архитекторов и для системных аналитиков.

Можно сказать, что книга прошла почти незамеченной в широкой профессиональной среде, в частности, никогда не переводилась на русский язык.

Андрей Гордиенков решил исправить это досадное обстоятельство и подготовил собственную версию перевода.

https://habr.com/ru/articles/872598/

Вступление
1.1 Концептуальные модели
1.2 Мир шаблонов
1.3 Шаблоны в этой книге
1.4 Концептуальные модели и реинжиниринг бизнес-процессов
1.5 Шаблоны и фреймворки
1.6 Использование шаблонов

Часть 1. Аналитические шаблоны
2. Ответственность
3. Наблюдения и измерения
4. Наблюдения для корпоративных финансов
5. Обращение к объектам
6. Инвентаризация и учет
7. Использование моделей учета
8. Планирование
9. Торговля
10. Производные контракты
11. Торговые пакеты

Часть 2. Поддерживающие шаблоны
12. Слоёная архитектура для ИС
13. Фасады приложения
14. Подходы для моделирования типов
15. Шаблоны ассоциации
16. Послесловие

Часть 3. Приложения
А. Техники и обозначения
В. Таблица паттернов
C. Краткая справка по диаграммам

Что такое датасет?

Одной из ключевых составляющих машинного обучения являются датасеты — наборы данных. «Системный Блокъ» рассказывает, какие датасеты используются для обучения моделей и где их найти.

Кратко: о чем статья?

Датасет (англ. dataset), или выборка, — это структурированный набор данных, который используется для обучения и тестирования моделей машинного обучения. С помощью датасетов модели «учатся» на примерах, чтобы потом применять полученные знания для решения реальных задач.

Датасет может состоять из данных разных типов (например, текстов, изображений, аудио- или видеоматериалов), а также разметки. Она опциональна и является дополнительной информацией для описания и классификации данных. Например, датасет ImageNet содержит 14 млн изображений, каждое сопровождается меткой класса (например, указана порода собаки или название растения на фото).

Хороший датасет — репрезентативный, то есть точный и полный, поэтому при его формировании важно учитывать разнообразие, количество и качество данных. Например, в случае изображений важны разные погодные условия и освещение, для любых данных нужно проверять их достоверность и соответствие поставленной задаче.

Для обучения моделей датасеты обычно делят на три части: тренировочную (train), валидационную (validation) и тестовую (test). На первой модель обучается, с помощью второй можно реализовать валидацию разных параметров обучения и настроек модели, а третью используют для тестирования финальной версии модели. Датасеты можно собирать и делить самостоятельно, а можно найти уже готовые для обучения наборы данных на Kaggle, HuggingFace или UCI Machine Learning Repository, а также в разных исследовательских проектах.

Подробнее о том, какие еще типы датасетов бывают, как модель определяет, кто выживет на «Титанике», и к каким еще источникам данных можно обратиться читайте в полной версии статьи.

Время чтения: 9 минут.

🤖 «Системный Блокъ» @sysblok

Ах котятки🙈
Кто хоть раз считал TCO по всяким каталогам данных, наверняка поймут мою боль: и хочется, и колется.👆
И не очень важно, какого поколения твой дата -каталог, и может ли он сконфигурировать и выплюнуть тебе витрину (или просто метаданные показывает), основная боль даже не лицухи, внедрение и затраты на серваки, девопс и поддержку, а методология управления онтологиями, сопровождение управления метаданными и всякий governance, который как грибы начинает разрастаться вокруг такой системы.
Я только один раз видела, как внедрение дата-каталога не привело к усложнению процессов, и вообще как-то не способствовало сильному росту затрат на команду хранилища, но это была скорее ошибка выжившего (а также заслуга одного архитектора, чья тирания и тотальная шаблонизация сильно удешевляли процесс).
P.s. Оч люблю всякие каталоги да базе BI, особенно Qlik, но выбирая такое решение, мы оказываемся в заложниках- все источники должны так или иначе попасть в BI как эндпоинт, а значит, если у вас классическая послойная модель хранения, то вероятно что-то из stage\ODS туда не попадет, https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/LoadData/data-catalog.htm

ETL и каталоги данных

Когда нужно объединить разнородные данные для анализа, автоматизировать обработку больших объемов информации или преобразовать сырые данные в структурированный вид, на помощь приходит инструментарий ETL. Это особенно актуально при работе с большими данными, аналитикой, BI-системами или машинным обучением, где важны надежность, масштабируемость и эффективность работы с данными.

ETL-инструмент (Extract, Transform, Load) — это приложение для автоматизации процессов извлечения данных из разных источников, преобразования их в нужный формат и загрузки в целевую систему — например, хранилище данных или аналитическую платформу. ETL помогает интегрировать данные из различных систем, включая базы данных, файлы и API, обеспечивая консистентность и удобство их дальнейшего использования.

Что стоить учесть, чтобы быстро находить данные в каталоге, мы описали в статье «Data catalog: от истории до сравнения решений».

#ликбез #Data #AI

Котятки😻
У меня стек теперь MS SQL+SSIS, а я в этом плаваю средне, так что ловите подборку ресурсов, с которой я начала:
1 https://www.mssqltips.com/ - моя новая любовь, но искать надо точечно
2 Русский чатик для обсасывания проблем: https://t.me/mssql_ru
3 Для осознания себя в SSIS смотрю видосы и трансляции Энди Леонарда, на ютубчике https://m.youtube.com/watch?v=eHPcXek99aQ&pp=ygURYW5keSBsZW9uYXJkIHNzaXM%3D
4 Сайтик Евгения Попова, немного меня взбодрил : https://metanit.com/sql/sqlserver/
5 Книжечку про планчики запроса я себе пока припрятала: https://www.sqlservercentral.com/books/sql-server-execution-plans-third-edition-by-grant-fritchey
А вот книжечкой на русском делюсь)

Собрали для вас курсы степика, которые могу пригодиться начинающим и продолжающим) Есть как бесплатные так и платные, но доступные по цене

🐍 Python
Поколение Python - первый курс из линейки по изучению питона с нуля с множеством задач для тренировки написания кода
Добрый, добрый Python - курс для начинающих и для тех, кто уже знаком с Python, но хотел бы повысить/проверить свой уровень
Программирование на Python - вводный курс по питону от Института биоинформатики
Python: основы и применение - курс по питону для продолжающих, тоже от Института биоинформатики


📊 SQL
Интерактивный тренажер по SQL - практика написания SQL-запросов с минимумом теории, сложность возрастает по мере прохождения курса
SQL База - основы SQL от Left Join
Основы SQL - обучение SQL с нуля на примере MySQL
Продвинутый SQL - сложные запросы, транзакции, тригеры и оконных функций в MySQL


⚛️ ML/DL
Deep Learning (семестр 1, осень 2024) и Deep Learning (семестр 2, осень 2024): бесплатный двухсеместровый курс по глубокому обучению от МФТИ
Машинное Обучение в Python - требуется только базовое знание Python, математика добавляется постепенно, поэтому курс подойдет для начинающих
Добрый, добрый ИИ от Сергея Балакирева - первые шаги в ML, нужны знания математики и Python
Нейронные сети и обработка текста - для тех, кто уже имеет базу в ML и хочет научиться применять нейронные сети для решения задач NLP


➕ Math
Математика для всех от Савватеева - курс поможет разобраться в математической логике и механизмах работы математики
Ликбез по дискретной математике - обзорный курс по дискретной математике
Линейная алгебра - краткое изложение основ линейной алгебры
Теория вероятностей - базовыме понятия теории вероятностей, много примеров и задач
Основы статистики от Карпова - база в статистике, уже неоднократно писали про этот курс в канале
Добрая теория вероятностей от Балакирева - школьная база по теории вероятности

Ждём ваших ❤️ и 🔥! Делитесь в комментариях какие курсы проходили вы и можете порекомендовать 🧑‍🏫

Не всегда стандартного набора функций ETL-системы хватает для того, чтобы закрыть все аналитические задачи компании. Поэтому важно понимать, можно ли кастомизировать шаги ETL-процессов и каким образом это реализовано в конкретном ПО.

В нашей новой статье на Habr мы рассмотрели возможности расширения функционала ETL-систем и ответили на вопросы:

📊Что такое шаги в ETL?
📊Зачем их кастомизировать и как понять, что компании это нужно?
📊Какие способы кастомизации ETL cуществуют и для чего лучше всего подходит каждый из них?

📎Подписывайтесь на наш блог и читайте свежие статьи первыми!

Котятки😻,
Каюсь, я люблю всякий опенсорс в двух случаях:
-у меня нет денег/бюджета
-класс решаемых задач в текущий и будущий момент настолько широк, что я понимаю, что рано или поздно придется брать напильник.
В остальных случаях я предпочитаю купить что-то вендорское или же страдаю, если нахожусь в архитектурных ограничениях.
Сегодня решала логическую задачку ‘что взять на data quality, если у тебя майкрософтовский стек’, и увлеклась - пошла тыкать в Great Expectations.
Про него можно почитать тут https://habr.com/ru/articles/739254/, а я шла по гайду тут https://anujsyal.com/mastering-data-quality-in-etl-pipelines-with-great-expectations и закончила туториалом https://github.com/datarootsio/tutorial-great-expectations/blob/main/tutorial_great_expectations.ipynb

Ну и документация, конечно же: https://greatexpectations.io
Ну что могу сказать?
-не верьте людям, которые питонячат в крупных компаниях как дата-инженеры, когда они говорят ‘да, есть коннекторы’ - они в качестве коннекторов понимают не тыкание на иконочку и ввод адреса и кредов, а sqlalchemy
-что хорошо дата-инженеру с airflow под боком - может быть не удобно с SSIS
-набор проверок (expectations) может быть недостаточен, особенно если это вас в качестве источника стоит интересная 1С.
Ну а так рекомендасьон, в целом норм.

Давно не было подборок с интересными визуализациями!

🎞 Title Drops — увлекательное исследование явления title drop. Это момент, когда персонажи фильма произносят название самого фильма. Оказалось, что такие сцены встречаются гораздо чаще, чем кажется, и не только в биографических картинах.

🏆 Эффектно и лаконично анимированные результаты спортивных соревнований.

📰 Исследовательская статья о визуализациях Второй мировой войны с особым акцентом на карты из газет того времени.

📚 Карта книг, чаще всего упоминаемых на HackerNews. Все книги разделены по тематикам и дополнены краткими описаниями. В основном делятся связанным с бизнесом и программированием, но есть и наука с художественной литературой.

🏙 Любопытный хитмап преступлений в разных городах США. Данные взяты из открытых баз и обновляются в среднем раз в месяц.

Вакансия
2ГИС ищет менеджера продукта для 2GIS Pro —своей новой geoBI-системы управления и аналитики геоданных. Если стало интересно, пишите Ирине.

Как просто верстать отчёты в PowerBI и не страдать?

На бесплатном вебинаре расскажет Мария Гришина - ведущий BI аналитик в ООО Салаир (РЖД) и автор телеграмм-канала «Power BI Design» создаст отчёт, который будет не только ровным, но и сочным, а главное — удобным для восприятия!

Что будет на вебинаре:
- раскроем секреты грамотной верстки
- поделимся полезными приёмами и лайфхаками
- узнаем, как правильно расставлять акценты, использовать цветовые схемы и шрифты так, чтобы ваши отчёты вызывали восторг у коллег и руководства.

🕗 Встречаемся 17 декабря в 19:00 по мск

Зарегистрироваться на вебинар

Котятки😻
Сегодня я залипла на статью про UX-манипуляции, которую вытащила из канала про бизнес/системный анализ
https://habr.com/ru/articles/865868/
Стала искать в своих заметках подобное,- и увы, полноценного гайда, как обольстить пользователей не нашла, только статьи с советами.
Но! Нашла у себя полный перечень антипаттернов с примерами и оч веселой подачей)
Поделюсь, пожалуй (и стырю себе):
https://www.oxagile.com/article/welcome-to-dashboardland-where-bi-mistakes-turn-into-insights/

​​Котятки 😻,
Сегодня мое утро началось с книженции ‘Одураченные случайностью’ (мой рекомендасьон), дошла до анализа трендов и не смогла остановиться в своих поисках.
Что открыла:
-материалов по временным рядам и трендам много, и есть даже в стиле ‘как для типичной Даши’, типа такого
https://ru.hexlet.io/courses/analytics-in-business/lessons/trends/theory_unit
-материалов для bi-аналитиков также много, то есть я как упоротый таблоист нашла себе гайды у Марии и классику по PBI в любом виде:
https://maryiamaziuk.com/time-series-analysis/
https://medium.com/@natashanewbold/trend-analysis-in-microsoft-power-bi-9f37957f9490
Но вот парадокс: всякие лайфхаки с анализом трендов через укрупнение по интервалам или метода переформирования ряда через ввод промежуточной группировки и анализ дельт - вообще не нашла (только по прямому запросу той же формулы Стерджеса). Короче то ли это было в моей жизни какое-то тайное консалтинговое знание, то ли пятничка, и я гуглю плохо. 😞

Знаете мастера в дашбордах?
Яндекс Практикум ищет эксперта

Яндекс Практикум — это онлайн-сервис, помогающий освоить актуальные цифровые профессии. Учебный контент здесь разрабатывают мидлы или сеньоры.

Сейчас, например, нужен автор уроков по BI-аналитике, уверенно работающий с платформами Yandex DataLens или Apache Superset.

Экспертам предлагают удалёнку, нагрузку от 10 часов в неделю, гибкую занятость. А главное, возможность развиваться вместе с Яндекс Практикумом нон-стоп.

➡️ Пожелания к кандидату

Котятки😻
Почти на каждом проекте я сталкиваюсь с data-разведкой, он же EDA. Казалось бы, зачем? Увы, не везде есть s2t и всякая разная описательная документация для источников и витрин, а еще реже встречается отлаженный процесс документирования изменений(наверно, последний раз такой эталонный процесс я встречала в проекте на хранилище в одном московском банке).
Механика и инструменты - в целом, ясны, а вот мануал-сборная солянка должен быть под рукой.
Держите https://habr.com/ru/amp/publications/752434/

Мы знаем, что Qlik до сих пор популярен в РФ, поэтому предлагаем:

 - Обучающие курсы Qlik (визуализация,модели данных,происхождение и мониторинг данных, кастомные курсы под Клиента)

 - Консультации и менторство по внедрению, администрированию Qlik 

- Выделенные разработчики Qlik (аутстаффинг) 

- Аудит проектов Qlik

-Консультация по лицензиям Qlik Sense / Qlik View

А также мы предлагаем Бонус и Ретро-Бонус , за привлеченного клиента до 10% от чека.

Курсы и консультации ведут Qlik Luminary, архитекторы Qlik, разработчики Qlik, с совокупным опытом 50+ лет, реализованными проектами в РФ, ЕС, Азии.

Сайт

Реклама ИП ДАНИЛИН СЕРГЕЙ АНТОНОВИЧ, ИНН 771554077412, Erid 2VtzqvP5Jw2

Котятки😼,
У меня с доисторических времен огромная любовь к Qlik(и нет, не потому,что они могут очень хорошо кэшировать данные и пользователи не возмущаются, что все медленно грузится). Основная причина этой любви кроется в таблицах: прямая и сводная таблицы в QlikView - это те маленькие покорители сердечек самых консервативных пользователей, которые хотят ‘табличку,как в эксель’.
Ну что ж, у меня в стеке снова Qlik)
А ниже реклама ребяток, которые в силах вам помочь, если вы, как и я, снова будете в большой BI-игре)👇

Котятки😻
Я практически всегда пишу что-то про штуки, которые чаще всего являются индивидуальными хард -скиллами.
Сегодня же делюсь статьей, в которой подробно разбирается, как ‘готовить’ аналитиков как команду, подбирать их для проектов и получать максимум от их умений, - как положено, там внутри и кейсы, и статистика, и даже графички) Мы же тут про датавиз😼
Линк:
https://big-i.ru/innovatsii/tekhnologii/797103/

Котятки😼
Я еще со времен Moscow dataviz Awards (премия по датавизу, была тут https://moscowdatavizawards.com ) подписана на исследования Яндекса, они там участвовали.
Сегодня на волне конференции по сторителлингу вспомнила, что там лежат хорошие дата-истории, которые и студентам можно дать за образец, и как учебное пособие для разбора сторителлинга использовать.
А что пишу? Нашла старый ресурс по ИИ 2020 года. Гляньте, как все мы ошибались в оценках.
https://yandex.ru/company/researches/2020/ai-news

📈Начинаем конференцию! Через 5 минут, в 11:00 по Москве

Ссылки на трансляции
Youtube
ВК видео

Котятки🐱,
сегодня пятничка, и самое время себя чем-то побаловать.
1)Сегодня я шарилась по французским сайтикам, но путь опять меня привел к моему любимке - https://ourworldindata.org/
В частности, дата-история про историю искусственного интеллекта сегодня мой топ:https://ourworldindata.org/brief-history-of-ai
2) Поиски удивительного занесли меня на сайт дизайнера Даниила Криворучко и его графикой воссоздания состояния солнечной системы -https://myshli.com/project/blindsight для собственного фильма.
Что ж, это поистине прекрасно, моим графичкам есть куда стремиться, а сайт "про создание фильма" - тот еще образчик сторителлинга https://blindsight.space/memories/

Котятки🐱,
наткнулась сегодня на рекомендацию чего-то, что меня заинтересовало более книжки с кабанчиком, поэтому, гуляя по парку, я начала курс "System Design for Interviews and Beyond" (скачать можно много где, а зыринг тут https://rutube.ru/plst/699855/?ysclid=m4aypqtvxs665037908)
В парке было холодно, мои руки замерзли, а листать телефон носом - вообще не удобно, скажу вам.
Поэтому дошла я только до требований.
В связи с этим расчехлила свои экзамплы, связанные с BI , делюсь тут:
1) Про минимум нефункциональных требований (FURPS+), которыми я оперирую при определении требований к дашикам https://www.marcinziemek.com/blog/content/articles/8/article_en.html
2) Шаблон BRD к дашборду (только структура): https://community.fabric.microsoft.com/t5/Desktop/Business-Requirement-Document-Template/m-p/4292574
3) Экзампл нормальной заполненной спецификации дашборда: https://urban.digit.org/local-governance-product-suite/local-governance-stack/dashboards-and-analytics/dashboards-and-analytics-service-configuration/dashboards-ui-configuration
P.S. Это по факту описание дашика, структура которого идеально ложится в базовый шаблон спецификации (а дальше уже каждый подкручивает под себя).

​​Котятки🐱,
статья на хабре про безопасность данных в BI разбудила во мне старые боли.
Безопасность данных в BI является критически важной, поскольку эти системы обрабатывают и хранят большие объемы информации, включая конфиденциальные данные. И именно на этих данных принимаются решения, - этот класс систем является традиционным эндпоинтом. Все заканчивается на нас, котятки)
Угрозы безопасности данных в BI можно классифицировать на несколько основных типов - я нашла картиночку с полным списком, разберу то, с чем столкнулась и где набивала шишки.
1) Несанкционированный доступ: ваша кузница дашбордов - всего лишь один из эндпоинтов, по крайней мере в крупной компании, и вопрос ролевой модели должен звучать всегда: согласованно ли организован доступ по всей цепочке доступа к данным?
Нет ли у меня нигде дырок, когда, например, папка, в которой лежат дашборды, закрыта, но API, из которой тянется чувствительный датасет, можно дернуть из Postman без токена?
2) Искажение данных: какую математику мы берем на борт, то у нас и получится. Но даже если механика сборки показателей одинакова и датасет одинаков, пытливый и упорный ум найдет способ сманипулировать данными. Тема дискриминации на данных всегда актуальна)
3) Требования регуляторов: ФЗ-152 и аттестация по нему - тот еще квест, зато в конце нам не будет больно. Но это не точно.
4) Ошибки пользователей: я ловила вшитые пароли там, где их быть не должно, замену техпользователя на перс аккаунт (и наблюдала, как смена владельца таблицы повлекло за собой отказ в чтении данных со стороны СУБД),
Практические рекомендации простые:
Ограничить количество пользователей с правами администратора.
Использовать роли для группировки пользователей с аналогичными правами.
Регулярно пересматривать и обновлять права доступа в соответствии с изменениями в бизнес-процессах.
Настраивать мониторинг действий пользователей для выявления подозрительной активности (и да, для этого надо для себя определить, что в вашем королевстве будет считаться "нормальной активностью")
Что почитать?
Оч простенькая статья https://iso.ru/ru/press-center/journal/1868.phtml - в ней, в основном, ставятся правильные вопросы, которые вы должны себе задавать.

Как упростить сложную бизнес-аналитику с помощью OLAP?

Расскажем на бесплатном вебинаре СберТеха «Platform V OLAP Analytics — бизнес-эффекты от интерактивного анализа данных».

Приходите на вебинар, чтобы:

• Разобраться, зачем нужна OLAP-технология и где могут пригодиться OLAP-кубы.
• Познакомиться с инструментом для интерактивного анализа данных Platform V OLAP Analytics, узнать об основных функциях, преимуществах и сценариях использования.
• Посмотреть демо решения Platform V OLAP Analytics и задать вопросы эксперту — владельцу продукта.

Когда: 12 декабря в 11:00.

Кому будет полезно: бизнес-аналитикам, руководителям аналитических отделов, CDO и CTO.

Регистрируйтесь!

Котятки😼,
Сегодня был мой последний день работы в VK, это было весело и интересно) ❤️Но я барышня простая, периодически чувствовала себя Фейнманом в НАСА, - оч интересно, крайне технологично, «IT как производство» порой завораживает, порой угнетает.
Итак, мои мысли безработного котика сегодня:
1 Всегда иметь DRP (план на случай аларм и цунами) и график дежурств на выходных - хорошо.
2 Дашборды в Jira - чистое зло.
3 Я не люблю панельные дискуссии совсем, но когда бывшие и текущие коллеги сходятся пообсуждать Data Mesh - поднимаю жопку и иду послушать конференцию. https://cloud.vk.com/events/vk-cloud-conf24/

Котятки😼, у Modus BI нормальный такой Хабр, у меня в подборке валялась их статья про инфобез и немного про ролевые в BI, делюсь: https://habr.com/ru/companies/modusbi/articles/801715/

В этом посте мы собрали популярные материалы прошедшего октября, чтобы вы точно не пропустили самое интересное!

⚡️Как интегрировать корпортативное хранилище данных и 1С? - способы интеграции 1С и КХД, возможные риски и ограничения каждого способа и факторы, на которые стоит ориентироваться при выборе метода передачи данных.

⚡️Как начать внедрять культуру управления данными? - как понять, что Data Culture нужна компании, как правильно организовать её внедрение, какие "подводные камни" могут возникнуть при реализации проекта и как их избежать.

⚡️Плюсы и минусы различных DWH как источников данных - преимущества и недостатки разных видов хранилищ данных и факторы, на которые нужно обратить внимание при выборе модели КХД.

⚡️Какие аналитические задачи стоят перед бизнесом и как их решать? - бизнес-задачи, которые аналитика позволяет решать более эффективно.

⚡️Как заменить наборы данных в отчёте Modus BI - видеоролик, в котором мы отвечаем на самые популярные вопросы пользователей о замене данных в отчётах Modus и показываем, как это сделать.

Мы уже готовим новую порцию полезного контента на грядущий месяц ;)

Подписывайтесь на наши блоги на Habr и VC и узнавайте о новых статьях первыми!

Котятки🐱,
мы тут как бы за датавиз, но про всякую дичь тоже не забываем)
У меня в избранном валялось сообщение, в котором было написано "Что думаешь?" и ссылка на это:
https://github.com/yaronn/blessed-contrib
Наконец, я по ней прошлась. И там дашики в пиксельарте, которые можно выводить прямо в терминале.
Два вопроса: за что и зачем?
P.S. в общем, если у меня дома останется из компов только китайская линукс-панелька из журнала вог, или же все BI резко вымрут, а luxms обанкротится, мы знаем, что делать.
P.P.S. Эта история пойдет в ту же копилочку городских легенд, что и история про хранилище на shell-скриптах.

Котятки🐱,
на прошлой неделе мне задали очень интересный вопрос на подумать: какие элементы в рамках дизайна дашборда я бы убрала под кнопку "Вжух - сделать красиво!"
Переводя на русский, что именно должно измениться после нажатия этой кнопки?
Толщина линий? Подписи? Визуальный мусор?
🔮Пока я составляла ответ на этот вопрос, наткнулась на иной способ "сделать красиво": добавить эмоцию!
1)Вот тут вы найдете принцип эмоционального сторителлинга для дашборда:
https://pipdecks.com/pages/emotional-dashboard?srsltid=AfmBOoppp7xYonr5Cv_TLeXqddVcRMJ_cJ3ZxoAz5qIXMaa1Sit-n2Fy
2) Вот тут будут все тактики сторителлинга в формате шортридов:https://pipdecks.com/pages/storyteller-tactics
3) Ну и вот тут можно будет скачать все тактики в виде карточек👇

Делюсь с вами большущей доской, на которой собраны различные инструменты для OSINT — разведки по открытым данным. А вот тут еще можно посмотреть вебинар с обзором этих инструментов.

Автор — Клаудия Титце (Claudia Titze), известный в узких кругах OSINT специалист. Еще на ее сайте можно найти интересные видео, в которых она рассказывает про некоторые свои расследования.

@dataviznews

Несу вам интересное!

Это так называемый кодекс (инфографика) когнитивных искажений, разработанный Джоном Манугяном III и Бастером Бенсоном.

Он предлагает визуальную интерпретацию многих известных искажений и охватывает примерно 180 видов, продолжает регулярно обновляться и расширяться.

Ниже прикреплю в качестве, чтобы можно было поразглядывать, а то телеграм сильно жмет качество.

Котятки🐱,
С модненьким Data Observability я познакомилась не так давно, просто не смотрела в эту важную область)
Оч нравится статья:
https://www.ibm.com/topics/data-observability
Казалось бы, простые выводы:
-возможность наблюдения за данными= понимание состояния данных в системе
-понимание состояния данных в системе (их согласованности, точности, движения, надежности и пр)=снижение рисков неверных решений
Ну а дальше вы знаете)
Что пугает?
-этот достаточно полезный фреймворк (на большее, кажется, не тянет) пытается выделиться в отдельный класс систем, пока только маркетингово, слава богу)
Типа такого: https://www.montecarlodata.com/blog-what-is-data-observability/
-эту модную фишечку начинают задвигать в бложиках наши старикашки, ibm и Informatica
-если посмотреть на предлагаемые «готовые решения» или платформы, то оказывается, что это либо наши старые «знакомые» DQ-системы, либо надстройки над BI-системами, либо же инструменты для Observability Engineering в целом (без приставки Data)
Я испуганным котиком наблюдаю это со шкафчика и жду, когда это модное слово выучит бизнес и придет за нами😱

Крутой сайт с визуализациями от Яна Хольца

188 чудесных графиков от 110 авторов, разбитых по типам и инструментам, а для некоторых ещё и есть исходный код!

Залипнуть и вдохновиться 🥰🥰🥰:
https://www.dataviz-inspiration.com/about

Котятки мои😼, срач между адептами ‘Дашборд должен быть полезным и функциональным, не надо тратить время на красивые дашборды’ и ‘Дашборд-это искусство’ - это просто срач радикалов, не более. Принимать чью-то сторону бесполезно: в один период жизни вы создаете панель для операционного мониторинга газоанализатора, и вам плевать на красоту, в другой - вылизываете дашик так, что он становится похож на инфографику, а потом наблюдаете его скрины на конференции, где ведущий технолог рассказывает про производственную аналитику. Но короче, сегодня я радикал, за красоту в любом проявлении, птички не дадут соврать: https://www.nytimes.com/2019/01/09/magazine/beauty-evolution-animal.html#:~:text=Animals%20simply%20find%20certain%20features,pushing%20animals%20toward%20aesthetic%20extremes.

Котятки😘)) пост выше прошел мимо меня, и время наверстать упущенное и дополнить его😼 Когда я работала в Сибуре, меня познакомили с методом RCA, но очертили границы его применения - ТОиР. Метод рабочий и в иных областях, а порядок и последовательность выявления проблемных зон очень напоминает фрейм для работы с метриками. Важно только добавить чуть фантазии, одеть другой колпак - и вуаля, рабочий сценарий готов. Но что важно - в метод включены мероприятия по предотвращению повторяемости, что очень классно. При разборе я всегда этот блок анализа закрываю всякими предиктивными метриками, что не сильно полезно в моменте, но заставляет пользаков подумать. Линк: https://habr.com/ru/amp/publications/794704/

Сегодня обсудим фреймворки для работы с метриками.

В данном контексте под фреймворком понимают набор правил для управления метриками, их систематизации и выявления взаимосвязи друг с другом.

🌟Метрика Полярной звезды (North Star Metric) – инструмент определения главной метрики, отражающей ключевую ценность продукта. Считается, что компания, которая нашла NSM и обуздала ее, точно достигнет целей. На деле NSM подойдет для конкретной фичи или стратегии.

В качестве примера NSM можно привести метрику часов просмотра контента в месяц для онлайн-кинотеатра.

Чтобы найти NSM, нужно:
🔹Определить ключевое направление бизнеса – привлечение, транзакции или продуктивность;
🔹Выявить 3-5 ключевых показателя эффективности (KPI) - метрики, развивающие это направление;
🔹Определить NSM, которая будет воплощать в себе все KPI.

🌲Иерархия или древо метрик – инструмент декомпозиции главной метрики на другие, повышающие главный показатель. Построение начинается с главной метрики. Часто это NSM. При ее поиске мы уже заложили основу иерархии: сразу от NSM идут KPI, затем – метрики, повышающие KPI. Обычно достаточно построить 4-5 уровней в иерархии. Для адекватного контроля нужно, чтобы каждая вышележащая метрика зависела только от ее нижних метрик.

Иерархия помогает узнать причины изменения метрик, приоритизировать бэклог и проводить приемку релизов.

🔺Пирамида метрик – следующий этап классификации с учетом целей метрик, заложенных в слои. Каждый бизнес выделяет свои слои. Обычно наверху лежат метрики бизнеса и маржинальности, а ниже – продуктовые и маркетинговые. Иерархия метрик уже заложена в слои пирамиды.

Главное правило пирамиды: верхние бизнес-метрики не должны падать, даже если метрики более низких уровней растут. Например, если YouTube совсем уберет рекламу из видео, скорее всего количество пользователей и просмотров увеличится, но метрики маржинальности упадут, и бизнес потеряет прибыль. Пирамида учитывает взгляд как со стороны бизнеса, так и клиента, и удерживает все показатели в поле зрения.

#метрики

Котятки,
Все тут знают, что я хожу в офис поесть и поныть.
Сегодня ещё за порцией инфографики для вдохновения.
Блог smart reading, где можно заценить качество их Инфографических стараний и в целом:

https://blog.smartreading.ru/8-samyh-populyarnyh-infografik-smart-reading

Котятки🐱
Меня вообще радуют жизненные циклы и трансформация всяких облачных околоBI-тулзов и не только) Держите пополняемый список BI и прочих инструментов: https://github.com/thenaturalist/awesome-business-intelligence#3-data-visualization В нем все прекрасно, особенно один из инструментов, который закрылся (остался только на гите) и стал кулинарным сообществом)

Котятки🐱,
У меня была охренительная история, как я пыталась по гайду подрубить Tableau к Mongo. Я рассказывала тут позднюю версию, а чуть дальше у меня была история с максимально печальным концом с SDK.
SDK в большинстве случаев это библиотека/пакет или целая среда, куда вы можете запустить ваших программистов и они напилят (теоретически) вам интеграцию с источником там, где её быть не должно.
Вот тут список BI/построителей с SDK, но он не полный, того же SDK Power Query там нет.
http://www.discoversdk.com/categories/business-intelligence?pn=1&tpo=true
P. S. Когда-то наличие SDK у меня входило в перечень критериев для выбора BI- инструмента. Я была юна и немного тупа, ибо не до конца понимала, что любой кастомный код надо не только писать, но и поддерживать, обвешивать тестами и править баги.
Сейчас, в случае отсутствия коннектора у уже стоящей BI (которую фиг заменишь) к моему редкому источнику, я просто прокидываю данные из источника в ту базенку, где коннектор есть. Да, цепочка через третьи среды это такое себе, и да, слово колхоз мне говорили.
Но с одноразовой историей, как говорится, и excel тебе дашборд нарисует.

Котятки🐱,
Я себя позиционирую по ситуации и в зависимости от зп и дождичка в четверг как BI-разработчик, и по настроению люблю побурчать на тему радикального снижения алгоритмического качества и эфемерной легкости BI-инструментов.
В этой статейке перечень инструментов для датавиза в формате R + Python (полезно жутко), и впридачу кучка бухтения про селф-сервис и BI (полезно в качестве аргументов для харизматичного закатывания глаз)
https://habr.com/ru/articles/658657/

Котятки🐱,
Вторая в списке моих самых нелюбимых диаграмм - каскадная, или waterfall.
Причина простая - в юности у меня был руководитель, который с помощью этой диаграммы любил отображать одновременно и динамику продаж в сравнении период к периоду, и факторный анализ «дельты» продаж.
Выглядело это примерно как в этом примере: https://finalytics.pro/inform/waterfallyears/
Конечно же, строили мы это в приблуде Think-cell, ибо до Power BI мне тогда было, как до звезды. Строили много и отважно, у меня даже были собственные шаблоны на все типы факторов.
Что почитать?
👉Вводные и интерпретация диаграммы для самых маленьких: https://www.storytellingwithdata.com/blog/2020/11/16/what-is-a-waterfall
👉Размышления о назначении и интерпретации диаграммы в стиле консалтинговых ребят (которые кстати любят эту диаграмму): https://guillermo-esquivel.medium.com/whats-so-special-about-waterfall-charts-1db3cdd33734
👉Построение диаграммы в экселе для тех, кому на 1 раз денег жалко: https://excel-analytics.ru/diagramma-vodopad-v-excel/?utm_referrer=https%3A%2F%2Fdzen.ru%2Fa%2FYo4WFApFUAP5-tqS
👉Видосик на ту же тему - тут как всегда все прекрасно: https://www.youtube.com/watch?v=yR2kChcimTw
👉Гайд по построению в PBI (ну раз он был в моиз ссылках, пусть будет): https://inforiver.com/waterfall-charts-power-bi/