🔋 Труба данных

https://www.uber.com/en-BG/blog/d3-an-automated-system-to-detect-data-drifts/

Статья 2-х годовалой давности, но все также интересная. О том как Uber работает с Data Drift для своих ML моделей.

@ohmydataengineer - канал "🕯Труба Данных" это коротко и интересно.

https://vutr.substack.com/p/i-spent-6-hours-learning-apache-arrow

Долго для вас хранил мяготку, никому не отдавал, но пришло время - мне оч нравится этот блог и как статьи пишет автор в нем. Погружается достаточно глубоко в детали и очень все доступно поясняет. Как пример - как работает Apache Arrow.

Потыкайте в его блог, там еще очень много всяких интересных чтив.

@ohmydataengineer - канал "🕯Труба Данных" не прячет от вас крутые блоги и статьи и не переписывает их своими словами

https://dataengineeringcentral.substack.com/p/10-billion-row-challenge-duckdb-vs

Забавная статья о том, как сравнивали на одной машинке DuckDB, Polars и Daft и что из этого вышло. Первый так вообще какое-то время назад был из каждого утюга, но в итоге я пока не видел ни одного хорошо нагруженного production-ready решения. А в статье выше решение из коробки жиденько обделалось с датасетом на 16 гигов из Parquet. Причем в прошлом году, кажется, я читал пост этого же автора, с DuckDB были все те же проблемы с ООМ.

Конечно, тест можно было бы провести и поглубже, ну как минимум не один раз (для сравнения). Ну да ладно.

(По работе, возможно, предстоит потрогать Rust, поэтому и смотрю на статьи, связанные с обработкой данных и Растом)

Upd: в личные сообщения принесли дополнение к статье (by @dnbnero)

Статья немного странная.
Плюс когда стал перепроверять у себя - либо я что-то делаю не так, либо в статье заблуждение/ошибка/обман. Даже если брать сжатый parquet, строка в среднем весит 52 байта, что при 10 млрд записей никак не 16гб. А в оригинале утилита выдаёт несжатые файлы...

И в комментариях без меня написали, что зря ctas использовали в duckdb - он умеет запросы напрямую в с3 и паркеты запускать


@ohmydataengineer - канал "🕯Труба Данных" напоминает, что модное и молодежное - не всегда... (ну вы поняли)

В качестве пятничного юмора вашему вниманию представляется экспонат "Полочка" или что такое мутации в Clickhouse на больших объемах 😁


@ohmydataengineer

https://xtable.incubator.apache.org

Наплодили форматов разных для таблиц, кто это будет все вместе собирать? Iceberg, Hive, Hudi, Delta Lake и так далее.

У Apache теперь появился X Table, тулза чтобы синхронизировать метаданные среди этого всего зоопарка.


@ohmydataengineer - канал "🕯Труба Данных" который держит обещание и не пишет про Iceberg (почти).

https://vutr.substack.com/p/datahub-the-metadata-platform-developed

Хороший вводный пост про то, как устроен и эволюционировал DataHub (это который каталог данных).
У автора, на самом деле, оч неплохой блог и интересные посты, глубже, чем стандартная писака в инторнетах, с погружением в детали. Полистайте его блог, там много интересного.

@ohmydataengineer - канал "🕯Труба Данных" который делится интересным блогом про датку

https://clickhouse.com/blog/a-new-powerful-json-data-type-for-clickhouse

В продолжении разговора про JSON и Clickhouse, последние в своем блоге выкатили мяготки-внутрянки про то, как же под капотом работает новый нативный тип JSON.

@ohmydataengineer - канал "🕯Труба Данных" все еще радуется как ребенок JSON

Я люблю смотреть футбол и горячо поддерживаю Челси в АПЛ. Там Oracle Cloud и Opta во время игры показывают всякие live-статистики о том, кто сколько пробежал, сколько касаний сделал в штрафной и так далее. Наткнулся на очень прикольный доклад про то, как это все работает (путь и в испанской La Liga, но суть понятна)

https://www.youtube.com/watch?v=yncU9F_FK8Y

@ohmydataengineer - канал "🕯Труба Данных" продвигает датку в спорте

Как говориться - "как корабль назовешь" (не на правах рекламы, за название - пятерка)

Закрома – передовое российское ПО для хранения и управления корпоративными данными

Гибридное хранилище, предназначенное для безопасного и экономичного хранения и управления корпоративными данными произвольного формата в крупных организациях.
ЗАКРОМА обеспечивает быстрый поиск, предоставляет API для удобного взаимодействия и обладает мощным контролем доступа. В основе ЗАКРОМА лежит современный стандарт S3, который позволяет создавать высоконадежное хранилище для эффективного хранения больших объемов данных.

https://zakroma.ru/

Я не мог не перепостить эту новость!

Нейминг просто 🔥

Кстати...

https://www.youtube.com/@ApacheAirflow/videos

Apache Airflow Summit 2024 видосики подъехали!

Из интересного:
- Видео про roadmap
- Performance tuning
- Event-driven DAGs

Не шибко густо и много, но в целом норм. Для поддержания актуальных знаний - хватит.

@ohmydataengineer - канал "🕯Труба Данных" который продолжает следить за Airflow

https://jack-vanlightly.com/blog/2024/8/7/table-format-comparisons-how-do-the-table-formats-represent-the-canonical-set-of-files

Я ж вас точно заколебал своим Iceberg (ну правда, из каждого угла, даже обещал ничего не постить про него). Так вот табличных форматов, на самом деле, больше: Delta Lake, Apahce Hudi, и так далее. Вы знали, что у Apache есть еще и Paimon?
Хорошая статья (а в блоге еще и несколько других сценариев сравнения, например, при CDC) про сравнение этих табличных форматов.


@ohmydataengineer - канал "🕯Труба Данных" заколебался слушать про айсберг

https://www.uber.com/en-DE/blog/query-gpt/

Как Uber SQL в чат засунул

Очень интересная статья из инженерного блога Uber о том, как они прикрутили в чат text-to-sql (nlp, вся фигня), накрутив сверху еще с десяток фич, например, подсказка и выбор таблицы из которой тянуть данные.
Видел я тут одну штуковину в стиле "А давайте сделаем бота в Whatsapp, который будет директору отвечать про стандартные метрики!"


@ohmydataengineer - канал "🕯Труба Данных" против неразумного применения LLM

3500+

Все еще удивлен, что мой канал, который когда-то был блокнотом с сохраненными заметками, превратится во что-то большее, на которое будут подписаны несколько тысяч (!) человек.

Спасибо, что читаете, я продолжу радовать вас адекватными и полезными новостями в сфере работы с данными. ❤️

Поддержать автора можно на регулярной основе на Бусти - https://boosty.to/datapipeline и на единоразовой - https://www.tbank.ru/cf/AIJMQbw3wE3


@ohmydataengineer - канал "🕯Труба Данных"

https://amdatalakehouse.substack.com/p/ultimate-directory-of-apache-iceberg

Про Iceberg из каждого утюга!

Сейчас моя лента в твиттере забита двумя типами постов: как Cursor великолепен и как он скоро заменит всех программистов и про то, какой Iceberg великолепный табличный формат.
Обещаю, на ближайшие 2-3 месяца больше ничего не буду писать про Iceberg, потому что в статье выше - ссылки на все что можно касаемо этой технологии.
Читать не перечитать!

@ohmydataengineer - канал "🕯Труба Данных" который вас заколебал новостями про Iceberg

https://www.rand.org/pubs/research_reports/RRA2680-1.html

The Root Causes of Failure for Artificial Intelligence Projects and How They Can Succeed

Прекрасная статья о том, почему на текущем хайпе проваливаются большинство проектов, связанных с AI. Детали в самой статье (на английском, кнопка скачать PDF в правом верхнем углу).

А вот главные причины коротко:

Optimizing for the Wrong Business Problem
Пытаемся оптимизировать не то, что надо оптимизировать бизнесу.

Using Artificial Intelligence to Solve Simple Problems
Пытаемся решить и так уже простые, решенные задачи - например, ответ на вопрос на который у нас уже есть дашборд

Overconfidence in Artificial Intelligence
Надеемся, что AI решит все наши проблемы, одна моделька и графики c деньгами go brrrr!

Underestimating the Time Commitment Needed
Не представляем, сколько нам нужно времени на внедрение чего-то действительно стоящего

Lack of Suitable Data & Unbalanced Data
Ну, тут все как обычно - GIGO - если на входе у нас дерьмовые данные, то и на выходе у нас будет дерьмовый AI


@ohmydataengineer - канал "🕯Труба Данных" разрушает фантазии о том, что AI вас спасет

https://cwiki.apache.org/confluence/display/AIRFLOW/Airflow+3.0


Airflow 3 на подходе

По заголовку все понятно, там скоро-скоро (ладно, не скоро, Альфа в январе, Бета в феврале, Релиз - в марте 2025) мажорное обновление Airflow, а с ним и куча фичей и новый UI и так далее.
Что же новенького будет - по ссылке выше. Меня интересует 3 вещи - конечно же, новый UI, Assets и External Event Driver Scheduling.

@ohmydataengineer - канал "🕯Труба Данных" который сильно заранее рассказывает про обновления

Опросики мои любимые опросики!

Оч люблю ребят из NEW.HR за контент, который они делают (в том числе карьерные консультации и исследования). Я сам принимал участие в некоторых (кстати, DE обещают в 2025) и всегда получал очень интересные наблюдения.
Ребята как раз сейчас проводят исследование аналитиков всех типов и видов:

Что исследуют?
👉 Зарплаты и их динамика.
👉 Рейтинг работодателей для аналитиков
👉 Где и как работают аналитики
👉 Как меняется зона ответственности аналитиков
👉 Как аналитики ищут работу и выбирают работодателя.
👉 Чему учатся аналитики
👉 Каких экспертов котируют

Выборка там, чаще всего, из нескольких тысяч человек, всем кто проходит опрос - присылают результаты заранее (а там мяготка в виде зарплат, например. Вам же надо чем-то аргументировать про рынок?😂)
Прошу вас потратить 10-15 минут и пройти опрос, будет очень полезно для сообщества.

Ну и результаты я сюда тоже выложу.

▶️ Ссылка на опросник тут ◀️


@ohmydataengineer - канал "🕯Труба Данных" который помогает узнать больше информации про рынок работы с данными