Postagens do Canal 🔋 Труба данных

https://arrow.apache.org/blog/2025/01/10/arrow-result-transfer/. и https://arrow.apache.org/blog/2025/02/28/data-wants-to-be-free/

Хорошая парочка технических статей (и будет потом еще несколько) про Apache Arrow и вообще как оно там под капотом.

@ohmydataengineer - канал "🕯Труба Данных" про Apache, но не Airflow!

https://github.com/deepseek-ai/smallpond

Там из каждого утюга уже написали про новый фреймворк который использовал DeepSeek для себя, где они сделали мультинодовый DuckDB и какие-то фантастические цифры якобы показали по обработке (https://github.com/deepseek-ai/3FS?tab=readme-ov-file#2-graysort)

Ну и я тоже напишу об этом 😁

@ohmydataengineer - канал "🕯Труба Данных" почти вовремя пишет новости!

Это что за новый зверь?

Были Data Engineers, потом MDS популяризировал лычку Analytics Engineer. А это что за зверь?

https://efds.fa.em5.oraclecloud.com/hcmUI/CandidateExperience/en/sites/CX_1/job/42523

@ohmydataengineer - канал "🕯Труба Данных" говорит об Data Software Developers!

Мы выяснили много классных инсайтов, например:
👉 Главные выводы
👉 Какие задачи решают аналитики
👉 Что с релокацией у аналитиков
👉 Где работают и как работают (удалёнка/офис)
👉 ЗАРПЛАТЫ: как менялись за год и сколько получают аналитики + мы дополнили исследование нашей экспертизой: что повышает или снижает стоимость аналитиков
👉 Откуда пришли в профессию и куда идут дальше
👉 Как ищут работу
👉 ТОП и Анти-ТОП компаний для аналитиков
👉 Что ценят в аналитической культуре
👉 Каких экспертов котируют и за кем следят


Вот такое вот большое исследование у NewHR вышло по аналитикам данных, которое я когда-то вас давно просил помочь заполнить.

▶️ Ссылка на сайт с полными результатами
https://newhr.org/data/research-analysts-2024

С удовольствием делюсь всеми результатами (и безбожно скопировав текст, который мне ребята прислали с важными фактами) 😁


@ohmydataengineer - канал "🕯Труба Данных" сегодня про аналитиков!

https://newsletter.pragmaticengineer.com/p/trimodal

Обновленная версия той самой известной статьи про три-модальную категоризацию компаний и зарплат в них.
Теперь дополнена данными из levels.fyi

Огромное и наглядное чтиво!

@ohmydataengineer - канал "🕯Труба Данных" подсказывает про зарплаты!

https://debezium.io/blog/2025/02/01/real-time-data-replication-with-debezium-and-python/

Говорим Debezium, подразумеваем Kafka как точка, в которую у нас льются эвенты CDC. Казалось бы, самое стандартное и классическое решение, проверенное сотнями разных сетапов.
А вот нет, оказывается можно и без Kafka.

Debezium + CDC + Python + dlt → Real-time PostgreSQL replication

@ohmydataengineer - канал "🕯Труба Данных" удивлен новым подходам!

Жаба, гадюка, литкод...

Следите за руками:

- Челик сделал тулзу, чтобы хакать литкод интервью (на самом деле таких много уже, отличаются подходами, где-то опираются на голос и распознавание речи, где-то на видео-поток или скриншоты)

- Прошел с ее помощью в Амазон, снял всё на видео и выложил в Ютуб.

- Амазон обиделся и требует отчисления чувака из универа


Ссылку на конкретно эту тулзу увидите на скриншоте.
Еще пара похожих: ParakeetAI и Final Round AI

Что с этим делать - решать вам =)


А еще…
https://x.com/im_roy_lee/status/1895726775185129555
Правда чел говорит, что получил еще кучку офферов, но не планирует ни один принимать и вообще планировал это все давно и литкод интервью это зло. И так как история взорвала твиттур, тут же начали отзывать свои офферы все остальные компании.


@ohmydataengineer - канал "🕯Труба Данных" верил, что время литкода пройдет!

@ohmydataengineer - канал "🕯Труба Данных" и Вьетнамские флешбеки!

https://www.sqlnoir.com

Прикольный интерактив по изучению SQL - вы детектив и расследуете криминальные дела.
У вас есть датасет и возможность делать к нему запросы.

@ohmydataengineer - канал "🕯Труба Данных" видел всякое дерьмо опытный!