NOdata Миша

Приглашаем вас на открытый вебинар: «Similarity Text Search (STS) - оценка текстовой схожести и семантический анализ»

⏰Дата: 14 января в 20:00 мск
Спикер: Андрей Коняев

🧩На вебинаре вы узнаете:
- Что такое Similarity Text Search
- Зачем это нужно и где применяется
- Подходы и  реальные кейсы, а так же метрики для оценки качества STS
- На практике посмотрим кейсы для русского и английского языков

🔥В результате вебинара вы узнаете про задачу STS и её применение в современном NLP.

📚Вебинар будет полезен:
- Практикующим Data Scientist и ИТ-специалистам, которые хотят глубже погрузиться в область NLP
- Тем, кто хочет узнать, как реализовать смысловой поиск вместо поиска по полному соответствию
- Людям, освоившими основы машинного обучения, но желающим и развиваться в области Data-Science.

Участники всех открытых уроков получат скидку🎁 на большое обучение

👉Регистрируйтесь на открытый вебинар по ссылке:https://otus.pw/uj2F/?erid=LjN8KF5zN 

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

А уже год оказывается прошел

И я сейчас не про календарный год. У меня год работы на нынешнем рабочем месте 🎉

Мой приход сюда - это правильный выбор. Конечно, у места есть свои и плюсы и минусы, но я в первую очередь о том, что год назад я выбрал развитие (а не какие-то другие вещи: комфорт, финансы), и я его получил. Прийти не на что-то уже готовое, а когда это все еще строится - это интересно и полезно

Я считаю, что пока все еще где-то в начале своего пути, а значит больший упор пока должен делать именно на рост, а деньги и чил потом

Скоро, конечно, я превращусь в чилового скуфа, ну а пока развиваемся 💪

🔥 Как аналитикам оставаться ценными в эпоху AI?

В компании появились Data Scientist’ы с зарплатами втрое выше, и кажется, что аналитикам уже не догнать? Это не так!

В новом посте канала MLinside мы рассказали:
🔹Почему бизнес скорее поддержит вас, чем наймёт новичков в DS.
🔹Что ждёт вас: карьера в аналитике с ML или переход в DS с высокими зарплатами?
🔹Как аналитикам интегрировать ML-модели в свою работу и возглавить изменения.

Если вы хотите сохранить свои позиции и использовать ML себе на пользу, этот пост для вас.
👉 Читайте здесь

Подписывайтесь на канал MLinside — реальные советы для аналитиков и Data Scientist’ов от экспертов DS/ML и топ-менеджеров компаний МТС, Яндекс, Сбер 🚀

Реклама. ООО ДАТАВЕРС ИНН 9725152649 erid: LjN8KFCcH

Ошибки в начале карьеры

Я не совершаю ошибки поэтому просто расскажу о тех вещах, которые стоило чуть изменить в начале своей it карьеры

- Попробовать много всего - Когда только собираешься врываться в мир айти, то перед тобой огромное разнообразие всего. Но чаще всего человек как можно быстрее начинает концентрироваться на чем то одном и уже перестает смотреть на другие специальности в it. А ведь там возможно есть то, что ему подходит намного больше. Поэтому перед тем как основательно начинать изучать какую-то область, лучше будет пройтись по верхам большого круга разнообразия it специальностей, возможно есть что-то не очевидное крутое для тебя

- Уделить больше внимания теории/базе - Когда только изучаешь сферу айти, то хочется как можно больше решать практические вещи, нежели изучать скучную теорию. И я считаю это правильно, что больше внимания уделяется именно практике, но совсем забывать о теории не стоит. Причина - когда начнешь работать, то работа и является практикой, то есть в практике ты в любом случаи будешь прокачиваться, а вот на теорию со временем начинаешь все больше забивать. Поэтому, когда только изучаешь что-то новое, когда у тебя есть временя на изучение, то не стоит совсем забивать на теорию

А какие ошибки вы совершали в начале своей карьеры?

Знание DWH и dbt – это must have для уровня middle/senior-аналитика и инженера как на российском, так и на международном рынке.
Хотите освоить эти инструменты?

Попробуйте симулятор Data Warehouse Analytics Engineer на базе dbt для инженеров и аналитиков данных.

Уникальный формат обучения:
⚡️ максимум прикладных практических навыков
⚡️ браузерная IDE для запуска проектов dbt
⚡️ геймифицированные задания с подробным описанием и подсказками
⚡️ экспресс-квизы для быстрого запоминания

Вас ждут более 100 задач из разных бизнес-сфер, которые вы возьмете в портфолио, например:

✅ Статистика поездок на самокатах - вы сможете выстроить аналитический пайплайн из таблиц и представлений, который выдает общую и дневную статистику поездок с учетом данных пользователей, и покрыть его тестами качества данных и документацией

✅ Аналитика ивентов приложения - вы разработаете SQL-пайплайн, который будет инкрементально очищать и обрабатывать таблицу событий из мобильного приложения, обогащать ее данными поездок и пользователей и в конечном итоге представлять продуктовые метрики

✅ Анализ финансовых данных - поможете финансовым аналитикам обработать данные в Excel с помощью SQL, dbt и аналитической in-memory базы данных DuckDB, не передавая данные в сеть

✅ Создание аналитической платформы - выступите в роли инженера аналитики и развернёте аналитические dbt-пайплайны с планировщиком, мониторингом и централизованным git-репозиторием для всей команды аналитиков

Первые 4 задачи доступны в демо-доступе бесплатно.

➡️Получить демо-доступ сейчас

Реклама. Информация о рекламодателе

Мифы об it

Уже были посты о неочевидных плюсах и минусах в it. А тут решил собрать вещи, которые нельзя отнести не к первым, ни ко вторым, но эти вещи тоже могут быть неочевидными для не погруженного в it человека

«В IT нужно постоянно изучать что-то новое не только чтобы расти, но и чтобы просто оставаться в профессии» - развиваться, конечно, нужно, но это не выглядит так: закончил рабочий день и еще на несколько часов садишься изучать что-то новое. Так, конечно, бывает и многие так делают, но, наверное, чаще происходит так: во время работы встречаешь что-то неизвестное, изучаешь.

Айтишники работают по ночам - айтишники, конечно, могут работать по ночам, но часто нужно быть на связи во время рабочего дня, для того чтобы пообщаться с коллегами, сходить на какай-то созвон. И получается, что нужно присутствовать и днем и ночью, а это уже как-то затратно. Поэтому, как мне кажется, большинство айтишники хоть и имеют более свободный график, но работают в основном днем

Айтишники работают очень мало/очень много - Как я говорил выше, атишники работают примерно по обычному графику. Во всем есть исключения, но чаще всего примерно столько сколько и в других профессиях. Миф о том, что работают много появился из-за того, что у айтишника все таки более свободный график и он может поработать немного днем и немного вечером и из-за этого, кажется, что работает прям целый день. А миф, что мало работают - «Он ведь дома сидит, а не в офис ходит, значит бездельничает»

Что инженер данных должен уметь в Kubernetes?

➡️ Запускать Apache Spark
➡️ Деплоить распределенные файловые системы и базы данных
➡️ Разворачивать сервинг ML-моделей на KServe, Seldon Core, Bento+Yatai

9 декабря учебный центр Слёрм запускает новый поток курса «Kubernetes для разработчиков». Внутри — глубокий разбор куба с точки зрения приложения.

В программе:
🔸 Внутреннее устройство куба
🔸 Управление сервисами
🔸 Работа с кластером и управление кластером

ОБНОВИЛИ ПРАКТИКУ в августе 2024 года

🔸7 недель обучения
🔸7 встреч со спикерами
🔸76 часов практики и работы со стендами
🔸Итоговая сертификация
🎁 Видеокурс по основам Docker в подарок

Старт потока: 9 декабря
Изучить программу курса и занять место ➡️ по ссылке

Реклама ООО «Слёрм» ИНН 3652901451

Неочевидные минусы работы в it

Недавно был пост о плюсах в it, а теперь бы хотел поговорить о тех минусах, которые тут есть. Тут даже не совсем минусы, а где-то просто не сошлись ожидание и реальность, а где-то эти минусы весьма натянуты, но все же им есть место:

- Удаленка - «Могу работать в любом месте, в любое время» - любое место для большинства это дом, а время не совсем любое ведь есть разные рабочие встречи

- Интересность - «it это всегда что-то интересное, буду создавать игры, делать приложения, создавать искуственный интелект», может, конечно, кто-то этим занимается, но я например просто таблички перекладываю. Не скучаю, но все таки не прям самое интересное занятие в жизни

- Применение в жизни - «Выучу программирование буду применять его в своей жизни, все свою жизнь автоматизируй» - Нет

- Слишком комфортно - об этом писал тут


IT это, конечно, круто, но все таки это далеко не идеальная работа


Ютуб | Дата уроки

⚡Тест на знание Python ⚡

Ответьте на 20 вопросов за 30 минут и проверьте свои знания. Квиз является частью онлайн-курса «Python Developer. Professional» от Отус.  

➡️ПРОЙТИ КВИЗ: https://vk.cc/cEeLmN

🔥Это курс для опытных разработчиков на Python и других языках программирования, веб-разработчиков, дата-сайентистов и ML-разработчиков, которые хотят углубить знания, повысить производительность и безопасность кода, создавать масштабируемые веб-приложения и анализировать данные. 

🎁Сможете пройти успешно тест - бонусом получите доступ к записям прошедших вебинаров курса.

#реклама
О рекламодателе

Важность отдыха не только на выходных

Недавно я писал о работе с самого утра, а вот вторая штука, которая повысила мою продуктивность

Как у меня было раньше: были выходные на которых происходило что-то интересное и были скучные будни на которых в основном была только работа. Начиная работать в понедельник казалось что до выходных еще вечность, а вечно работать, конечно, не хочется и поэтому и в целом работать как-то не очень хотелось

Как у меня сейчас: у меня появилось новое хобби, которым я занимаюсь во вторник вечером и получается, что начиная работать в понедельник, я не жду выходных (которые будут через вечность дней), а жду вечера вторника (который капец как скоро). А когда понимаешь, что работать не вечность дней, а всего ничего, то и работать хочется сильнее

Попробуйте раскрасить свои скучные будни, станет круче)


Ютуб | Дата уроки

Статью на Хабр написал о том, что такое DWH

https://habr.com/ru/articles/852910/

ИИ в медицине

Вчера слушал подкаст подлодки о использовании ИИ в медицине и был приятно удивлен, что речь не только о каком-то далеком будущем, а уже сейчас в некоторых областях медицины искусственный интеллект активно применяется

Будущее уже наступило получается?

У подлотки, кстати, много интересных выпусков подкастов, рекомендую ознакомится если ранее этого не сделали


А какие у вас любимые подкасты?


Ютуб | Дата уроки

Неочевидные плюсы работы в it

Я тут недавно задумался какие вещи мне больше всего нравятся в своей работе и некоторые из них оказались весьма неочевидными и о них я особо не знал, когда только начинал входить в it:

- Быстрый рост - рост от стажера до лида может произойти всего за несколько лет, в немногих профессиях можно так быстро вырости

- Результат на выходе - не во всех профессиях на выходе получается какой-то результат о котором потом можно повспоминать или рассказать кому-то

- Карьерная мобильность - достигнув каких-то результатов в одной из сфер it, можно перейти в другую, при этом не особо потеряв

- Много интересных околорабочих вещей - петпроекты, опен-соурс, ведение тг канала

- Сообщество - большое открытое комьюнити, которое объединено лишь сферой деятельности


А какие неочевидные плюсы сможете выделить вы?


Ютуб | Дата уроки

Тысячи лет развятия человечества, а работаем мы больше чем люди в каменном веке(

Не у всех в современном мире есть возможность работать по 2-4 часа в день, а значит нужно хотя бы пытаться те 8 рабочих часов сделать максимально кайфовыми (что именно это значит каждый для себя решит сам)


А ваши рабочие часы кайфовые?


Ютуб | Дата уроки

Работаю как только проснусь

Я тут недавно для себя открыл самое продуктивное время, и начинается это время как только открыл глаза с утра

Как было обычно: просыпаюсь, немного пялюсь в телефон, утренние дела, завтрак (в течении которого смотрю какой-нибудь видос), а потом работа, а работать то уже не хочется, хочется дальше ничего не делать

Как теперь: просыпаюсь, и когда мои глазки еще не полностью раскрылись, когда еще в мой мозг не пришло осознание того, что в жизни есть какие-то интересные вещи, пока этого ничего еще не произошло я сажусь за ноутбук и начинаю работать

Эти 1,5 утренних часа в голову не лезет никаких лишних мыслей, просто сидишь и на автомате работаешь. Продуктивность.


А какое для вас самое продуктивное время дня?


Ютуб | Дата уроки

Я тут впервые за 3 года работы в отпуск сходил. Не назвал бы себя трудоголиком, которому хочется всегда работать и совсем не хочется отдыхать, скорее даже наооборот. Но до этого не чувствовал какой-то усталости и необходимости идти в отпуск - я ведь не устал, а потом херась и устал. Ну я и пошел

Не уставайте на работе, а если устали, то отдыхайте ❤️

Выбор стула теперь реален

Все, наверное, уже видели, что случилось с многодетным отцом

Вот так вот бывает, ты либо за одних, либо ты плохой (работает в обе стороны)

И вот еще немного конспирологии: Дурова задержали после его прилета из Азербайджана, а знаете кто еще был в Азербайджане в это время - Путин

Уже много уроков

7 дней бесплатного доступа к урокам, которые я выпускаю по data. Сейчас пока там по Airflow и не много clickhouse, но уроки постоянно пополняются

Вот список уроков которые там есть

Вот бесплатный доступ на 7 дней, чтобы вы посмотрели, поняли, что я ваще не шарю и отписались от канала

Беги, Миша, беги

Тут рассказал о том как круто бегать, а сейчас хочу рассказать о том как у меня получается делать это регулярно:

- Я почти всю жизнь не любил бегать. Это ведь сложно. Капец как устаешь. Я лучше пройду 20 километром, чем пробегу 2. И это правда так. Для организма, который более 2 лет вообще не чувствовал, что такое бег, пробежать хотя бы пару км. является больший стрессом, а если делать это регулярно, то ваще капец не круто. Зачем так сильно напрягаться? И первый совет в том, что напрягаться сильно не стоит. Оказывается совсем не обязательно (и даже вредно) быстро бежать и становиться капец каким устаревшим. Можно просто совершать легкую пробежку, бежать медленно. Что значит медленно? С той скоростью при которой ты можешь без особых трудностей разговорить во время бега. Когда только начинаешь бегать, то ты бежишь не сильно быстрее чем люди просто идут. Тебя будут обгонять 60-летние дедушки (потом убегут вперед, там где-то развернуться, побегут тебе навстречу и помашут рукой, но рано или поздно я его сделаю)

- Второй пункт вытекает из первого. Тут тоже про то, что это не тренировочные забеги ради результатов, а вечерняя пробежка, которая преследует совершенно другие вещи. А значит если например на улице сегодня идет дождь, то вообще ничего страшного нет, если пробежки сегодня не будет. Также и регулярность пробежек, я для себя понял, что мне норм бегать 3 раза в неделю, но ничего страшного нет, если получится побегать всего 2 раза, а если захочу пробежать 4 раз, то скорее всего откажусь от этой идеи, так во время этой 4 пробежки устану и не получу удовольствие

- А что делать если не хочется? В первую очередь ответить на вопрос «Почему тебе не хочется?», и если ответ будет «Бегаю уже 2 месяца и мне это вообще не нравится», то бросать. Бег это не что-то идеальное, что подойдет абсолютна всем, и возможно вам следует поискать другие занятия. Но когда я не хотел делать вечернюю пробежку и задавал вопрос «Почему?», то ответом было «Я сегодня как-то устал во время рабочего дня, а тут еще и бежать куда-то», то есть главная причина из-за которой я бегаю в некоторых случаях пытается работать в другую сторону, но меня так просто не проведешь, я все равно бегу

Это были 3 главне вещи, которые лично мне помогают бегать. Для кого-то скорее всего поможет что-то другое, например записаться на марафон через несколько месяцев и тогда просто становится необходимо бегать постоянно. Но лично для меня вещи, которые про делать что-то (бежать) ради чего-то (условного марафона) не работают, поэтому я стараюсь концентрироваться на процессе)


Ютуб | Дата уроки

Выложил на ютуб (пока он еще есть в России ) новое видео о минусах работы дата инженером
🎉🎉🎉

https://youtu.be/A3LDv8uFWiM

Для чего вообще DWH?

Понятно, что ДВХ это про данные, но для чего эти данные, где они используются?

Самое частое это, конечно, различные отчеты, чаще всего в виде дашбордов в какой-нибудь Bi штуке (например в superset). Информация на этих дашбордах может быть различной, для разных потребителей:
- Маркетинговые команды могут смотреть на отчеты для анализа эффективности рекламных кампаний и повышения ROI
- Отелы продаж для оценки динамики продаж, анализа поведения клиентов и прогнозирования спроса
- Руководители для принятия каких-то важных стратегических решений

Помимо отчетов на самих дашбордах, часто кому-то необходимо просто получить какую-то небольшую инфу по нашим данным, хватает небольшого sql кода

Также данные из ДВХ нужны и дата сайентистам, которые с их помощью строят всякие модельки и ИИ, который всех нас убьет= сделает мир лучше


Ютуб | Дата уроки

Бег лучшая вещь для айтишника на удаленке

Я не так давно начал бегать. И это оказалось прям круто. Не буду тут говорить о пользе для здоровья и о том, что стал лучше себя чувствовать, а хотел бы сказать о чуть менее очевидной, но весьма важной штуке - отвлечение от работы

Многим знакома ситуация, когда заканчиваешь рабочий день, но продолжаешь думать о задаче, а если работаешь на удаленке, то рабочий день в какой-то степени, вообще может не заканчиваться, ведь ты в любой момент можешь открыть ноутбук, чтобы еще что-нибудь поделать. В итоге вечерний отдых от работы, не совсем является отдыхам. (Да иногда есть супер срочные или интересные задачи на которые готовы потратить силы, но, наверное, это должна быть редкая история)

Вечерняя пробежка стала отличным решением этой проблемы. 18:00 я закрываю ноутбук и бегу. Телефон при этом остается дома, и я смогу увидеть написали ли там что-то важное в рабочем чатике только через час.
Мне это очень сильно помогает отвлечься от работы, и даже если во время рабочего дня было слишком много мыслей которые грузили меня о том, что работы много, не получается или другие подобные, то вечером их совсем нет

Если тема интересна и хотите узнать как я продолжаю бегать регулярно, то поставьте 🔥


Ютуб | OnlyFans

Новый ролик на канале 🎉

Это сэкономит 90% времени программиста!
https://youtu.be/I-Rw9EO21uA

Мониторинг DWH

Мониторинг в DWH - это большая тема, но я расскажу с чем сталкиваюсь конкретно я:

- Алертинг в ДАГах Airflow. В наших ДАГах используется функция, которая, в случаи падения ДАГа, посылает сообщения в корпоративный мессенджер и тэгает владельца ДАГа. Это достаточно удобно, ведь нет необходимости самостоятельно проверять отработку ДАГов

- Мониторнг в Grafana. Grafana — система визуализации данных, ориентированная на данные систем ИТ-мониторинга. Тут можно мониторить все, а не только ДАГи, ведь часто поступление данных в DWH может быть происходить без участия airflow (например из kafka сразу в clickhouse)


Ютуб | OnlyFans

Опять знаменит

Завтра в 21:00 буду в гостях у DigitalBerd

Будем обсуждать:
1. Как выучиться на инженера данных
2. Сложно ли сейчас устроиться инженером данных
3. Какая в принципе сейчас ситуация на рынке РФ
4. Поговорим по поводу деятельности на ютубе.

Все приходите на стрим!
https://www.youtube.com/live/WuQO42JjNuM

ETL для DWH

Недавно мы говорили про источники данных для нашего DWH
ETL это вещь благодаря которой те данные попадают в наше хранилище

Делать это можно, например с помощью Airflow
Airflow — это платформа для создания, планирования и мониторинга рабочих процессов. Она широко используется для автоматизации ETL-процессов, обработки данных и управления задачами

Т.е. пишется python скрипт, где мы пишем запрос данных, их обработку и сохранение в БД. И все это ставим на расписание, чтобы данные заливались к нам в базу в автоматическом режими

Одним из главных преимуществ Airflow является уже множество уже готовых операторов для выполнения необходимых действий. Это можно сравнить с использованием библиотек в python
Например есть оператор PostgreSql. Он предназначен для работы с постгрессом. Мы, конечно, сами можем написать необходимый код на python, где конектимся с базе, создаем курсор, выполняем нужный SQL, но намного проще будет использовать уже готовый оператор, в который лишь необходимо передать конекшен к базе и необходимый sql, все остальное он выполнит сам


Ютуб | OnlyFans

Новое видео на канале 🎉

https://youtu.be/c8ZCkZN9wuY

БД для DWH

База данных для DWH обычно отличается от традиционных операционных баз данных (OLTP)
Объем данных в DWH обычно большой и вряд ли условный PostgresSQL сможет справиться со всей нагрузкой, он для этого не предназначен
А вот несколько БД которые были созданы как раз для этого:

ClickHouse – это колонно-ориентированная система управления базами данных, разработанная для аналитических запросов в режиме реального времени. Она поддерживает распределенную архитектуру, позволяя эффективно обрабатывать большие объемы данных. Основные преимущества ClickHouse включают высокую скорость выполнения запросов, сжатие данных и возможность масштабирования.

Greenplum – это распределенная аналитическая база данных, основанная на PostgreSQL. Она предназначена для обработки больших данных и использует параллельную обработку для ускорения выполнения запросов. Greenplum поддерживает масштабирование за счет добавления новых узлов и предлагает инструменты для интеграции с другими системами данных, что делает ее подходящей для крупных аналитических задач.

Hadoop – это платформа с открытым исходным кодом для распределенного хранения и обработки больших данных. В основе Hadoop лежит распределенная файловая система HDFS и фреймворк MapReduce для обработки данных. Hadoop обеспечивает надежное хранение и обработку больших объемов данных, поддерживает масштабирование и интеграцию с различными инструментами и экосистемами данных.


Ютуб | OnlyFans

Я у мамы инфоцыган

Я завел машину onlyfanc животное девушку собаку boosty

Планирую туда выпускать много полезного обучающего материала, а еще будет чат в телеге

Там уже есть ролики по airflow и clickhouse и будет еще много

Стоимость подписки 298 ₽ или 398 ₽ смотря какая вам больше подходит

https://boosty.to/nodata_misha

IT это золотая клетка

Многие считают, что работа в it - это профессия мечты: хорошая зп, возможность удаленной работы, не особо сложная в изучении. Все так, это очень крутая область. Все те плюсы о которых говорят тут действительно есть (в той или иной степени)

И часто при выборе работы мы обращаем внимания именно на эти вещи. Ведь гораздо проще сказать, что хочешь хорошую зарплату, чем ответить на вопрос чему конкретно хочешь посвятить свою жизнь

Спустя время начинаешь задумываться, анализировать свой путь - почему сделал тот или иной выбор, выбрал ту или иную профессию. Но эти вопросы остаются лишь вопросами - клетка комфорта уже захлопнулась

Откуда в DWH данные

Источники данных для DWH могут быть следующие:

- Базы данных - в компании могут быть множество разных баз данных и все данных из них мы можем забирать к себе хранилище

- Веб-сервисы и API - данные например из рекламных кабинетов и других подобных мест

- Файловые источники - не всегда приходится работать с какими-то «крутыми» данными, иногда необходимо просто иксельку загрузить

- CRM и подобные маркетинговые, бухгалтерские штуки

Конечно, у DWH может быть еще куча других источник, тут я привел только самые основные


Ютуб | Boosty

Хороших каналов много не бывает

Вот папка с 5 каналами про data

Если хотите больше тг каналов, где крутые авторы пишут про data, то добавляйте папку себе и смотрите, что полезного там есть)