DziS Science | Data Science @dzis_science Channel on Telegram

DziS Science | Data Science

@dzis_science


Канал о жизни через призму науки о данных




Учусь сам, учу других
Пишу интересные статьи о соревновательном и коммерческом DS и его приложениях к жизни.

Создатель: @a_dzis

DziS Science | Data Science (Russian)

Добро пожаловать в канал DziS Science | Data Science! Этот канал предлагает увлекательное погружение в мир науки о данных через призму повседневной жизни. Здесь вы найдете интересные статьи о соревновательном и коммерческом Data Science, а также его практическое применение в жизни. Канал создан для того, чтобы я сам мог учиться и делиться своими знаниями с другими. Присоединяйтесь к нам, чтобы узнать больше о захватывающем мире анализа данных и его влиянии на нашу жизнь. Создатель канала - @a_dzis.

DziS Science | Data Science

31 Dec, 21:33


С Новым Годом! 🎄

Катимся вперед навстречу новым вызовам!

#офтоп

DziS Science | Data Science

29 Dec, 07:33


Привет всем!👋

Последняя в этом году 6-дневная рабочая неделя подошла к концу.

А что это значит?
Это значит, что впереди нас ждут долгожданные праздники🥶🎄.

Рабочий год был откровенно тяжелым, непредсказуемая экономическая ситуация, гора работы и куча каждодневных стрессов изрядно потрепали всех нас.
Притом, если вы думаете, что вы уникальный, то по недавнему исследованию 55% россиян хотят сменить работу в 2025 году, высказывая недовольство з/п, атмосферой на работе и отсутствием карьерного роста.

Чем же занять себя на новогодних праздниках?
1. Прежде всего нужно всем отдохнуть, набраться сил, увидеться с родными и близкими.
2. Фильмы, каток, театры и музеи, да в прочем и компьютерные игры ждут.
3. Нужно не забывать о своей экспертизе, тут вам в помощь #ds_лайфхаки. Ранее тут и тут я писал про #соревнования, которые будут идти в течении новогодних праздников.
3. Обязательно не забывать о здоровье. Свежий воздух, спорт и витамины (скажем из бесчисленных мандаринов).

Про итоги года
Прошлые года я не подводил итоги в канале, аргументируя это несклонностью к показушному успеху.

В этот раз я немного нарушу эту традицию и подведу все-таки некоторые итоги.
Но, вопреки ожиданиям, итоги будут не про меня и мои достижения, а про этот канал.

▪️За этот год канал вырос в 1.5 раза, он стал более узнаваемым, нередко это приводит к интересным, а порой довольно забавным историям.
▪️ По статистике все посты посмотрели аж 183 600+ (❗️) раз, за что вам огромное спасибо! Именно просмотры и реакции мотивируют меня писать что-то в канал. Я экспериментирую с рубриками, стараюсь описывать свою профессиональную карьеру и жизнь, если вам нравится какая-то из рубрик, самое время проголосовать за нее в опроснике ниже. Исходя из статистики просмотров, основные интересы - посты про харды, анонсы мероприятий и соревнований.
▪️ Изначально конкретной идеи создания канала у меня нет. С течением времени я четко определил, что основная цель помогать и делиться тем, что я прошел и видел в своем карьерном пути и разбавлять это конечно же профильными инфоповодами. В этом году я лишь в очередной раз убедился, что иду в верном направлении.
▪️В канале впервые была продана реклама. Моя позиция по этому поводу простая, если вы хотите рассказать о чем-то, что может быть интересно моим подписчикам, то you're welcome. Остальным нужно ну очень много денег заплатить. Так что знайте, если тут появится реклама криптоскама, то они нууууу оооочень страшные деньги заплатили, которые мы разыграем тут😂 Деньги с рекламы планирую вкладывать в продвижение канала.
▪️В этом году 3 раза меня пытались взломать, с целью угнать канал. Как видите, не очень получилось🤨 Благо, предварительно они успешно тренируются на моих коллегах, а мы слушаем и запоминаем.

Про планы
▪️В 2025 году я продолжу писать интересные посты. *Занавес, Directed by Robert B. Weide*

На самом деле в этом году со мной стали кооперироваться довольно таки интересные ребята, о которых не стыдно написать. Это как и отдельные персоны, так и целые команды и компании. Я продолжу подсвечивать интересные направления развития DS и главное интересные места работы, ведь не за эти ли мы все здесь?

▪️Расширение инфополя - важная часть развития канала, без этого никак. Сейчас я экспериментирую с "Сеткой", непостоянство и блокировка некоторых видео платформ вносит некоторые коррективы в мои планы. Скакать под музыку в коротких видео пока в планах нет.

Что хочу пожелать
Внимательный читатель уже должен был заподозрить, что это последний пост в этом году.
Поэтому я хочу пожелать всем вам здоровья, счастья, профессиональной самореализации и творческих побед. Пусть все трудности и проблемы останутся в 2024 и в 2025 вы войдете полными сил и энтузиазма.

С наступающим Новым Годом!🎉🎄🎁

#офтоп

DziS Science | Data Science

23 Dec, 06:30


Привет всем!👋

В этом году остался последний рывок, всего одна коротенькая (просто добавили 21%) рабочая неделька.

Далее нас ждут 🎄🎁🍊.

Желаю всем ее дожать и получить удовольствие!

Признаюсь, немного выпал из инфополя, как у вас дела? У всех ли все хорошо на работе/учебе? Как сессия?

Я же вышел из отпуска примерно вот так:

#офтоп #fun

DziS Science | Data Science

19 Dec, 07:48


Привет всем!👋

GitHub добавил бесплатный доступ к GitHub Copilot. Об этом произошла рассылка.

Для тех кто не в курсе, это одна из попыток внедрить AI в редактирование кода.
Другими словами, умные подсказки для среды разработки.

Из главных фичей - перевод текстового описания функции в уже готовый код. Т.е вы буквально в комментариях пишете, что хотите видеть в функции и copilot преобразует это в код. В качестве помощника можно выбрать Anthropic Claude 3.5 Sonnet или OpenAI GPT 4o.

Опять же, на сложные функции я бы не надеялся, а с простыми рутинными задачами справляется более чем на ура.

Как заявлено, доступ либо на сайте GitHub, либо в VS Code.

Ну как всегда есть нюанс. У меня это не работает, возможно по той же причине, что и ChatGPT. Позже попробую с VPN.

#офтоп

DziS Science | Data Science

18 Dec, 07:48


Привет всем!👋

🚨Новое соревнование на Kaggle!🚨

6 дней назад стартовало еще одно соревнование на LLM - Konwinski Prize (когда-нибудь мы дождемся классики😢)


🏆 Что за задача?
Нужно создать AI, который решает реальные задачи из GitHub Issues. Буквально, научить наконец-то AI фиксить баги.

🗂Что по данным?
В качестве оценочного датасета новый SWE-Benchmark, который был недавно обновлен. Заявляется, что он сложнее, реалистичнее и полезнее других AI-бенчмарков для оценки AI-программистов.

💰 Призовые
🥇50.000 💲
🥈20.000 💲
🥉10.000 💲
4-5 место 10.000 💲

Специальная награда - $1 000 000 первой команде с точностью 90%

🎯Как измеряют точность?
Отношение разницы решено/не решено, деленное на все количество задач, включая пропуски. Метрика не поощряет неправильные решения. Лучше пропустить сложную задачу, чем предложить плохое решение

📆Срок соревнования: 11 декабря по 12 марта (конец регистрации и объединения команд 5 марта)

‼️Подразумевается, что решение будет полностью open-source!

#соревнования

DziS Science | Data Science

16 Dec, 14:50


Все еще достоин!

Мне пришел сертификат за CV Week, все-таки дистилляция была написана верно.

Кому Junior CV Engineer нужен?

#life #офтоп

DziS Science | Data Science

15 Dec, 08:25


Привет всем!👋

Я к вам с интересной новостью выходного дня.

Вчера произошёл достаточно спорный момент на одном из выступлений на конференции #NeurIPS.

В качестве приглашенного спикера профессор MIT Розалинда Пикард выступила с докладом «How optimize what matters most?», на котором был довольно интересный слайд с примером не очень приятной ситуации с использованием китайских студентов.

В качестве примера был приведен китайский студент топ вуза, который «приукрасил» результаты, мотивируя это, что все так делают и никто не учил их морали или каким-то ценностям.

Конечно же дисклеймеры были, что это частность и мол все остальные хорошие, но факт использования конкретной нации и стиль подачи информации сгустил краски.

Коммьюнити возмутил именно пример с конкретной нацией, что развило во всяких соц.сетях аргументированный или не очень дискус.

Одни говорят, что это откровенный расизм и такому не место на лучшей конфе по ИИ. Зачем, даже для примера, использовать именно китайцев, оскорблять кучу студентов, профессоров и аспирантов, в том числе учащихся ВУЗах США? Конечно же, сторонники этой позиции хотят хлеба и зрелищ увольнения и публичных извинений.

Другие придерживаются позиции, что правда глаза режет. Сторонники приводят аргументы, что мол все по фактам, приводя различные статистики «проблемных статей» по странам и национальностям их авторов.

Там, кстати очень интересные цифры, но доказательной базы мало, поэтому оставлю данные графики на поиск читателям.

Под раздачу и попали и российские ученые😂

Что думаете вы по этому поводу?

#мероприятия #офтоп

DziS Science | Data Science

10 Dec, 06:12


Привет всем!👋

Что-то уже стало традицией перед отпуском загружать себя по максимуму, будто совершая последний рывок. Далее 2х недельный отпуск.

▪️Прежде всего, я прошел итоговое задание в Yandex CV Week.

Цель была фундаментально познакомиться и потрогать руками(=покодить) современные подходы text2image.

Последний раз я фундаментально изучал CV еще студентом 1 курса Сколтеха в 2018 году. С того момента я понял, что это не мое, крутить часами (если у тебя под боком нету сильного кластера) модель и только спустя большое время получать результат, который нередко может быть ошибочным. И вот ты потратил выходные и сидишь с каким-то визуальным мусором.
В такие моменты хочется бросить это дело.

Именно благодаря этому я и понял, что не хочу работать и связывать карьеру с CV. В этом году мне выпал шанс попробовать доказать себе обратное.

Я понял, что некоторые подходы CV (особенно text2image) стали немного сложнее, но ощущения, которые модели CV мне приносят все те же, что и в 2018. Сделал, переборол за воскресенье и понедельник, надеюсь, что 16 декабря получу сертификат за успешно пройденный интенсив.

Отдельное спасибо отзывчивым ребятам с интенсива, которым можно было задать тупые вопросы и даже предлагали вычислительные мощности (так уж получилось, что за 5 часов до я выжег квоты GPU по всем аккаунтам в Colab).

Кстати, фото выше сгенерила моя дистилированная сеть.

Для душных ребят из CV - результат семплирования из дистиллированной методом Multi-boundary Сonsistency Distillation модели Stable Diffusion 1.5

▪️Вчера также был на Family каток от Т-Банка в парке Горького. Мероприятие внутреннее для сотрудников и их членов семей. Идея прикольная, но по началу было страстное желание развернуться. Организация входов и выходов, сдачи и проката просто отвратительно выстроена.
В среднем, временя от входа в павильон до самого катка составляло час (статистика из 4-х человек).
Но сама организация внутри катка - респект. Есть пофиксить столпотворения, то очень рекомендую. Кроме того на самом катке можно было попить и поесть с кешбеком 100%.
Мелочь, но очень приятно.

▪️Кроме того я закончил написание двух уроков по внутреннему курсу для продактов Альфа-Банка под кодовым названием "ИИ для продактов". Не знаю, можно ли сейчас про это писать, но скажу, что основная цель курса - познакомить людей из бизнес юнитов с техникой, хотя бы на начальном уровне.

▪️Сегодня выдвигаюсь на машине на одну неделю к родне в Б... область. С интернетом там тяжело, так что не теряйте.

Постараюсь сфокусироваться на отдыхе, а когда я отдыхаю идеи в канал так и сыпятся. Так что новый интересный контент не за горами!

В общем вот так вот.
Stay tuned...

#life

DziS Science | Data Science

02 Dec, 06:15


Привет всем!👋

Недавно я рассказывал, что я начал вести сообщество сообщество в Сетке, где я стараюсь выкладывать эксклюзивный контент, больше связанный с карьерой.

Если интересен такой контент, подпишись! Так как площадка для меня экспериментальная, вы можете поддержать своей подпиской. Так я смогу понять, что контент интересен и постараюсь уделять ему больше времени.

#офтоп

DziS Science | Data Science

01 Dec, 07:01


Привет всем!👋

Всех с первым днем зимы! До конца года остался месяц, самое время закупаться новогодними безделушками🎁, скупать мандарины 🍊 и ставить елку 🎄.

А сегодня я хотел бы рассказать, как можно полезно провести новогодние каникулы.
Как вы могли догадаться, речь пойдет про новогоднее соревнование на Kaggle.

🏆Santa 2024 - The Perplexity Permutation Puzzle

Довольно таки интересное соревнование, в котором предлагается, используя решения на основе LLM исправить порядок в связанных с новогодней (рождественской) тематикой текстах.

Метрика качества Average Perplexity усредняет неупорядоченность отдельных текстов, также сказано, что итоговая метрика учитывает сравнение с ранее мной описываемой LLM Gemma 9B. То есть метрика относительная Baseline решения на Gemma 9B.

В соревновании можно выиграть как и деньги (притом есть отдельный приз тем, кто дольше всех будет на публичном LB в течении соревнования), так и медали🥇.


Важная информация по соревнованию:
📆Срок соревнования: 21 ноября по 1 февраля (конец регистрации и объединения команд 25 января)

🧍‍♂️Разрешенное количество участников в команде до 5 человек

💰: Призовые распределены следующим образом:
🥇12.000 💲
🥈10.000 💲
🥉10.000 💲
4 место получает 8.000 💲

Отдельно 10.000 💲 получает тот, кто дольше всех продеhжится на LB на 1 месте.


Соревнование интересное, на LB уже виднеются мастодонты Kaggle.

Ставь 🔥, если будешь участвовать, 👍 если еще в раздумьях.

#соревнования

DziS Science | Data Science

26 Nov, 11:13


Я не знаю, совпадение это или нет, но мой прообраз появился в виртуальном офисе Альфы🤨.

На 3 этаже есть некоторый Андрей, который бегает после работы в зале. В любом случае совпадение смешное.

👉Посмотреть можно тут.

#офтоп

DziS Science | Data Science

25 Nov, 07:18


Привет всем!
Ранее писал про CV Week от Яндекса.
Судя по сообщениям в чате интенсива случился небольшой конфуз, касаемо оценивания.

Если вы успешно прошли отборочное задание, то у вас количество баллов равно 8.
Распределение следующее:
▪️1 Задача - 2 балла
▪️2 Задача - 2 балла
▪️3 Задача - 4 балла.

В Яндекс.контест должны быть эти цифры, а не 0.25 и две галочки. Эти показатели говорят, что вы лишь отправили компилируемый код. Смотрите логи.

Если все ок и кол-во баллов больше 6, то вы получите письмо следующего содержания.

#мероприятия #офтоп

DziS Science | Data Science

18 Nov, 12:07


Привет всем!👋

В общем, пробуем развивать другие информационные каналы.

Не так давно мне предложили поучаствовать в создании контента на платформе 🔖 - Сетка.

Идея Сетки создать аналог LinkedIn, только на базе всеми известного агрегатора вакансий.

Я решил там создать свою страничку, где буду писать меньше про себя и больше про карьеру, стараясь не пересекать с существующим каналом (не нравится мне идея зеркала).
А вот идея альтер-эго очень даже нравится 👍

Я не так часто вас прошу, но мне нужна ваша помощь, которая мне очень поможет в развитии дальнейшем каналов - зарегистрируйтесь в Сетке и подпишитесь на сообщество.

👉Ссылка на сообщество в Сетке

В свою очередь я постараюсь радовать вас контентом на обоих платформах.

Заранее всем спасибо за поддержку.

#офтоп

DziS Science | Data Science

18 Nov, 07:37


Привет всем!👋

Давно не было задачек, дам две простых на знание Python 🐍.

1️⃣🔤Почему код:
class MyClass:
def __init__(self, a, b):
self.first_number = a
self.second_number = b
self.super_const = 10

def return_values(a,b):
return a,b

def return_self_values(self):

return self.first_number, self.second_number

obj = MyClass(11,20)
obj.return_values(1,2)


исполняется с ошибкой?

TypeError                                 Traceback (most recent call last)
<ipython-input-9-42e4d611df10> in <cell line: 15>()
13
14 obj = MyClass(11,20)
---> 15 obj.return_values(1,2)

TypeError: MyClass.return_values() takes 2 positional arguments but 3 were given

Как ее исправить, можно ли сделать это другим вариантом? Ответ мотивировать.

2️⃣🔤Что выведет код:
def func(x):
return x**2, x+5

func(3)
func(6)
print(_)

Ответ мотивировать.

#ds_зарядка

DziS Science | Data Science

15 Nov, 07:09


Привет всем! 👋

Летом, Google выпустили новую версию open-source LLM Gemma 2.

Модель была выпущена в 2 версиях 9 и 27 млрд. параметров, позиционирует себя как конкурентноспособная с бОльшими моделями, при гораздо меньших размерах и, как результат, суперэффективная в контексте использования ресурсов.

Кроме того, Google отмечает, что особое значение при обучении модели они дали именно очистке и фильтрации нежелательного контента.

И вот сейчас на 🔑 во всю идет небольшое соревнование - Google - Unlock Global Communication with Gemma.

🏆Цель соревнования - дообучить модель на уникальном языке. Это может быть как и устаревший язык, так и язык узкой этнографической группы.

💰Медалей соревнования нет, есть призовые в 150000💲. Можно участвовать в команде до 5 человек.

Победители, а их будет 5, как я понимаю будут выбраны за самый понятный и креативный ноутбук по субъективным критериям.

Основной посыл соревнования показать, что дообучать Gemma 2 просто, что популяризирует и саму модель и подходы в работе с LLM среди NLP инженеров.

Как и говорилось ранее, прелесть работы с Gemma 2 заключается в том, что ее просто развернуть даже в Google Colab, что снижает порог вхождения.

Я настоятельно рекомендую начинающим поучаствовать, как минимум разобрать основные 🔥 подходы.

P.S. Надеюсь вы оцените тизер поста из историй.

#соревнования

DziS Science | Data Science

06 Nov, 07:51


Привет всем! 👋

Ни для кого ни секрет, что в США проходят выборы.

Как же я кайфую от аналитики, проводимой в процессе и главное визуализации данных. Сам процесс выборов нетривиальный и для четкого понимания без красивых визуализаций не обойтись.

Ранее я писал об источнике вдохновения для визуализации данных.

Посмотрите как агентство Associated Press (это то, на которое ссылается страница Google) визуализирует данные по выборщикам и предоставляет аналитику в разрезах.

👉Тут можно посмотреть в разрезах штатов

👉Тут можно посмотреть в разрезах демографических параметров.

Наглядно, красиво, интересно.

Берем на вооружение.

@dzis_science

DziS Science | Data Science

03 Nov, 08:05


Привет всем!👋

Недавно прошел Yandex ML Prize.

Ранее эта награда называлась научной премией Yandex им. И. Сегаловича и является одной из самых авторитетных премий в области DL и ML в рускоязычном сообществе.

Можно сказать Оскар или Золотой мяч в области DS.

В номинации «Исследователи» награду🏆 получил Александр Колесов за генеративные модели и барицентры Вассерштейна.

Для такого достижения необходимо было иметь не менее двух публикаций/докладов на конференциях A*, A (например NeurIPS) или публикацию в журнале Q1, одна из которых в 2023-2024 годах.

Я сразу приметил знакомое лицо и понял, что этот крутой ученый - наш защитник (на фото верхний ряд, крайний справа) из ХК Skoltech🏒🥅.

Постараюсь спросить про барицентры и поподробнее узнать, какую работу он проделал. Надеюсь удастся раздобыть эксклюзив😅

Одно могу сказать точно, талантливые люди - талантливы во всем.

От всей души поздравляю Сашу с достижением!

#мероприятия #офтоп

DziS Science | Data Science

22 Oct, 07:05


Привет всем!👋

В текущий момент от окружающих поступают запросы о коротких, но информативных источниках для подготовки к собеседованиям/повышения hard скиллов, особенно начинающим специалистам.

Обычно, когда речь заходит о чек-листах на знание языка Python🐍 для собеседования, я присылаю отличную статью с Хабра, написанную аж 4 года назад.

Но всегда хотелось чем-то ее дополнить/расширить, но все не доходили руки.

Когда вновь зашла мысль о данной активности, я, как обычно, начал смотреть, а не сделали ли это до меня. Ведь зачем изобретать 🚲?
Представляю вам 100 вопросов о языке 🐍 в формате чек-листа.

👉Ссылка на статью

🎯Данная статья помогает новичкам узнать основные моменты в короткие сроки, а уже более опытным специалистам вспомнить основные моменты.

Рекомендую сохранить ее и использовать как настольную.

По традиции, 🔥, если понравилось.

@dzis_science

Нравится канал, отдай свой голос

#ds_лайфхаки

DziS Science | Data Science

19 Oct, 09:33


Привет всем!👋

🐾Альфа-банк анонсировал всероссийский студенческий хакатон.

📚О задачах:
В качестве отборочного испытания лаборатории машинного обучения Альфа-Банка подготовила 3 актуальные для банка задачи:

▪️ Кредитный скоринг ЮЛ (вероятность дефолта, PD модели)
▪️Склонность физических лиц к инвестициям (Look-a-like модели)
▪️Отток юридических лиц из расчётно-кассового обслуживания (CLTV модели)

Далее, в финальном этапе, будет предложено написать алгоритм AutoML, который сможет с приемлемым качеством решить аж 15(‼️) различных задач.

👀Задача более чем challenging, учитывая мое отсутствие веры в универсальный AutoML для всего.
Надеюсь, меня кто-то переубедит, главное что б из-за вас не пришлось искать себе работу в другой сфере😂

💼Формат участия:
Хакатон командный, состоит из двух этапов:

▪️первый этап онлайн👨‍💻 (с лидербордом)
▪️второй этап очный👨‍🏫 в г.Москва
(в задачах возможен лидерборд, возможно решение жюри).

💰Призовой фонд:
Будет разыграно 500 000р среди 3-х лучших команд:
🥇250 000р
🥈150 000р
🥉100 000р

⌛️Тайминги:
▪️Подача заявок до 31 октября
▪️
Решение кейса с 1 по 12 ноября
▪️Объявление финалистов 18 ноября
▪️Доработка решений с 18 ноября по 7 декабря
▪️ Объявление победителей 7 и 8 декабря


🚫Ограничения:
К участию допускаются студенты 18-25 лет, которые хотят начать карьеру в DS.

👉Регистрация по ссылке до 31 октября❗️

#соревнования

DziS Science | Data Science

16 Oct, 19:14


Привет всем!👋

Немного расскажу о своих буднях.

Сейчас активно погружен в менторскую активность как и на работе, так и вне ее пределов. Обязательно напишу длиннопост/ серию постов, что из этого вышло и какие были входные параметры.

Для меня очень полезный кейс для развития руководительских компетенций в рамках повышения квалификации своих подчиненных.

Традиционно не хочу писать в процессе, если его финал не совсем понятен и буквально сюжет разворачивается в момент написание данного поста.

Действительно у меня не получается отслеживать и писать интересный контент столько, сколько бы хотелось. Причина - очень много задач, так как конец года не за горами и задачи на квартал должны быть выполнены. Идет с переменным успехом, задачи меняются на ходу, происходит смещение дедлайнов в обе стороны, что заставляет буквально балансировать, «контролируя хаос».

Прикольный факт, что в Альфе очень много DS, DE и других коллег по цеху увлекается (иногда очень даже профессионально) спортом, в частности бегом. В таком темпе работы мне кажется руководители просто так справляются с уровнем стресса. Как я и говорил ранее это более чем эффективно работает, результат ощущаю на себе.

Следить за пульсом, купить хорошие кроссовки и просто после работы намотать пару километров - отличное решение для отвлечения от забот рабочих.

Кстати, если вдруг среди вас есть бегуны, нужен совет.
Сейчас бегаю в ASICS Noosa Tri 15, офигенные кроссовки (кому интересно могу рассказать как выбирал), но из-за своего веса, есть ощущение будто за лето я их немного «продавил». Вопрос следующий: как вы понимаете, что надо их менять и они свой ресурс исчерпали?

К сожалению, пока что руки до статей NeurIPS не дошли, хотя очень хочется.

По мероприятиям в обозримом будущем информации нет, как только, так сразу обо всем уведомлю (не буду пока спойлерить, но одно точно на подходе, хехе)

А как у вас дела?

#life

DziS Science | Data Science

12 Oct, 08:25


-Мало годного контента😒, чем занимается админ.

*в это время админ*

#fun

DziS Science | Data Science

09 Oct, 07:19


Привет всем!👋

7 октября вышел 🐍 Python 3.13.

Расскажу о главных нововведениях, которые показались мне интересными.

1️⃣. Apple iOS и Android официально поддерживают Python.
В данном релизе данные платформы перешли в 3 уровень (Tier 3) поддержки. По-простому есть человек, ответственный за поддержку, есть BuildBot, но ошибки на данных платформах не являются причиной блокировки релиза версии.
Еще одна оговорка, что только архитектура ARM64 полностью на поддержке. Например, на Android архитектуры x86-64 и 32-х битные архитектуры не получили Tier 3.

2️⃣. Добавлена поддержка Linux timer file descriptor API.
Unix-оиды получили "премиумную" версию модуля os. Функции направлены на работу с файловыми дескрипторами могут помочь при работе с файлами в режимах чтения и записи. Крутое нововведение для backend на Python. Так как мой канал не направлен на докторов физмат наук, контрибьюторов в ядро Linux и других супер жестких программистов, то я просто оставлю ссылку на юзкейсы. Если у вас будут супер примеры,когда вам это пригодилось, скажем вы выиграли хакатон, используя нововведения, обязательно о них напишите.

3️⃣. Доработанные ошибки.
Работа в этом направлении ведется уже достаточно долго. Ранее, описывая обновления 3.12, я уже отмечал это. Все больше ошибок имеют дополнительное описание, что надо сделать, чтоб заработало, упрощая жизнь разработчикам.

"Better error messages!".split(max_split=1)
Traceback (most recent call last):
File "<python-input-0>", line 1, in <module>
"Better error messages!".split(max_split=1)
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~^^^^^^^^^^^^^
TypeError: split() got an unexpected keyword argument 'max_split'. Did you mean 'maxsplit'?


4️⃣. Долой ограничения или Free-threaded CPython.
Экспериментальная фича, отключаящая GIL, другими словами разрешающая одному потоку выполнять байт-код Python, неявно защищая от одновременного доступ. Скажем GIL включается при записи/чтении. Безопасно, но, медленно скажут жесткие дяди. Теперь, можно на свой страх и риск поиграться с этим в погоне за ускорением.

5️⃣. Попытка номер 5.
Изменение больше для смешное, нежели полезное. Исправили импорт 5 пункта из фишек🐍, если вызывать не
from __future__ import barry_as_FLUFL

, а
from .future import barry_as_FLUFL

то раньше 🐍 ругался, но все равно выполнял магию замены != на <>. Теперь не должно ругаться и активировать фишку.

6️⃣. To old to used, to shitty to rewrite later.
Теперь в модуле warnings появился декоратор depricated.

from warnings import deprecated

@deprecated("Use func_v2 instead")
def func():
return None


7️⃣. Новый день, новое кодирование
В модуль base64 добавлен метод Z85 кодирования (z85encode)/декодирования (z85decode) данных в биты.

8️⃣. Kernel Density Estimation.
Метод kde добавлен в модуль statistics.

и еще куча интересных изменений/нововведений.

А какие изменения показались вам интересными в этой версии, пиши в комменты👇

По традиции, ставь🔥, если понравилось.

👉Подпишись @dzis_science

#ds_лайфхаки

DziS Science | Data Science

05 Oct, 08:19


Привет всем! 👋

Неделька выдалась тяжелая. Даже не знаю с чего начать.

▪️Прежде всего ко мне в команду вышел стажер с магистратуры МФТИ. Теперь в подчинении команда из 3-х человек. По времени тяжело, так как больше процессов для контроля, но я все еще успеваю что-то делать руками.

▪️Писал ранее про то, что я решил принять участие в Woman in Tech. Меня взяли в качестве ментора DS. По распределению я получил 2 менти (одна уже связалась и провели Welcome встречу).

Штука прикольная, так как можно и послушать идеи человека, так и помочь с карьерным ростом.

Для меня это отличный менеджерский опыт, который я буду активно перенимать на работу. Представьте, вы видите человека впервые и на основе общения находите точки роста, слабые места и прорабатываете их. Навык поиска и проработки слабых мест нужно оттачивать, мне предоставляют площадку.

▪️Та самая модель, которая снималась мне в кошмарах стабилизирована. Результаты финализируем и проект успешно закрываем. Как станет больше времени хочу написать про дообучение модели, так как тема не очевидная, поделюсь опытом.

▪️Параллельно я на этой неделе закончил запланированные походы к стоматологу, из-за которых пару созвонов проводил в машине, устраивал себе гибрид прямо по среди рабочего дня.

▪️Вписался в кучу интересных внутренних активностей департамента продвинутой аналитики, по мере приближения к событию буду рассказывать.

▪️Про книги. Оказалось, что дорога до офиса за неделю стоит мне целой книги. Не то, что бы открытие для меня, но результат эксперимента просто подтверждает, что это время явно нужно было заутилизировать.

Давно было в планах прочитать (прослушать) «Самый богатый человек в Вавилоне» (наверное последняя книга про финансовую грамотность из бестселлеров, которую я не прочел). Далее по плану, скорее всего «Финансист». Единственный несущественный минус для меня при прослушивании этой книги - актер озвучки. Книгу озвучивал Михаил Черняк, в народе известный как голос Лосяша из Смешариков. Ну извините, не могу я его серьезно воспринимать, стойкая ассоциация что я подкаст Смешариков слушаю.

▪️Спорт. На этой неделе он покинул чат. Никаких физических активностей (практически) я не предпринимал. Сейчас собираюсь сходить побегать.

Кстати, правильный подход к бегу для похудения реально работает. Вы ненапряженно бегаете на низком пульсе и легко и непринужденно сбрасываете 14 кг за 3 месяца. Не забывайте про хорошую обувь, что б не уничтожать колени, ну и меньше булочек и шоколадок. Даже уровень стресса (по личным ощущениям) сильно падает.

#life

DziS Science | Data Science

01 Oct, 17:02


Привет всем! 👋

🚨Срочное включение!

В подписку 📱.плюс добавили Яндекс.книги (раньше это был Букмейт).

Предыстория:
Решил значит утилизировать время, что я еду в офис💼, так как в последнее время часто там бываю.
Думаю, аудиокниги - лучшее решение. Начинаю смотреть какие приложения есть/остались. И тут происходит то, что называют «искать медь нашел золото».

Накидайте интересных книг, которые вы последними прочли👇

#офтоп

DziS Science | Data Science

30 Sep, 08:01


Привет всем! 👋

За все время, что я учился в университете/работал, ни разу мне не снились сны, связанные с текущей деятельностью.

Это наконец-то случилось.

Последние несколько недель, наша команда активно работает над доработкой (дообучением) модели кредитного скоринга среднего бизнеса, если быть точным одной из ее составляющих.

Различные методики дообучения, которые мы используем на данной модели имеют свойство очень жестко переобучаться. Причина - несбалансированность данных, маленькое количество целевых событий (дефолтов) на выборке дообучения.

Регуляризации, мастерская игра с гиперпараметрами, экспертная оценка признаков - наши будни.

Так вот, с сб на вс меня посетил довольно интересный сон 🛌 💤.

Картина следующая:
Я дома 🏠 собираюсь с утра на работу в офис 💼, в комнате включается телевизор 📺, по новостям экстренный репортаж.

Сюжет - новая модель выдачи кредитов в Альфа-Банке😸 принесла многомиллиардные убытки.

Причина - халатность разработчиков, допустивших переобучение.

🚔Следственный комитет завел уголовное дело по статье …

В бегущей строке имена всех «подозреваемых по делу» - членов команды, работающей над задачей, описанной выше, включая меня и моего руководителя.

Я в шоке звоню своему руководителю, спрашиваю, видел ли он новости, предупреждаю, что лучше, наверное, не ехать сегодня в офис, так как нас скорее всего посадят🚨

В ответ на той стороне слышу спокойный ответ, что в новостях все приукрасили, я драматизирую и надо ехать в офис «откатывать» модель и дорабатывать. Сон заканчивается поездкой в офис на машине, где я наблюдаю все билборды в Москве, транслирующие данный ролик.

Надеюсь, что сон не был вещим😂

Есть ли у вас аналогичные истории? С радостью бы послушал, пишите в комментарии 👇

#трудовые_будни #life

DziS Science | Data Science

26 Sep, 11:30


Наглядно про компетенции.

UPD: Взято из статьи на Хабре.

#fun

DziS Science | Data Science

16 Sep, 09:51


Channel photo updated

DziS Science | Data Science

16 Sep, 06:32


Привет всем! 👋

Хорошего начала рабочей недели.

В общении с руководством насчет повышения, о котором я писал ранее, я не упомянул самое важное - ваш внешний вид.

Итак, дамы и господа, найден идеальный свитер для разговора о повышении на работе.

У вашего руководства нет шансов, сохраняйте!

#fun

DziS Science | Data Science

15 Sep, 12:29


Привет всем! 👋

Небольшой отчет по Practical ML Conf.

Прежде всего, очень интересное пространство, залы с докладами сделаны были из подземного паркинга, туда добавили стены и кондиционеры и освещение, как по мне решение очень интересное и необычное.

Были так же зоны всех ML команд Яндекса, где можно было пообщаться с инженерами и узнать новинки. Так например, на стенде Алисы, были представлены эмоции Алисы: в зависимости от фраз она выражает эмоции в виде смайликов.

Кроме того во дворе пространства были организованы напитки, еда и были кофе толки, где на пуфиках можно было послушать дискуссии. Там же обитала команда беспилотников.

Во дворе вечером было организовано афтерпати.

Отмечу, что в этот раз преобладающее количество докладов было именно из Яндекса. В сравнении с предыдущими большими конференциями меньше RAG/LLM, присутствовали как и детальные доклады, так и очень базовые, я бы назвал их вводными.

Подводя итоги скажу, что как и любая конференция Яндекса, это мероприятие организовано на высшем уровне и привлекает много интересных специалистов разного уровня.

#мероприятия #life

DziS Science | Data Science

10 Sep, 07:02


Привет всем!👋

Как и все, кто находится на территории РФ, я стал искать замену Notion.

Я начал активно им пользоваться не так давно, когда количество информации стало не умещаться в бумажный носитель. За полгода он стал основным инструментом для ведения истории по рабочим задачам.

Из основных фичей, которые меня больше всего интересовали: сворачиваемые элементы (задачу свернуть и туда писать статусы по датам), кроссплатформенность (ноутбук, телефон, стационарный компьютер), удобный визуал без лишнего функционала.

Наткнулся на интересную статью на Хабре, где более менее полно представлены основные игроки на рынке.

👉Ссылка на статью.

Привожу личный опыт:
▪️AFFine - внебрачный сын Miro и заметок от Apple. С моей иерархией (5 страниц с вложенными списками) данная картинка превращается во что-то очень странное. Тратить время на приближение канваса даже не хочется.
▪️Obsidian - все здорово и изначально бесплатно, но нигде упоминания про очень интересный момент: хочешь кросс-платформу, например ноутбук телефон - плати. Нет сворачиваемых списков.
▪️Yandex Tracker - ну это скорее Jira, чем аналог Notion. У меня на работе отличная локальная Jira, мне ее хватает.
▪️Strive - аналогичная история, как с Y.Tracker.
▪️Teamly - тут начинается классическая история про импортозамещение. На полсайта у них баннеры, перенестись с Notion легко, смотри как. И через архив и через API пытался 3 раза. Ожидание в очереди по 8 часов, результат - ошибка переноса, общался с поддержкой, ни чем не помогли.
▪️YoNote - тут еще смешнее, так как первый раз я зашел на сайт you-note.ru, где вообще 1 страничка а-ля заметки от яблока. Тут есть сворачиваемые списки, но не сворачиваемые заголовки, которые мне так понравились в Notion. По переносу все легко и непринужденно, 18й час в очереди на перенос.

Итог:
В своих поисках (в течении недели) не получилось найти достойную замену Notion, от которой бы не хотелось убежать не оглядываясь, поэтому, как человек, не заплативший им ни рубля (если опять же не врут в описании своих действий) просто останется без доступа с территории РФ (благо уже дошколята умеют в РФ в VPN) пока остаюсь там.
Бэкап сделал, привязка к gmail.
Основная проблема - использование с корпоративного компьютера (уж очень не хочу на него левый vpn ставить). Думаю пока пошаманю с телефоном на работе, возможно логично использовать на работе второй монитор в виде iPad ради такого.

UPD: Говорят, что можно с Obsidian "схитрить" и синхронизировать через git/gdrive через аддон.

UPD2: Notion действительно не открывается с обычного интернета "You may not access Notion from a prohibited jurisdiction", через VPN все работает у меня лично.

#офтоп

DziS Science | Data Science

09 Sep, 16:27


Привет всем!👋

Время отпусков подходит к концу. Какие ближайшие события нас ожидают?

📌14 сентября 📱 проводит Practical ML Conf.

Конференцию я анонсировал ранее, думаю уже почти всем пришли приглашения на офлайн.
📍Где: Москва, Пространство «Суперметалл», ст. м. «Бауманская»
👨‍💻Формат: Онлайн👨‍💻/Офлайн🕺

📌Альтернативно, если по какой-то причине вы не можете посетить конференцию, предлагаю посетить фестиваль FestTech 2024.

FestTech очень созвучно с Физтех, что и является изюминкой данного мероприятия. По настроению, мероприятие очень похоже на дни физика МФТИ, где есть как и серьезная часть, так и развлекательная.

На фестивале представлены четыре тематических направления — Hard/Tech/Pop/Art, а также насыщенная программа с более чем 20 активностями. Для нетворкинга и развития кругозора - самое то.

С утра будут лекции от экспертов, панельные дискуссии, FestTech Talks (импортозамещенный Ted Talks).
Вечером лайв музыка и антинаучная конференция (это как шнобелевка, только с докладами).

Кстати, можно поучаствовать в розыгрыше мерча.

📆Когда: 14 сентября
👨‍💻Формат: Офлайн🕺
📍Где: Дизайн-завод Флакон
👉Регистрация по ссылке

📌Кроме того, из активностей очень прикольная менторская программа Mentor in tech 6.0 от
Woman in Tech Russia.

Если вы представительница прекрасного пола👩‍💻 и хотите вкатиться в IT (в частности DS), то обязательно подавайтесь на эту программу. Она волонтерская (бесплатная), где у вас будет ментор, уже работающий в сфере, которая вам интересна. Кстати, если вы работаете уже в сфере, то можете податься на менторство (даже если вы мужчина).
📆Когда: подача заявок с 1 по 15 сентября
👨‍💻Формат: онлайн
👉Регистрация в ТГ боте @MiT_Russia_Bot

Приоткрою немного завесу тайны, сказав, что я уже подался на роль ментора. Интересный опыт, обязательно о нем расскажу здесь.

По традиции, 🔥, если понравилось.

DziS Science | Data Science

07 Sep, 07:15


POV: арабский рынок

#fun