DevBrain

GIL и Python

Python, пожалуй, самый популярный язык программирования в дата инжиниринге несмотря на то, что его постоянно ругают за производительность и обжорство. Свои позиции он не сдал чего не скажешь, например, о Scala ☠️

Python своей "тормознутостью" отчасти обязан некогда архитектурному решению под названием GIL. Многие слышали эту аббревиатуру, но не все знают причину по которой появился GIL и как он работает под капотом. Если вам это интересно, то держите отличный доклад на русском языке: Зачем нужен GIL и как от него избавиться? от Евгения Афанасьева.

В Python версии 3.13, релиз которой будет уже в октябре, добавили опциональную возможность отключить GIL 😲, нюансы описаны в PEP-703. И про это есть в докладе у Евгения.

В общем, must watch

Django 5.1 has been released: https://www.djangoproject.com/weblog/2024/aug/07/django-51-released/

Курс про Apache Airflow бесплатно

Решил выложить свой курс про Apache Airflow абсолютно бесплатно для всех: Apache Airflow 2.2: практический курс
За то время что существует курс, Apache Airflow успел обрасти множеством новых фич, которые только предстоит покрыть в будущем, возможно в виде отдельных роликов на Ютуб или в виде статей у себя в блоге.

В любом случае курс не потерял своей актуальности и может послужить неплохим введением для новичков и более опытных пользователей. Например, в курсе я подробно разбираю как развернуть у себя на сервере production-ready Airflow, а также настроить автодеплой дагов через GitHub Actions.

Велком!

Всем привет!

Я сделал курс по Luigi бесплатным для всех, велком изучать — Введение в Data Engineering: дата-пайплайны

Luigi это компактный инструмент для построения зависимых между собой задач на базе нескольких сущностей: Task, Target. Он идеально подойдёт там, где Airflow кажется избыточным инструментом. В далёком 2017 году я писал небольшой обзорный пост на Luigi у себя в блоге: Строим Data Pipeline на Python и Luigi. С тех пор мало что изменилось в концепции инструмента, он по прежнему компактный и простой, именно в этом вся его прелесть.

Вводный гайд по работе с GitHub Copilot от Microsoft: https://github.com/microsoft/Mastering-GitHub-Copilot-for-Paired-Programming

DjangoCon US 2023

В сети появились доклады с DjangoCon US 2023: https://bit.ly/3teUC3P

Вышла 5-я версия Django: https://www.djangoproject.com/weblog/2023/dec/04/django-50-released/

Github Copilot теперь и через командную строку: https://github.blog/changelog/2023-11-08-github-copilot-in-the-cli-now-in-public-beta/
От себя скажу, что пользуюсь Copilot практически с момента его появления, очень выручает в написании тестов =)

django-trix-editor

Написал интеграцию WYSIWYG-редактора Trix от 37signals для Django: django-trix-editor

Удобный и минималистичный редактор для вашего веб-приложения =) Накидайте звёздочек в репу, пожалуйста ⭐️⭐️⭐️⭐️⭐️

23 октября вышла первая бета Django 5.0: https://www.djangoproject.com/weblog/2023/oct/23/django-50-beta-1-released/
Django 5.0 будет поддерживать Python 3.10 и выше. Версия 4.2 это последняя ветка, которая поддерживала 3.8 и 3.9. Если планируете обновиться, то имейте это в виду. Чуть позже в блоге будет разбор новых фич. Финальный релиз запланирован на начало декабря 2023 года.

Релиз Python 3.12: https://pythoninsider.blogspot.com/2023/10/python-3120-final-now-available.html

Налетай, разбирай. В Ютубе появились доклады с прошедшей конференции EuroPython 2023: https://www.youtube.com/playlist?list=PL8uoeex94UhFcwvAfWHybD7SfNgIUBRo-

Отличная новость. JetBrains выпустила отдельную IDE под язык Rust: https://blog.jetbrains.com/rust/2023/09/13/introducing-rustrover-a-standalone-rust-ide-by-jetbrains/

Отличный гайд о работе процессора простым языком: https://cpu.land/

Спустя полтора года "молчания" в блоге, я таки написал небольшую заметку про тестирование RQ в Django с использованием fakeredis: Django, RQ и FakeRedis

ML Research Engineer
GOAT.Al
4.000 to 5.000 USD NET per month
Almaty Office

GOAT.Al is a research lab on Human <> AI engagement.
The team behind the popular app GoatChat.Al.
We are working on solving the problems of large language models, including hallucination, mode collapse, and context length limitations.

Responsibilities:
• Conduct cutting-edge research on large language models
• Write and publish academic papers describing new research

Requirements:
• Broad knowledge of academic research in the field of deep learning, with a focus on the latest trends and papers
• Experience with PyTorch and related frameworks like DeepSpeed and HuggingFace
• Knowledge of state-of-the-art training techniques, including mixed-precision training
• Proficiency in MLOps and experience with distributed training

Optional skills: Experience with natural language processing (NLP) or reinforcement learning (RL) is preferred, but not required.

Contacts:
📧 [email protected]
@rempact

Доклады с DjangoCon Europe 2023:

— Squeezing Django performance for 14.9 million users on WhatsApp
— Building and scaling a live event platform with django-channels
— Tuning PostgreSQL to work even better
— Good form: How Django’s form rendering improved during the 4.x series

Выше список наиболее интересных с моей т.з. докладов с прошедшей конференции. Полный список можно посмотреть тут.

В сети появились долгожданные доклады с прошедшей в конце апреля конференции PyCon US 2023: https://bit.ly/3WLW0oG

Бесплатный курс об изучении языка Rust. Курс рассчитан на 12 полных недель. Каждую неделю открывается новый материал для изучения, сейчас доступен материал 1-й недели.

Django 4.2 LTS

Вчера вышла LTS версия Django 4.2. Из значимых изменений:

— поддержка psycopg3 (асинхронный режим для работы с PostgreSQL)
— возможность добавлять комментарии к таблицам/моделям
— тёмный режим в админке Django
— асинхронный интерфейс для Related Managers