LightAutoML framework

🎄 С наступающим Новым годом, друзья!

Пусть 2025 станет годом технологических прорывов, гениальных идей и амбициозных исследований!

Создавайте, экспериментируйте, меняйте мир — и пусть ваша нейронка счастья всегда выдаёт 100%!

Спасибо, что вы с нами! 👀

🚩🚩Последний рабочий день года — пора запасаться полезным чтивом на праздники! 🚩🚩

Иван Юрашку снова радует нас своими статьями на Хабре. 💡 Сегодня вышла вторая часть цикла о Causal Inference. В ней вы узнаете всё про рандомизированные контролируемые испытания (РКИ) — метод, который лежит в основе A/B-тестов и помогает проводить эксперименты правильно. 📊 Примеры на Python включены! 👩‍💻

📌 Читать статью: Ссылка на Хабр🤗

🎄 Почему это стоит прочитать?
Эти статьи идеально подходят для праздничных вечеров с чашкой чая или какао. ☕️ Вместо просмотра бесконечных фильмов — разберитесь, как тестировать гипотезы и оценивать причинно-следственные связи.

💬 А теперь немного магии:
— Накидайте ❤️ реакций, чтобы мы поскорее опубликовали третью статью!
— И поставьте ⭐️ на наш GitHub, чтобы вдохновить нас на новые проекты в 2025 году.👩‍💻

С Новым годом, друзья! Пусть ваш праздник будет не только весёлым, но и полезным. ✨

Добрый день, коллеги!

От лица команды LightAutoML поздравляю всех с наступающим 2025 годом! Хотим пожелать вам всем побольше качественных датасетов, ML моделей и счастливых бизнес-заказчиков 🎄

Со своей стороны мы подвели итоги 2024 года, среди которых можно отметить следующие:

1) Победа на Kaggle AutoML Grand Prix 2024, где мы были единственной командой, выигравшей 2 из 5 этапов

2) Фактически двукратный рост ⭐ на основном GitHub репозитории sb-ai-lab/LightAutoML

3) Чуть более трети от всех 230k загрузок LightAutoML с PyPI произошли в 2024 году

4) В 2024 году в журнале JMLR вышла статья по прогону OpenML AutoML benchmark, в которой мы попали в топ-3 общемирового рейтинга AutoML решений для различных задач

5) В мае 2024 более недели находились в топе рейтинга Trending Research на сайте paperswithcode.com

6) Руководитель команды LightAutoML Александр Рыжков полностью прошел Kaggle - стал 4x Kaggle Grandmaster (теперь их 10 человек по миру)

Счастливого 2025-ого года и спасибо, что вы с нами 🦙

P.S. Верю в силу 6 рукопожатий - если вдруг кто-то из ваших друзей/коллег еще не знает про lama, приглашайте к нам в канал 🙃

👋 Всем привет!

🎁 Принесли вам под елочку релиз LightAutoML 0.4.0, в котором:
* Поддержка Pandas v2+, LightGBM v4+, python: 3.8 - 3.12
* Добавлен XGBoost в качестве MLAlgo
* Автоматический маппинг колонок на выходе мультикласса (теперь не нужно использовать руками длинные конструкции с class_mapping)
* Автосохранение модели сразу после обучения (path_to_save в fit_predict) -- больше вы не потеряете результаты обучения
* OptunaTuner толерантнее к падениям триалов (параметр fail_tolerance)
* Автоматическая подстройка параметра кросс-валидации для работы в малым числом исходов
* HypEx выделился в отдельную библиотеку
* И много-много фиксов небольших багов

🎄с наступающим Новым годом!

🚀 Запускаем соревнование по AutoML для студентов

🌿 Настало время оправдать название курса AutoML in Practice и закрепить полученные в нем знания. Каждый курс от Лаборатории обязательно подкрепляется соревнованием по анализу данных и в этом году мы не стали делать исключение. Уверен, оно вам точно зайдет, ведь на этот раз его готовили исключительно kaggle-мастера из нашей команды. Соревнование будет состоять из отборочного онлайн-этапа и очного офлайн-этапа.

1️⃣ В отборочном испытании вам предстоит решить одну из трех наших актуальных задач:

🔹Кредитный скоринг ЮЛ (вероятность дефолта, PD модели)
🔹Склонность физических лиц к инвестициям (Look-alike модели)
🔹Отток юридических лиц из расчётно-кассового обслуживания (CLTV модели)

2️⃣ В финальном этапе участники соревнования напишут свой AutoML, который сможет решить 15 различных задач.

Распределение призовых:
🥇1 место - 250 000 ₽
🥈2 место - 150 000 ₽
🥉3 место - 100 000 ₽

🗓Ключевые этапы:
🔹 22-31.10 — Подача заявок (дедлайн)
🔹 1-12.11 — Отборочный этап - онлайн
🔹 18.11-7.12 — Финальный этап -онлайн
🔹 7-8.12 — Финальный этап - офлайн

🚫Ограничения: К участию допускаются студенты 18-25 лет.

👉 Регистрируйся по ссылке на соревнование сейчас, чтобы закрепить полученные знания из нашего курса.

Доброе утро мир 😎

Интересное событие для студентов появилось на горизонте в оооочень близкой перспективе - хакатон от Альфа-банка по написанию своего AutoML (хотя думаю можно использовать и некоторые заготовки 🦙)

Подробная информация ниже 👇

🚀Команда Сбера🚀выложила в open-source самый большой датасет, содержащий мультимодальные банковские данные ЮЛ.

🔥Multimodal Banking Dataset (MBD)🔥

Датасет состоит из обезличенных исторических данных, содержащих следующую информацию по клиентам ЮЛ за 12-24 месяцев:
📌транзакционная активность (transactions);
📌эмбеддинги диалогов (dialogs);
📌гео-активность (geostream).

Таргет: предсказать для каждого пользователя взятие каждого из четырех продуктов в течение месяца после отчетной даты. Исторические данные за 2022 находятся в targets.

Датасет на HuggingFace:

🖥https://huggingface.co/datasets/ai-lab/MBD (14,6 GB, основной датасет)
🖥https://huggingface.co/datasets/ai-lab/MBD-mini (3,38 GB, уменьшенная версия, 10% клиентов из основного датасета)

Датасет опубликован под лицензией Creative commons 4.0, доступен для использования в научных работах, экспериментах итд.

Как новички в Data Science решают сложные задачи: результаты моих студентов в ML соревновании 📊

Какие подходы пробуют применять стажеры и джуны в Data Science соревнованиях с табличными данными? Я принёс инфографику моих студентов, которая иллюстрирует их работы в финальном соревновании курса 📈

🔍 Предыстория
В прошлом учебном году я вел блок занятий по Machine Learning на одном из курсов. Чтобы отработать навыки студентов, я запустил inclass соревнование. Студенты решали задачу бинарной классификации — для многих это был первый подобный опыт.

Почти все подходы студентов были связаны с алгоритмами градиентного бустинга. В топ 3 решений попали ансамбли, automl и catboost 🏆

Если вам понравилась визуализация, python код для ее воспроизведения доступен на моем GitHub. Сделать такую же инфографику проще, чем вы думаете! ✨

🚀 LightAutoML снова покоряет вершины! 🚀

Мы рады сообщить, что LightAutoML ворвался в ТОП-5 самых популярных решений в категории "ML и алгоритмы" по мнению исследователей из ИТМО, заняв почетное второе место!

Но это еще не все! LightAutoML также стал лидером среди самых часто используемых решений Сбера — одного из ключевых игроков в сфере Data/ML, который активно создает свои открытые решения и участвует в опенсорс-разработках.

Присоединяйтесь к нам и открывайте новые возможности в мире машинного обучения! 🌟

Доброе утро, коллеги!

Делимся с вами записью вебинара про AutoML Grand Prix, прошедшего в пятницу, в двух форматах - в формате видео и формате подкаста.

Еще раз спасибо за интересные вопросы и рады, что вы провели эти незабываемые 2 часа с нами 😍

Happy Kaggling 🦙

Live stream finished (2 hours)

Live stream started

Live stream scheduled for Sep 13, 2024 at 14:30

Всем хорошей пятницы!

Начинаем трансляцию через 10 минут. Все вопросы/комментарии/предложения можно писать прямо под этим постом в комментариях.

Да будет стрим 💪

P.S. Запись будет, поделимся ей в канале 😎

Всем привет, коллеги!

Как и обещали, уже завтра в 17:30 прямо здесь в Telegram проведем трансляцию с рассказом о самом соревновании Kaggle AutoML Grand Prix и нашем участии в нем 🏆

Присоединяйтесь и сообщайте друзьям - будет интересно 🔥

🏆 Российский AutoML побеждает на международной арене

Команда “LightAutoML testers” победила в международном соревновании Kaggle AutoML Grand Prix! Наши ребята: Александр Рыжков, Дмитрий Симаков, Ринчин Дамдинов и Иван Глебов с помощью решений на основе LightAutoML обошли известных конкурентов по индустрии, включая команды из Amazon и H2O!

🚀 LightAutoML - бесплатный и открытый инструмент
Ключом к успеху стала open-source библиотека LightAutoML (LAMA), которая автоматизирует построение моделей машинного обучения. Благодаря использованию библиотеки ускоряется построение моделей и, зачастую, повышается качество. Инструмент подойдет как новичкам, так и профессионалам - решение можно получить как в несколько строк, так и с полной кастомизацией.

🌍 Kaggle AutoML Grand Prix 2024
Это - онлайн соревнование, приуроченное к ежегодной международной конференции International Conference on Automated Machine Learning, которая в этом году пройдет в Париже. Соревнование проходило на Kaggle (самой масштабной мировой платформе для соревнований по анализу данных) в 5 этапов, в каждом из которых было необходимо создать качественную модель машинного обучения всего за 24 часа.

🎓 Делимся опытом
Хотите узнать секреты победителей? Не пропустите предстоящий вебинар, где команда расскажет о своих решениях и ответит на ваши вопросы! Следите за анонсами в канале @lightautoml.

Уже в конце июня закончился хакатон Лидеры цифровой трансформации 2024! 😮

Как вы уже знаете, участникам предлагалось решить 25 различных задач. При этом по каждой из задач по итогам выбирались три лучших решения команд участников

В одной из наших задач, заключающейся в разработке мультимодальной модели, позволяющей прогнозировать выдачу продуктов в течение следующего месяца, первые три места заняли команды участников, использующие библиотеку pytorch-lifestream 😌🥰

А вот и особенности решения команд 😏:

🏆 Первое место: Magic City
🟢Модель использует все модальности и сразу обучается одной моделью под задачу предсказания следующего продукта
🟢Использование своего кастомного препроцессора данных, написанного на Polars

🏆 Второе место: Лидируй катбустируй
🟢Использование предобученной модели раннего фьюжена на всех трех модальностях
🟢Ансамбль нейросетей и ручных признаков
🟢Использование своего кастомного препроцессора данных, написанного на Polars

🏆 Третье место: AlfaWolves
🟢Использование архитектуры раннего фьюжена для всех трех модальностей
🟢Поздний фьюжен унимодальных моделей и раннего фьюжена
🟢Обучение под задачу мультилейбл с ResNet головами под каждый таргет
🟢Все эмбеддинги и табличные признаки использовались внутри бустингов и MLP моделей в финальном ансамбле

До скорого! Оставайтесь на связи, чтобы не пропустить самое интересное, а мы будем продолжать развиваться для вас и достигать новых вершин 🚀

P.S. Первая и вторая команды поделились ссылками на свои репозитории с решениями. Если ещё не поставили им звёздочку на GitHub, самое время это сделать! ⭐️

Добрый день, коллеги!

В продолжение недавнего сообщения о нашем участии в Kaggle AutoML Grand Prix - мы-таки выложили полноценное описание своего решения на 125 моделей, построенных за 24 часа (схему можно увидеть на первой приложенной к посту фотографии) 🤖

Также доступны:

- Открытый код инференса с финальным скором

- Датасет с различными предсказаниями и обученными моделями (еще больше, чем необходимо для финального сабмита)

Вопросы, замечания, предложения, лайки, share, подписки приветствуются ❤️

Также хочется отметить, что на второй приложенной к посту картинке изображен текущий лидерборд Kaggle AutoML Grand Prix за 3 прошедших этапа и основной баттл за призы еще впереди - всего в 5 очках расположены 5 команд, каждая из которых может претендовать на итоговое 1-ое место и $25k 💸

И в продолжение вечера новостей хотели бы поделиться запросом от наших хороших знакомых.

Уважаемые коллеги,  тех, кому интересна математика и машинное обучение,  наши коллеги приглашают принять в неформальном проекте.

Минимальное требование - Вы знакомы с Питоном, и у Вас есть несколько часов свободного времени в неделю.  (Альтернативно - можно не знать Питон, но хорошо знать теорию групп.)

Цель  проекта - применить машинное обучение к теории групп. Результат проекта  -  написание статьи в хорошем журнале. Другим бонусом будет являться - работа под руководством опытных специалистов в области машинного обучения и приобретение навыков  по современным методам нейронных сетей, Reinforcement Learning и т.д.

Примерный список направлений
1) Задача поиска короткого пути на графах Кэли (сборка кубика - аналог Каггл Санта23 - но для произвольных групп)
2) Оценки диаметра ("числа бога") для графов (то есть расстояние между самыми дальними точками на графах)
3) Бенчмарк эмбедингов графов на основе математических результатов о графах
4) Многое другое, что тесно связано - случайные блуждания, гипотеза Ловаса о обязательном существовании гамильтонова пути на любом графе Кэли,

Если Вам интересно участие - напишите @alexander_v_c (Александр Червов), чат для обсуждений тут .

Всем привет!

На прошедшем вчера третьем этапе AutoML Grand Prix на Kaggle команде Лаборатории AI "LightAutoML testers" удалось занять 3-е место, уступив только командам из H2O с решениями на базе платного решения Driveless AI и опередив коллег из Amazon, Microsoft, MLJAR и других компаний.

Полное решение с описанием будет выложено в ближайшие дни (следите за обновлениями 🤓), однако уже сейчас публично доступно сверхбыстрое решение на основе одной табличной нейронной сети из LightAutoML, способное занять 5-ое место: https://www.kaggle.com/code/simakov/lightautoml-denselight (вы знаете, что делать ⭐️)

Happy Kaggling 🦙

Привет, друзья! 🎉

🌟 Есть новость, от которой у нас просто космос! Наш проект HypEx выиграл награду "Перспективный проект" в премии Гравитация! 🚀

Огромное спасибо всей нашей команде за труд и энтузиазм. Вы супер! 👩‍💻👨‍💻 И благодарим наших замечательных внешних контрибьюторов, а также пользователей за их фидбек и новые идеи. Без вас ничего бы не получилось! 🌟

Спасибо премии Гравитация за признание! Теперь мы знаем, что разные гипотезы могут действительно тянуть нас к новым вершинам (ну, или к звёздам💫). 😉

Если ещё не поставили нам звёздочку на GitHub, самое время это сделать! 🌟 Это помогает нам становиться лучше.

Двигаемся вперёд, оставайтесь с нами — многое ещё впереди!