Жёлтый AI

Последний в этом году выпуск Жёлтого Club Talks 🎄

Поговорили с @anatoliipotapov и @llm_ceo о релизе T-Lite и T-Pro – прошлись по самым частым вопросам, которые можно было встретить в комментариях:
- Почему наш подход – нечто большее, чем просто fine-tuning
- Откуда такой большой результат на CheGeKa
- Когда ждать новых релизов и многое другое

Смотрите в VK или YouTube

И в завершении этой насыщенной недели — еще одна статья, но уже от команды RecSys📱

Артем Карасюк занимается рекомендательными системами для автоматизации обслуживания клиентов. Его команда развернула кастомизированную модель на базе трансформера, об этом и рассказ в статье.

Всем выходных🫰🏼

Запустили open-source модели на 7 и 32 миллиарда параметров

Сегодня мы выложили в открытый доступ две большие языковые модели на русском языке: T-Pro на 32 млрд параметров и обновленную T-Lite на 7 млрд параметров. Они построены на базе моделей Qwen 2.5 и дообучены на русский язык.

T-Pro заняла второе место по бенчмарку MERA среди всех моделей, включая проприетарные, и первое место среди открытых. А T-Lite стала лучшей русскоязычной open-source моделью в классе «до 10 миллиардов параметров» по ряду индустриальных бенчмарков.

🎄Скачать модели можно с huggingface.
🎄Больше подробностей и бенчмарки — здесь.

🎄

17 декабря в 19:00 в Санкт-Петербурге пройдет T-Meetup: Computer Vision

🐊 обсудим текущий уровень развития VisualLM и основные инсайты по их обучению
🦫 рассмотрим технологии Text2Img-моделей через призму задачи переноса стиля
🦍 узнаем, как квантовать модели для edge-устройств, сохраняя высокую точность

Регистрируйтесь и будем вас ждать!

Вышли записи с нашего недавнего митапа Hyper NLP Research! Если вы не смогли прийти на него, теперь можно наверстать упущенное

🦍 Mechanistic Interpretability – VK, YouTube
🐖 Как находить темы для исследований в условиях высокой конкуренции – VK, YouTube

Вышел новый выпуск Жёлтого Club Talks, в котором с @a_samigullin пообщались про то, что происходит в мире применений LLM – что с ними делаем в Т-Банке, и что делают другие люди 🦍

Ютуб: https://youtu.be/H_fxb4lmTJs?si=0VPpM2aTaCerEnUH
ВК: https://vk.com/video-151223562_456239606

Новости из солнечного Абу-Даби.

Прошла IEEE Inertantional Conference on Image Processing 2024, на которой @st_dereka выступил с нашей свежей статьей Diversifying Deep Ensembles: A Saliency Map Approach for Enhanced OOD Detection, Calibration, and Accuracy – в ней поставили SoTA на ряде бенчмарков для out-of-distribution (OOD) детекции.

Благодаря новому методу ансамбли становятся еще более устойчивыми и надежными, что супер важно в реальных применениях 🎯

Скоро пройдет митап Hyper NLP Research, на котором мы снова расскажем про наши свежие исследования. А чтобы сделать доклады более насыщенными и хардкорными, в этот раз их будет два:

🦍 Mechanistic Interpretability – на котором @nlp_ceo расскажет про переизобретенную область интерпретируемости моделей; о том, что ищут другие исследователи в ней, и что удалось найти нам

🐖 Как находить темы для исследований в условиях высокой конкуренции – доклад про AI Alignment от @borisshapa, в котором обсудим изменения в области за последние 2 года; как и что в ней делаем мы, и что ждет alignment в будущем

Митап пройдет в нашем офисе по адресу Грузинский Вал д. 7, 11 ноября в 19:00 – если вам интересна хардкорная составляющая NLP, то регистрируйтесь и будем вас ждать!

А вот и подробности по статье с ACM RecSys 2024🔥

Revisiting BPR: A Replicability Study of a Common Recommender System Baseline

Одна из самых популярных RecSys моделей – Bayesian Personalized Ranking (BPR) насчитывает как минимум 9 реализаций в open source, каждая из которых работает по-разному 👹

В нашей работе мы сравнили все из них, а также предложили свою реализацию, которая работает лучше всего, так что если вы захотите взять BPR, чтобы решать им свои задачи, то можно больше не беспокоиться о том, какую именно версию использовать.

– GitHub
– arxiv

На некоторых ивентах мы уже рассказывали о нашей библиотеке turbo-alignment с инструментами для полного цикла работы над LLM.

С тех пор в ней появилось много нового, так что, готовы рассказать об этом и здесь! Если вы разрабатываете продукты на базе LLM или экспериментируете с их обучением, то это точно для вас 🦍

🌸 Уже реализовали и проверили в боевых условиях необходимые методы для обучения языковых моделей под продуктовые задачи.

🌸 Добавили в репозиторий инструменты для анализа методов алаймента — это супер упрощает не только продуктовую разработку, но и научные исследования в LLM.

🌸 Обучить и протестировать языковую модель можно, запустив несколько команд в консоли. Библиотекой можно пользоваться даже если у вас нет глубокой экспертизы в LLM.

🌸 Никаких single-file implementation и jupyter ноутбуков. Все эксперименты полностью конфигурируются и воспроизводятся, поэтому проверять много гипотез просто. Особенно если у вас много GPU.

🌸 Уже есть реализация пайплайнов SFT, RM, RAG, разных оффлайн методов алаймента (DPO, KTO, ASFT, ORPO, SlicHF, RSO и др). С помощью turbo-alignment можно обучать и тестировать мультимодальные архитектуры, которые понимают картинки и аудио (например LLaVA и HoneyBee). Скоро добавим поддержку онлайн методов алаймента. Подробнее об этом можете почитать в README репозитория.

Уверены, что turbo-alignment и модель T-lite, о которой мы писали недавно, помогут всем построить светлое будущее с самыми крутыми LLM.

А пока — будем благодарны вашим issue, чтобы сделать библиотеку еще круче 👽

Мы на ACM RecSys 2024!

Наша RecSys-команда приехала на главную конференцию по рекомендациям. В прошлом году был Сингапур, а в этот раз — Италия. Здесь тепло, вкусно и ну оооочень красиво🌚 А еще много интересных идей по рекомендательным системам и людей со всего мира, которые толкают их развитие вперед.

Сегодня презентация нашей статьи, о которой расскажем чуть позже (stay tuned).

Поэтому, если вы в эти дни тоже здесь, подходите пообщаться!

Вышли записи с митапа по Time Series! Смотреть можно в VK и YouTube 🌸

Вышел свежий выпуск Жёлтого Club Talks, в котором в этот раз поболтали с @nlp_ceo и @murkyfella – о том, как ребята съездили на ACL 2024 рассказать о своей статье, как они смотрят на исследования в NLP, и голограммах 🐖

Вчера прошел митап по Time Series 🦍
Пока мы готовим записи докладов, просим тех, кто пришел лично, поделиться мнением об ивенте, чтобы мы могли делать их еще лучше!

В свежем исследовании от ИТМО мы вошли в топ-3 компаний, вкладывающихся в Open Source в AI! В честь этого хочется еще раз упомянуть некоторые из наших разработок:

🏂T-Lite – наша LLM (а также Instruct версия)
⚡️ETNA – мульти-тул для Time-Series
🐊Research – множество репозиториев, которыми мы подкрепляем наши научные исследования
🐖Turbo Alignment – библиотека LLM alignment с реализацией широкого спектра методов

Если вы вдруг что-то из этого пропустили, то самое время накинуть звездочек и попробовать заиспользовать у себя.

Исследование опубликовано здесь.

24 сентября в 19:00 пройдет наш очередной митап, посвященный временным рядам.

От нас расскажем про оффлайн мониторинг и эмбеддинги в time series, а наш дорогой друг из ecom.tech расскажет про прогнозирование спроса на товары 🦫

Всё произойдет в нашем офисе по адресу Грузинский Вал д.7. Приходите послушать доклады и пообщаться с командой!

Решать unsupervised задачи всегда непросто, а решать unsupervised задачи для RecSys — еще сложнее 👺

В лонгриде на Хабре мы написали, как собирать хорошие тематические персональные подборки, не имея разметки, в какие ловушки можно попасться и какие инсайты можно достать.

Вышли записи с Turbo ML Conf. Если вы вдруг по каким-то причинам не смогли прийти, или пришли, но хотите послушать все доклады, которые у нас были – это можно наконец-то сделать. Одни плюсы 🦫

- Research & RnD
- NLP & MLOps/LLMOps
- RecSys & TS
- CV & Speech

Мы, кстати, летали в Бангкок и рассказывали на ACL 2024 о нашей недавней статье Linear Transformers with Learnable Kernel Functions are Better In-Context Models.

В последнее время было много релизов, связанных с новыми эффективными архитектурами для языковых моделей. Многие из вас слышали хотя бы о Mamba. И хоть эти архитектуры показывали интересные результаты на языковом моделировании, существует очень много опасений об их способностях к In-Context Learning – из-за ограниченной capacity они не способны адаптироваться к динамично меняющемуся объему информации из контекста и не справляются даже с игрушечными задачами.

Так что отдельным направлением для исследований стал поиск таких эффективных архитектур, которые бы не страдали от проблем с длинными контекстами. В нашей статье мы как раз показали рецепты к обучению Linear Transformer, который лучше справляется с In-Context Learning, чем предыдущие работы.

Для этого нужно было всего лишь... Читать подробнее на hugging face, ТАСС, а также в треде от @nlp_ceo в твиттере 👹

У нас небольшие приятные новости нашего AI-Центра – появился крутой лэндинг, на котором собрали всё, чем мы занимаемся – начиная от технологий и заканчивая продуктами!

Самое главное, в одном месте собраны все вакансии. Так что, если вы хотите ворваться в AI команду в Т-Банке, то теперь знаете, откуда начинать поиск работы мечты.

Вы спрашивали — мы отвечаем. AI Research открыт не только студентам!

Мы всегда рады новым крутым коллегам. Теперь в Research можно податься напрямую.

Если у вас есть крепкий опыт на позиции Research Engineer и всегда хотели попасть в рисерч, но не понимали, как это сделать без PhD, то это ваша работа мечты. Обязательно засылайте своё резюме, или отправляйте пост друзьям, которым он может быть интересен 👹

Мы об этом еще не писали, но сейчас самое время. Статья @ummagumm_a в коллабе с друзьями из AIRI опубликовалась на ICML 2024!

В In-Context Reinforcement Learning for Variable Action Spaces продолжили изучать In-Context RL и открыли алгоритм, как адаптировать агентов к работе с произвольным Action Space. Это может быть полезно, когда мы не знаем заранее, с какой задачей ему придется столкнуться. Новый алгоритм Headless-AD позволяет докидывать в контекст действия произвольной природы и учиться адаптироваться к ним.

Почитать об этом всем, кстати, можно либо в статье ТАСС, либо, если вы brave enough, в оригинале.

Мы открыли новую лабораторию в Центральном Университете – Omut AI!

Теперь наша Research команда будет вкладываться в образование в ЦУ, а в остальном наши цели не меняются – публикация статей на топовых научных конференциях.

Мы продолжим писать больше о нашей жизни и работе в канале лаборатории, а пока напоминаем, что мы ищем в команду новых студентов – если вы хотите заниматься наукой в AI, то всё еще можно отправить заявку 🦧

Выпустили T-Lite. Пользуйтесь.
Качать тут.