MarksRemarks

Искусственный интеллект повсюду…

Да уж, вот вам и текстовые аугментации

#ShitPost

Ох уж этот Augmentex ))

Теперь вы знаете куда поступать чтобы зарабатывать 300к в секунду 😅

Приглашаем экспертов в data science на закрытую встречу сообщества

Когда: 29 августа, онлайн, в 18:00 по Мск.

Будем обсуждать горизонты профессионального развития в DS и машинном обучении. Темы встречи:

⚡️Как развиваться внутри data science?

⚡️Какие интересные прикладные задачи стоят перед лидерами индустрии?

⚡️Перспективы для сеньора: расти вверх по карьерной лестнице или углубляться внутри своей специализации? Поговорим про вертикальное и горизонтальное развитие

⚡️Где получать практические навыки и обмениваться опытом и связями?

Участники встречи:

- Андрей Кузнецов (AIRI)
- Евгений Смирнов (АЛЬФА-БАНК)
- Роман Поборчий (self-employed)
- Дани Эль-Айясс (Social Discovery Group)
- Владимир Ершов (Яндекс)
- Никита Зелинский (МТС)
- Александр Самойлов (Wildberries)
- Иван Бондаренко (Новосибирский государственный университет)

Встреча пройдет в формате открытой дискуссии, где каждый желающий сможет задать интересующие его вопросы. Участие бесплатное.

✅ Регистрируйтесь на встречу и зовите коллег!

А что вас повеселило в последнее время?

Новая эра оценки енкодеров, скажем спасибо Давиду за детство

Энкодечка мёртв, да здравствует ruMTEB!

Пару лет назад я много писал про сравнение русскоязычных энкодеров предложений по качеству, размеру и быстродействию. Тогда (а на самом деле даже в 2021) я создал бенчмарк Энкодечка, позволяющий выявить оптимальные модели по соотношению этих трёх параметров. И эти три года он был единственным более-менее живым бенчмарком, позволяющим сравнивать такие модели.

Спустя некоторое время появился бенчмарк MTEB, выполнявший похожую роль для английского. В отличие от Энкодечки, MTEB не особо интересуется размером и быстродействием моделей, но в эпоху, когда нейросети с семью миллиардами параметров считаются "маленькими", это вроде как никому особо и не нужно. Благодаря хорошему покрытию задач и простоте добавления моделей, MTEB стал популярен, и в него стали постепенно просачиваться и другие языки (вдобавок к нескольким мультиязычным задачам, включённым туда с самого начала).

И вот совсем недавно что ребята из Сбера добавили в MTEB большую пачку русскоязычных задач (17 новых, вдобавок к 6 мультиязычным задачам из MTEB, где и так уже был включён русский). Это новое двадцатитрёхзадачаное русскоязычное подмножество MTEB достаточно хорошо охватывает все типы задач, присутствовавшие в Encodechka (кроме NER, которое вообще-то не про эмбеддинги предложений, и которое я прилепил сбоку чисто по приколу), плюс покрывает поиск и переранжирование документов - то, чего в энкодечке не было (потому что он фокусировался на отдельных предложениях).

Этот новый бенчмарк совершенно логично прозвали ruMTEB, и отныне рулить будет он.
Динамического лидерборда там пока нет, но в обозримом будущем должен появиться.
Добавлять новые модели в репо энкодечки всё ещё можно, но каких-то серьёзных обновлений я больше не планирую.

Поддерживать популярные проекты приятно. Но когда их можно больше не поддерживать, приятно тоже 🙃

Сегодня разобщались со знакомыми на тему собесов и подготовки к ним. Разговор зашел об этапе алгоритмов и я вскользь прокинул что недостаточно знать как решаются алгоритмы, важно еще понимать как устроен язык на котором вы пишите. Один из ребят посоветовал лекции Никиты Соболева. Я как человек который постоянно проводит собесы в девайсах посмотрел, понравилось и вот вам советую. Каждая видеолекция это раскрытие определенной темы и прикольно что он сделал 3 разных уровня погружения в тему: junior, middle, senior.

Кароч пользуйтесь перед подготовкой к собесам, особенно к нам 😉

Всем привет! Давно ничего не писал и на то есть причина. Наткнулся сейчас на интересный пост и понял что примерно месяц назад поймал себя на этом же. Советую его прочитать и тогда вы поймете в чем причина длительного инактива в канале.

P.S. Кстати чтобы уменьшить «облако суеты» заняло почти месяц. Так что чем раньше вы начнете, тем раньше сможете выдохнуть и начнете продуктивно работать 🫡

Мы строили, строили и наконец-то построили :) Книга «Охота на электроовец: большая книга искусственного интеллекта» вышла из печати и доступна к заказу. Полные электронные версии книги (epub, docx, pdf) можно скачать с сайта бесплатно: http://markoff.science#book

«Мифы и заблуждения об искусственном интеллекте, страхи, насущные проблемы, перспективные направления исследований — обо всём этом вы узнаете из «Большой книги искусственного интеллекта»

Очень приятно получать такие сообщения 👉🏼👈🏼

Ставь лайк если жиза 😄

Всем привет! Давно сюда не писал, существую щас в бешенном ритме 😅

Небольшие апдейты за последние пару недель:
1️⃣ Жесткий факап на ЦП ЮФО 👨‍🦳
2️⃣ Победа на ЦП ЦФО 🔼

Давайте начнем по порядку. На ЮФО мы участвовали в кейсе "Семантическая классификация документов". Там нужно было реализовать сервис по проверке документов перед отправкой (классификация). Оценивалось все по формуле Количество Баллов * Score. В чем же заключается факап? Количество баллов у нас было около максимальным, а вот score получился 0.6. Суть в том, что получив тренировочный датасет и построив правильно валидацию, я смог получить на ней 99% качества. Расслабившись, я перешел к другим задачам. Но как потом оказалось, тестовый датасет состоял совсем из других документов (из другого распределения) и моя модель давала на нем перфоманс в 60%, а переобучать модель уже не было времени, потому что на предикт отводилось всего 1 час. В итоге первое место заняла команда с TF-IDF 🫠 (как оказалось этот алгоритм хорошо работает с разными данными). Ну а мы вместо 1 места заняли 7. Мораль: Теперь в будущих проектах я всегда буду иметь бейзлайны на руках для непредвиденных случаев.

В ЦФО мы участвовали в кейсе по рекомендации образовательных курсов от компании GeekBrains. Кейс был настолько легким, что я за неделю до начала уже раздал задания (парсинг данных, АПИ, Презентация, анализ рынка, фронт) своей команде, чтобы уже во время хакатона оставалось доделать чуть-чуть. Мы построили RAG систему с уклоном в рекомендации. Мы заняли 1 место и обогнали команду со 2 места на 7 баллов! 🔥

Найдете меня?)

🔥LLaMa 3 - дождались: Новая SOTA в open-source!

Сегодня день больших релизов от Meta, в которых и я и моя команда принимала прямое участие.

Зарелизили в опенсорс LLaMa-3 8B и 70B:
🔳LLaMa-3 8B – лучшая в своем классе модель, и сопоставима с LLaMa-2 70B, хоть и в 10 раз меньше.
🔳LLaMa-3 70B – тоже самая мощная в режиме 70 млрд параметров, достигает 82 на MMLU бенчмарке (показывает уровень общих знаний в разных областях). Для сравнения, недавняя Mixtral 8x22B с 141B параметров достигает только MMLU 77.8. Ну, и ждем результатов на арене.

C новыми моделями можно початиться на meta.ai

Блог
Подробности
Скачать веса модели

@ai_newz

Совсем не реклама, сам хотел поучаствовать, но сотрудникам Сбера нельзя 😞

Крутой Хакатон DEEPHACK.AGENTS от команды GigaChat и Центра ИИ МФТИ.

Задача: на основании возможностей, которые предоставляют GigaСhat и его SDK GigaChain, разработать собственного ИИ-ассистента, помогающего в научной деятельности.

Когда: 24-28 Апреля
Команда: 2-3 человека
Призы: 250к, 150к, 100к
Формат: Онлаин/Офлаин (Москва)
Регистрация: До 22 Апреля

P.S. Не стоит бояться GigaChain, потому что он написан на базе LangChain 😉

🔵Разобрал статью с конференции EACL 2024: Leak, Cheat, Repeat: Data Contamination and Evaluation Malpractices in Closed-Source LLMs

🔴Основная мысль: Научное сообщество с халатностью относится к оценке моделей в своих исследованиях, что приводит к утечке данных и не справедливым оценкам. Авторы взяли 255 статей связанных с LLM за прошлый год и очень подробно их проанализировали.

🔵Во время анализа они столкнулись с большим количеством проблем и на их основе создали рецепт для будущих исследований который поможет сделать оценки объективными, меньше тормозить научный прогресс и также повысить воспроизводимость результатов.

🔴Можно сказать что их выводы это база, но почему-то никто ее не соблюдает. Своим исследованием они еще раз подчеркнули важную проблему, на которую большинство забивают.

🔵Только 23 статьи из 255 (<10%) оказались достаточно чистыми, что повергает в шок. Подробнее можно ознакомиться по ссылке. 🚀

Ну и давно я вас об этом не просил, помочь каналу можно по ссылке – https://t.me/boost/kaggle_fucker

LLM отправили на олимпиаду по матише. 🧑‍🎓

Новый сорев по NLP на kaggle. Над решать олимпиадные задачки при помощи LLM. Вопреки тренду тут и тут, train сетик имеется 🤙 Да еще даже есть указание откуда он взялся, те можно наскрапать поболее датки.

Что тут можно посоветовать:

1. Юзать модель LLEMMA и идеи из статьи.

2. Обратить внимание на статьи могут ли LLM решать мат задачки, быть калькуляторами и как: раз, два, три и думаю еще найдете.

3. Обратить внимание на токенизатор в ваших LLM, порой полезны модели с single цифрой на token , те токенизация по 0,1,2...,9.

4. Работать в few shot режиме, но хитро, используя RAG систему. По принципу: обкачал этот ресурс, закэшил, сверху взял ретривер и по задаче из теста возвращаешь топК задач из кэша с условием и ответом. Далее по примеру текущей задачи кидаем в промт выгруженные похожие задачи с индекса и просим по аналогии решить текущую тестовую аля: "смотри LLM вот 1+1=2, 3+3=6, а тогда скок будет 4+5=?" Естествннно там будет пример сложнее, надеюсь, концепт поняли.

5. Пункт дополняет 4ый. Нагенерить синту из известных задач с разными параметрами и ответами, от них зависящими. Было 1+1=2 стало 3+3=6 и тп. Как? Думайте сами)


UPD.
6.Совсем забыл про MultiHop и Chain of thought) Можно разумеется юзать техники пошагового рассуждения статьи: раз, два.

+ два сета от NVIDIA спасибо @tsimboyolga

-https://huggingface.co/datasets/TIGER-Lab/MathInstruct

-https://huggingface.co/datasets/nvidia/OpenMathInstruct-1

Успехов)

Мало кто знает, но сегодня отмечается День Математика!

Поэтому меня и других коллег с профессиональным празником!) 🤑

PS это не шутка если что 🤨