پست‌های تلگرام MarksRemarks

Мы строили, строили и наконец-то построили :) Книга «Охота на электроовец: большая книга искусственного интеллекта» вышла из печати и доступна к заказу. Полные электронные версии книги (epub, docx, pdf) можно скачать с сайта бесплатно: http://markoff.science#book

«Мифы и заблуждения об искусственном интеллекте, страхи, насущные проблемы, перспективные направления исследований — обо всём этом вы узнаете из «Большой книги искусственного интеллекта»

Очень приятно получать такие сообщения 👉🏼👈🏼

Ставь лайк если жиза 😄

Всем привет! Давно сюда не писал, существую щас в бешенном ритме 😅

Небольшие апдейты за последние пару недель:
1️⃣ Жесткий факап на ЦП ЮФО 👨‍🦳
2️⃣ Победа на ЦП ЦФО 🔼

Давайте начнем по порядку. На ЮФО мы участвовали в кейсе "Семантическая классификация документов". Там нужно было реализовать сервис по проверке документов перед отправкой (классификация). Оценивалось все по формуле Количество Баллов * Score. В чем же заключается факап? Количество баллов у нас было около максимальным, а вот score получился 0.6. Суть в том, что получив тренировочный датасет и построив правильно валидацию, я смог получить на ней 99% качества. Расслабившись, я перешел к другим задачам. Но как потом оказалось, тестовый датасет состоял совсем из других документов (из другого распределения) и моя модель давала на нем перфоманс в 60%, а переобучать модель уже не было времени, потому что на предикт отводилось всего 1 час. В итоге первое место заняла команда с TF-IDF 🫠 (как оказалось этот алгоритм хорошо работает с разными данными). Ну а мы вместо 1 места заняли 7. Мораль: Теперь в будущих проектах я всегда буду иметь бейзлайны на руках для непредвиденных случаев.

В ЦФО мы участвовали в кейсе по рекомендации образовательных курсов от компании GeekBrains. Кейс был настолько легким, что я за неделю до начала уже раздал задания (парсинг данных, АПИ, Презентация, анализ рынка, фронт) своей команде, чтобы уже во время хакатона оставалось доделать чуть-чуть. Мы построили RAG систему с уклоном в рекомендации. Мы заняли 1 место и обогнали команду со 2 места на 7 баллов! 🔥

Найдете меня?)

🔥LLaMa 3 - дождались: Новая SOTA в open-source!

Сегодня день больших релизов от Meta, в которых и я и моя команда принимала прямое участие.

Зарелизили в опенсорс LLaMa-3 8B и 70B:
🔳LLaMa-3 8B – лучшая в своем классе модель, и сопоставима с LLaMa-2 70B, хоть и в 10 раз меньше.
🔳LLaMa-3 70B – тоже самая мощная в режиме 70 млрд параметров, достигает 82 на MMLU бенчмарке (показывает уровень общих знаний в разных областях). Для сравнения, недавняя Mixtral 8x22B с 141B параметров достигает только MMLU 77.8. Ну, и ждем результатов на арене.

C новыми моделями можно початиться на meta.ai

Блог
Подробности
Скачать веса модели

@ai_newz

Совсем не реклама, сам хотел поучаствовать, но сотрудникам Сбера нельзя 😞

Крутой Хакатон DEEPHACK.AGENTS от команды GigaChat и Центра ИИ МФТИ.

Задача: на основании возможностей, которые предоставляют GigaСhat и его SDK GigaChain, разработать собственного ИИ-ассистента, помогающего в научной деятельности.

Когда: 24-28 Апреля
Команда: 2-3 человека
Призы: 250к, 150к, 100к
Формат: Онлаин/Офлаин (Москва)
Регистрация: До 22 Апреля

P.S. Не стоит бояться GigaChain, потому что он написан на базе LangChain 😉

🔵Разобрал статью с конференции EACL 2024: Leak, Cheat, Repeat: Data Contamination and Evaluation Malpractices in Closed-Source LLMs

🔴Основная мысль: Научное сообщество с халатностью относится к оценке моделей в своих исследованиях, что приводит к утечке данных и не справедливым оценкам. Авторы взяли 255 статей связанных с LLM за прошлый год и очень подробно их проанализировали.

🔵Во время анализа они столкнулись с большим количеством проблем и на их основе создали рецепт для будущих исследований который поможет сделать оценки объективными, меньше тормозить научный прогресс и также повысить воспроизводимость результатов.

🔴Можно сказать что их выводы это база, но почему-то никто ее не соблюдает. Своим исследованием они еще раз подчеркнули важную проблему, на которую большинство забивают.

🔵Только 23 статьи из 255 (<10%) оказались достаточно чистыми, что повергает в шок. Подробнее можно ознакомиться по ссылке. 🚀

Ну и давно я вас об этом не просил, помочь каналу можно по ссылке – https://t.me/boost/kaggle_fucker

LLM отправили на олимпиаду по матише. 🧑‍🎓

Новый сорев по NLP на kaggle. Над решать олимпиадные задачки при помощи LLM. Вопреки тренду тут и тут, train сетик имеется 🤙 Да еще даже есть указание откуда он взялся, те можно наскрапать поболее датки.

Что тут можно посоветовать:

1. Юзать модель LLEMMA и идеи из статьи.

2. Обратить внимание на статьи могут ли LLM решать мат задачки, быть калькуляторами и как: раз, два, три и думаю еще найдете.

3. Обратить внимание на токенизатор в ваших LLM, порой полезны модели с single цифрой на token , те токенизация по 0,1,2...,9.

4. Работать в few shot режиме, но хитро, используя RAG систему. По принципу: обкачал этот ресурс, закэшил, сверху взял ретривер и по задаче из теста возвращаешь топК задач из кэша с условием и ответом. Далее по примеру текущей задачи кидаем в промт выгруженные похожие задачи с индекса и просим по аналогии решить текущую тестовую аля: "смотри LLM вот 1+1=2, 3+3=6, а тогда скок будет 4+5=?" Естествннно там будет пример сложнее, надеюсь, концепт поняли.

5. Пункт дополняет 4ый. Нагенерить синту из известных задач с разными параметрами и ответами, от них зависящими. Было 1+1=2 стало 3+3=6 и тп. Как? Думайте сами)


UPD.
6.Совсем забыл про MultiHop и Chain of thought) Можно разумеется юзать техники пошагового рассуждения статьи: раз, два.

+ два сета от NVIDIA спасибо @tsimboyolga

-https://huggingface.co/datasets/TIGER-Lab/MathInstruct

-https://huggingface.co/datasets/nvidia/OpenMathInstruct-1

Успехов)

Мало кто знает, но сегодня отмечается День Математика!

Поэтому меня и других коллег с профессиональным празником!) 🤑

PS это не шутка если что 🤨