Dealer.AI

Поддержу канал нашей исследовательницы. Мысли интересные, вопросы тоже. Контент картиночный)👇

Upd. Оригинал отсюда

Как гиперрост вызывает войны внутри компании

Картинки выглядит угрожающе, но на самом деле она лишь иллюстрирует, кто из первоначальной команды Open AI остался работать в компании. И добрые люди с Reddit сделали ее после внезапного заявления об уходе из компании главного технического директора Миры Мурати. Ее нет на картинке с первоначальной командой, она присоединилась к стартапу в 2018 году.

И говоря о проблема гиперроста, пример Open AI как нельзя лучше подходит в качестве иллюстрации. Именно головокружительный успех их продукта Chat GPT породил многочисленные проблемы, которые мы наблюдали весь прошлый год. После увольнения и возвращения Сэма Альтмана, казалось, что компания уладила внутренние противоречия и готова продолжать завоевывать рынок. Который, справедливости ради, не стоит на месте и выпускает все новых и новых конкурентов.

Компания рассматривает возможность перехода от некоммерческой организации с ограниченной прибылью к новой структуре, в которой инвесторы получат большую долю прибыли. При этом OpenAI обсуждает возможность передачи мистеру Альтману 7% акций в рамках усилий по реструктуризации в коммерческую компанию.

Однако, несмотря на то, что эксперты ожидают, что инвесторы в следующем раунде финансирования оценят компанию в 150 млрд долларов, неспособность Альтмана удержать топ-менеджеров также может стать для них тревожным сигналом. Один давний наблюдатель из Кремниевой долины говорит, что ощущение переворота похоже на то, что было в Uber в те дни, когда ее возглавлял Трэвис Каланик. «Феноменальный продукт, прогнившая культура», — так он описал ситуацию.

Как думаете, какие ошибки были допущены в период гиперроста? Мы видим, как минимум, несовпадение в ценностях компании.

Классика архитектуры.

Cohere 3.5 с обновой Reranker.

Конкуренты антропика в домене RAG не дремлют. Cohere 3.5 новый базированный пайп e2e RAG. Тут всё, как мы любим: и преранк на эмбедах и реранк на кросс-энкодере. При этом ребята обновили механизм внимания для улучшения работы с контекстом намерений пользователя. Как утверждают авторы — цель закрыть эксплицитную и имплицитную часть запросов кожАнных. Помимо этого, добавлены новые сеты для 100+ языков по различным доменным запросам (наука,финансы и тп.). Все это дало значимый бОльший прирост к метрикам поиска. Также,напоминаю,что у ребят есть и мультимодальный эмбеддер.

Cohere прекрасный пример того,как можно зарабатывать на сервисе вокруг <your favourite LLM>. Помним,еще подобное и у perplexity.

Радуемся, следим, юзаем.

Говорят, что выходит GPT-4o1 pro super star plus mode (вспомнил нейминг китайских авто). Но есть один нюанс. Цена 200$, Карл!!!

Создавай игры с GenAI и LLM.

Дядечка Ын продолжает радовать образовательным контентом. Курс про создание игр с ИИ.

Длительность курса 1 час. Можно использовать, кстати, как старт для вката в игровых агентов.

Meme

Microsoft (не)учит нейросети пока вы тапаете хомяка макросы в Excel.

Забавная новость дня.
Пользователи Word и Excel узнали,что стали кожАнными подопытными нейросетей. У них мол воруют информацию, чтобы тренировать искусственный интеллект от Microsoft.

Юзеры заметили,что в Word и Excel по умолчанию активна функция отправки в Microsoft информации. Данная информация в дальнейшем будет использоваться для обучения нейросетей.

Ну в целом, как бэ не удивительно, зачем отказываться от такого источника данных для дообучения своих LLM и тп. Тем более для автоматизации аналитики и вычислений при помощи ИИ. Однако, если учесть,что в Excel работают с NDA информацией, становится неприятненько.

Ранее Excel держал фиансовый мир, теперь видать будет AI 🧠 (ща заделаю мем).

Distillation is all you need? Или опыт репликации знаний из O1.

Вышла статья про то,как использование знания (внезапно не новое) из синты созданной через рассуждения модели учителя бустит ученика. Тут мы передаем привет снова Orca, Alpaca и прочим животным и не очень.
При этом выводы не новы, еще со времен BERTов было известно,что ученик может превзойти учителя, причем иметь гораздо ниже ёмкость. Важнее тут,как отметили мои коллеги, инволюция исследований. Проще взять топ модель по апи, вложиться в ее обстрел, а далее обучить меньшую модель на этой синте, дистильнув знания учителя. Таким образом, возможно, по мнению авторов, снижение фундаментальных исследований и перекладывание этого на плечи атлантов в виде OpenAI, Meta, Google и тп.

Однако, я хотел бы поговорить еще про инволюцию архитектур. На примере Qwen (а я напомню,что он llama like) мы можем увидеть форки известных архитектур (с небольшими доработками) + хороший pretrain. Те порой компаниям проще форкнуть код условной llama2 или mistral и на этом с 0, со своим претрейн сетом и сфт сетом сделать решение, не тратя средства на свой research архитектуры. Конечно, не всем удается, при том же форке завести достойные Mistral/Qwen уровня модели.

Является ли это проблемой? Не знаю. Решать Вам, читатели. В целом, снова поймал себя на мысли, сколько крутого Цукерберг с их public Llama архитектурой сделали для демократизации ИИ. Да еще срезали косты на исследования своих архитектур некоторым командам, оставив только вопросы сбора/чистки сетов, и затрат на обучение.

Метрики

Телега за внимание.

Объяснение типов "памяти".

Схема Hymba block

Mamba, Jamba, Ху...Hymba!🤣

NVIDIA представило новую гибридную модель Hymba (Химба, а не то,что ты подумал).

Как известно, SSM модели имеют свои архитектурные преимущества по отношению к трансформерам. На самом деле одно преимущество - линейная сложность от длины входной последовательности. При этом SSM модели имеют проблемы с "запоминанием" контекста при большой длине последовательности и не смогли показать иных плюсов кроме сложности.

В новой работе авторы показывают гибридизацию внимания и SSM модели (фото архитектуры будет ниже). Однако, в отличие от предыдущих работ, мы не имеем последовательно блок SSM, далее блок внимания, а их использование происходит параллельно. В таком сетапе, мы к сожалению не уходим полностью от квадратичной сложности по длине последовательности, в отличии от последовательного гибрида.

Однако,авторы уповают на иные "сильные" стороны. Во-первых, используется аналогия с работой мозга. Для запоминания четких образов/мгновенных снимков событий в модели работает SSM блок, в то же время для контекстной связности и длинной памяти используется full attention блок. Также авторы добавили в архитектуру мета-токены, которые используются, по мнению авторов,как навигаторы какие области архитектуры активировать. Интересное замечание,что масштаб векторов вложений после SSM блока на порядки выше, векторов после блоков внимания. Для их выравнивания используется gating norm— привет, нормализация, в классик трансформере после конкатенации multi-head attention. Выходы блоков усредняются.

Кстати, тут же рождается идея у Дяди. И тебе шкет советую положить руки на стол 🔫, а не бежать делать по ней папиру.
Почему бы вдобавок к gating norm, не использовать gating routing как в MoE. В итоге получаем умную маршрутизацию экспертов SSM блоки или full attention в зависимости от того,что нужно хранить/обработать. Да еще и время инфера апнет (то linear time, то n^2, а не всегда n^2).🫥

Ладно,помечтали и хватит, вернёмся к статье. Там есть еще пару хак. Связка ssm+mha представляет собой hymba block, такой блок чередуется с SWA блоком (аля как в longformer было). В таком блоке скользящее внимание юзает не все токены, а работает с окном внимания,которое идет "внахлёст". Так, видимо, хотят сократить/устремить сложность от O(N^2) до условно O(N*logN). Далее еще также используется KV-caching,НО с обобщёнными KV-матрицами между блоками.

В статье есть блок с ablation study,советую глянуть. Ну и конечно метрики, где сравниваются small-LM, кажется, до 3b параметров (метрики ниже). Как видим, модель с таким комбо вниманием, проявляет себя лучше на задачах,где важны знания о мире,фактология и тп. Логично, авторы ж работают вокруг концептов "памяти".

Так, вроде, всё. Читаем статью, модельки лежат тут, git. Дядя пошел папиру про MoE Hymba писать (но это не точно).😏

У каждого свой путь в AGI

Нашел на пикабухе.

Подписчик @Orzhan таки собрал первый прототип.

Красивое...
Смотреть со звуком.

Крч, ребяты, покекали мы над резюме и хватит, Дядя, кстати, еще таких +2 нашел.

Выводы:
1. Проверяйте,что сделали,если с LLM.
2. Если берёте чужие шаблоны, менторов и тп. тем более проверяйте за ними.
3. Лучше вообще под себя,под реальный опыт и места работы переделать.

Всем привет! 👋

⚡️ Этой осенью мы выступили на конференции Ai Conf 2024. За два дня конференции мы представили 6 докладов, а также приняли участие в панельной дискуссии о будущем искусственного интеллекта. Записи докладов доступны на YouTube по ссылкам ниже.

Фокусом выступлений были большие языковые модели и мультимодальность:

🎤 Алёна Феногенова рассказала про то, как обратная связь от пользователей помогла улучшить бенчмарк MERA и сделать его новую версию более объективной;
🎤 Доклад Бориса Жесткова посвящён использованию LLM для задач в аудиодомене: для понимания, распознавания и генерации речи;
🎤 Эмиль Шакиров разобрал все этапы работы с визуальными языковыми моделями от выбора архитектуры и сбора данных до запуска экспериментов;
🎤 Дмитрий Антипов рассказал о процессах сбора и разметки огромных корпусов мультимодальных данных в эпоху больших языковых моделей;

Также мы представили 2 доклада в области компьютерного зрения:
🎤 Петр Суровев поделился опытом создания датасета жестового языка: как мы собирали данные, с какими трудностями столкнулись, и что у нас получилось;
🎤 Елизавета Петрова рассказала про задачу портретной гармонизации: как мы разработали архитектуру для её решения и создали дататсет для портретной гармонизации из открытых источников.

🗣️ Также на конференции Александр Абрамов, автор канала @dealerAI, вместе с коллегами из других компаний обсудили будущее искусственного интеллекта: как LLM меняют рынок труда, как работать с этикой и безопасностью моделей, и что ждёт нас всех в скором будущем в контексте развития AI. Ответы экспертов на эти и другие вопросы прозвучали на панельной дискуссии.

Будем рады вашей обратной связи! 💙
#news

Наши на EMNLP. Спасибо,нашим девочкам за интересную работу и прикладное применение.💃🦾💅

З.Ы. Рад,что такие исследователи у меня в команде.

👇👇👇👇👇👇

Наши сказки в Майами 🌟

Этим летом мы решили написать статью о пайплайне генерации и оценке качества текстов, который используем в #сочинисказку
По ходу работы ещё начали погружаться в LLM as a judge - добавили оценку не только людьми, но и языковой моделью - так что теперь продолжаем глубже уходить в эту тему.

Но, возвращаясь к статье, - работали быстро, где-то параллельно с продовыми задачами, где-то в выходные (в том числе наши разметчики - за что большое спасибо!), но всё вышло отлично ☀️ и мы прошли на воркшоп EMNLP! С первой идеи и попытки 🤩

Это ведущая конференция в области обработки естественного языка и искусственного интеллекта.

У коллеги получилось поехать и показывать постер гостям конференции лично ☀️

Такие новости к утру субботы.

Передаём большой привет в Майами 💞

На днях разлетелась новость, что тут Gemini кожАному желала стать строчкой в death note.

Потом Гугл сказал, мол у них все на этик фильтрах и чики-пуки.

Ребяты, ни bert классификаторы,ни regexp, ни золотые погоны, ни галуны и лампасы не спасут вас на 100% от черных лебедей от LLM в виде хейт спича или глюков. Это все вопрос рисков, той доли % которую Вы и ваша шарага компания готовы на себя принять.

С любовью Ваш, Дядя.

Неделя мемов с китайскими моделями продолжается

Спасибо @walfry

Из соседнего чатека: релизов на хф видимо больше не будет...(с)

В Китае, видимо, HF не будет 💳 🇨🇳

Элаймент конечно кхм у них свой)
Upd. А Винни_Пуха за что!?

Метрики

Комбо роутинг

Схема подготовки датки на обучение

Hunyuan Large,ваще Hunyuan 💳

Статья с мемным названием (олды оценят) от наших Китайских коллег про yet another MoE на 389B параметров с 52B активными.

Помимо того,что в статье снова указана важность хороших pretrain datasets с чисткой блекджеком и иным fabric токенизатором, есть интересное про генерацию своей синты.

Для получения своей Hongqi синты (прим. Дяди - хунцы, Red Flag, сила партии все такое, придумано тоже Дядей) имеют следующие шаги:

1. Генерация инструкций с LLM к их соскрапленной и набранной high quality datasets (со слов авторов). Датка состоит из webQA, webPage, Code, Book и др. Инструкции генерятся по широкому спектру стилей и сложностей в виде запросов к доменам.

2. Эволюция/улучшение при помощи LLM этих инструкций. Тут к llm пишут доп инструкции для улучшения п.1 путем перегенерации. Снова апаем точность, информативность и вариативность указаний. Такой вот double refine.

3. Комитет (чуть не написал партии) LLMок для генерации ответов. Дяде было итак известно,что в КНР мода на спецназ модельки (эт когда делают специальные модельки под узкие домены), но в статье авторы это подтверждают. Они используют эти модельки (причем с разной ёмкостью), которые обучены на специальные экспертные знания и отточены для генерации синты.

4. Фильтрация ответов. Тут юзают свою LLM-critic модельку. Думаю что-то про llm as judge и проверку согласованности ответов.


Еще из интересного это свой алгоритм роутинга экспертов. Ее авторы зовут стратегией "вторичного цикла использования". Хоть где-то у поднебесной зеленая повестка рецикла работает 🤣. Если без шуток, то суть заключается в том,что в классическом top-K MoE мощность метода зависит от пропускной способности экспертов. При обработке токенов перегруженными экспертами, такие токены отбрасываются. В алгоритме же вторичной маршрутизации от авторов, выделяется общий эксперт который используется для всех токенов и 16 спец экспертов с top-K стратегией. При этом для спец. экспертов выставляется емкость 2, для того,чтобы случайно принять отброшенные токены по перегрузке.
Таким образом, авторы сохраняют как общие так и специальные знания в модели, а также оптимизируют скорость обучения.

Еще в статье есть всякие moe scaling laws. Но эту hunyuan вы сами прочитаете.🤣

Спокуха, пишут все работает, но мем бы был отличный

Upd. Вообще радует конкуренция двух родственников хоть и дальних

OLMo поколение открытых моделей от AMD. Но есть нюанс...

Новости одной строкой
AMD представила свою LLM размером 1B ( крч LM). Модель прошла 1.3Т токенов, во время предобучения использовали сет Dolma v1.7, далее SFT на решение разных инструктивных, далее присыпали все выравниванием с DPO. Учили все добро на 16 специализированных узлах. И отсюда в тч следует нюанс —
ОЛМо может работать только с процессорами AMD Instinct MI250 😳 а также на компьютерах с процессорами Ryzen AI, оснащенными NPU. Чтобы совсем Вас подсадить на свою продукцию AMD, предлагает использовать инфраструктуру в своем облачном сервисе AMD Developer Cloud. 🤙

Модель туть. Там же сравнение с другими tiny LM.

UpD. Ггуф там есть, над пробнуть без амд запустить)

Ребята колятся уже по-крупному, на всю котлету с x4 M4 запускают LLMки в distributed с уже упоминаемой мной либой exo!

Пошла жара в массы!

За инфоповод спасибо GenerativeAnton

https://fxtwitter.com/alexocheema/status/1855238474917441972

Челики подсказывают,что так хотят забить за собой понятие RAG. А не жЫрно?? Ниче не слипнется?

RAS, два, три — поиск LLM утри?

Дядя тут прочитал обзорчик коллег про новый метод улучшения фактологической релевантности и обоснованности решений для LLM.

Метод зовут RAS и заключается он в том,что запрос пользователя отправляется в различные внешние системы: поиск, базы знаний и тп. Далее ответы оттуда используются для верификации качества генерации LLM— содержит ли ее ответ фрагменты текста из внешних систем. Если содержит, то модель помимо выдачи генерации, дает оценку уверенности в своем ответе от "сомнительно", до "надежно".

Тут у дяди правда возникает вопрос, зачем вам отвечать из весов модели в такой системе, когда можно просто переписать выдачу из поиска и пр.систем знаний с этой LLM (те это все еще RAG)?

Пока это патент, ждем статьи, которая прольет свет на недомолвки.

Лан, Дядя переделал.

Конец рабочей недели время мемасов за карьеру.

Лосс до и после, метрики

SimPO'л Сама. Или че там за зверь такой Simple Preference Optimization.

В общем, вижу, что из каждого утюга вещают за очередную трансформацию DPO в новый метод через лось — ака SimPO. А Дядя напомнит,что за DPO уже вещал туть. К радости моей и вашей, тут будет все кратенько. Когда только появился log-sigmoid loss для этих всех ваших pair rank выравниваний текстов, мы уже пытались в него вкорячить идеи из metric learning. Тем более корнями log-sigmoid лось уходит как раз таки в pair-rank/multiple-choise лоссы, просто с отображением на сигмоиде. А далее отсюда рождался и MarginRankLoss.

Так вот, мы давно подметили,что если добавить в этот log-sigmoid лосс еще и зазор,то мы можем улучшить как сходимость так и свойства упорядочивания по рангу объектов, тк в дефолтном случае ранги могли идти чуть ли не в тысячную подряд. Зазор дает вам не менее, чем его значение отступа между порядками по рангу скоров. В методе SimPO, авторы также добавили margin под кодовым именем гамма.

Но это еще не все, также был убран штраф за отклонение от референс модели. Однако, чтобы компенсировать это, была добавлена нормализация по длине токенов обоих частей лосса. Причем, авторы показали,что такая эвристика работает, да еще и уберегает от биаса по предпочтению более длинных генераций. Просто ранее наблюдалось,что награда порой была выше для более длинных текстов, а вот норма на длину генерации дает дисконтирование и уравнивание в правах по смыслу, а не длине.

Таким образом, simPO откинул все лишнее в своем лоссе, став тем самым "простым".

В результате экспериментов, simPO показал при своей простоте, улучшение скорости обучения, а также (думаю засчет введения margin и дисконта по длине) улучшение метрик на различных бенчах в тч ArenaHard.

Да и наше комьюнити подхватило реализацию simPO для своих экспов. Те же ребята из Saiga и Vikhr.

Итого учите базу, часто комбинация кубиков из базовых концептов, а в данном случае: metric learning идеи с зазором, логсигмоида и dpo, — порождает новые простые и эффективные методы.

Dealer.AI pinned «Привет всем новоприбывшим! Раз нас стало в очередной раз ещё больше, для новеньких расскажу о чем данный канал и кто я, а также оставлю ссылки на пару интересных постов. Тут автор говорит о всяком вокруг data science, что ему мило и любимо: анализе текстов…»

Привет всем новоприбывшим!

Раз нас стало в очередной раз ещё больше, для новеньких расскажу о чем данный канал и кто я, а также оставлю ссылки на пару интересных постов.

Тут автор говорит о всяком вокруг data science, что ему мило и любимо: анализе текстов aka NLP, поиске, соревнованиях, об RL, меньше о CV.

Немного о себе:

Руковожу ML,AI командами в RnD b2c, мы ведем исследования и разработку в областях:
- эмбеддер модели и в частности оунеры бенчмарка ruMTEB для них;
- потенциальный приклад LLM моделек в production задачи (RAG, персонализация и память);
- работа с этикой и эмпатией;
- немножко работаем в мультимодальности (clip like);
- атаки на модели и др.

Автор моделей ru_sbert_large, ru_sbert_large_multitask, ruElectra, а также первой открытой ru_ bert_reward модели. Kaggle competitions master, призёр и победитель хакатонов по Data science. Читаю лекции, веду мастер классы по NLP, ML и выступаю на конференциях.

Несколько интересных постов с канала:

1.  Instructor. Обучение мультитаск модели на инструкциях .

2. Как "заметки на полях" с LLM помогают в RAG сетапе.

3. Почему и как DPO работает для выравнивания поведения моделей.

4. Хайповое. Plan GPT. Или до Q* было слово А*.

Пару приземленных статей:
- Бизнес завтрак по ИИ для малого и среднего бизнеса от ForbesClub.

- Интервью про будущее и настоящее ИИ.

Добро пожаловать на канал! 🤖🦾

Мои дорогие друзья из Системный Блокъ 🤖 подготовили для Вас подборку клевых AI каналов. Каждого автора я знаю лично, за каждого могу сказать,что это не ИИнфоцыгане, а настоящие профи своего дела,которые работали или работают в этой сфере "руками".
В общем, подписывайтесь и будьте в курсе самых жарких и трендовых вещей в AI.👇👇👇👇

Подборка каналов об искусственном интеллекте и машинном обучении от издания «Системный Блокъ»

Data Science, машинное обучение, искусственный интеллект — cегодня о них пишет каждый. Но как найти тех, кто действительно разбирается? «Системный Блокъ» собрал каналы экспертов в сфере ИИ, DS и ML

— @ai_newz — эйай ньюз
Модели для будущих робо-гуманоидов от Nvidia, знакомство с основателями стартапа Mistral, трюки в промптинге языковых моделей и списки книг для изучения машинного обучения — в канале найдете новости из сферы ИИ и советы по входу в неё. Автор канала Артём получил PhD в лаборатории университета Гейдельберга, где сделали Stable Diffusion, работает Staff Research Scientist в команде LLaMA в одной из крупнейших IT-компаний мира и пишет о своем опыте

— @seeallochnaya — Сиолошная
Понятные разборы исследований по нейросетям, охватывающие темы от воздействия на образование до разборов внутренностей LLM. Обзоры новостей, которые влияют на будущее индустрии ИИ: от экономических аспектов до ядерной энергетики для подпитки датацентров. Канал ведёт Игорь Котенков — руководитель ИИ-отдела в международной компании; в прошлом занимался машинным обучением в AliBaba, Яндексе и X5 Retail; автор множества популярных статей-разборов и лекций, подходящих любой аудитории

— @gonzo_ML — gonzo-обзоры ML статей
Интересны обзоры специализированных статей об искусственном интеллекте и машинном обучении, анонсы и анализ больших языковых моделей? Этот проект — для вас! Среди последних публикаций: отражение малых языков в больших языковых моделях и системах машинного перевода, лекции о проблемах сознания и тезисы отчета о состоянии сферы ИИ. Канал ведут CTO Intento Григорий Сапунов, ex-руководитель разработки Яндекс-Новостей, и Алексей Тихонов, ex-аналитик в Яндексе, автор Яндекс-автопоэта и Нейронной обороны

— @boris_again — Борис опять
Здесь вы найдете материалы об IT и программировании, поиске работы в Machine Learning’е, обзоры исследований в области ИИ. Автор работает в eBay, преподает машинное обучение, делится профессиональным и личным, шутит и философствует. Например, рассказывает, как развивать самоконтроль, берет интервью у коллег о карьере в технологическом секторе и делает подборки русскоязычных LLM

— @rybolos_channel — Kali Novskaya
Применение языковых моделей в науке, история GPT в стиле Хармса, подборки курсов по NLP, а также анализ угроз открытым данным, на которых обучаются языковые модели. Канал ведет Татьяна Шаврина — лингвист, менеджер исследовательской команды в LLAMA, большая сторонница опенсорса и открытых данных. Она рассказывает о современных LLM и NLP-исследованиях, важности открытых технологий, этике искусственного интеллекта и сложных вопросах интеллектуальной собственности

— @tech_priestess — Техножрица
Канал для тех, кому интересны математика, разработка и исследования машинного обучения. Создательница проекта работает старшим академическим консультантом в Huawei и рассказывает об исследованиях, в которых участвует (например, о границе между текстами, написанными человеком и ИИ), пишет о трансформерах, NLP, анализе данных и глубоком обучении

— @dealerAI — DealerAI
Как связать дообучение на основе фидбэка от людей с дообучением на ИИ-фидбэке? Чем можно улучшить RAG? Какие маленькие модели выигрывают у больших аналогов? Автор канала Александр Абрамов — создатель языковых моделей, победитель соревнований в Kaggle и хакатонов по Data Science, а также тимлид нескольких ML-команд, которые решают задачи обработки естественного языка и интегрируют LLM в прикладные проекты. В канале есть посты обо всем, что связано с DS, NLP и машинным обучением: например, о новых LLM и галлюцинациях нейросетей

— @sysblok — Системный Блокъ
Как ИИ помогает читать древние тексты? Почему лингвисты проиграли последнюю битву за NLP? Как связаны машинное обучение и японская уличная мода? «Системный Блокъ», основанный выходцами из RND отдела ABBYY, рассказывает о том, как трансформируется культура в век больших данных — что происходит на стыке IT, гуманитарных наук и Data Science или как ML применяют в естественных и гуманитарных науках

Наконец-то закончил работу над большим пет-проектом.

Я смог запустить Llama 3.1-8b прямо в браузере на cpu с помощью нашего нового алгоритма сжатия AQLM+PV.

Можно потестить демо здесь

видео

Лежит, Дядя, отдыхает и думает: вот есть ж prefix/instruct text embedders, а есть ли instruct/prefix CLIP like модельки? 🤔

Накидайте статей в комменты, знатоки.⏹

А вот и хабр пост подъехал, но кратенько.

https://habr.com/ru/companies/yandex/articles/852968/?erid=2VSb5z8rQA4

Жаль,что волк LLM их в цирке на некоторых аренах не выступает.

Ребятки из T-Bank AI Research запилили нового лидера в мире методов распознавания out of domain объектов. 🧑‍🎓

Команда AI Research совместно со студентами МИСИС и МФТИ разработали новый 🌿  метод по обнаружению ранее неизвестных объектов на фото с помощью ИИ.

Значимость открытия в том, что теперь риск ошибки при обработке и анализе изображений снизился более чем на 20%, что уменьшает необходимость перепроверки и исправления неверных решений человеком.

Метод получил название SDDE (Saliency-Diversified Deep Ensembles) и будет особенно востребован в сферах, требующих высокой точности анализа. В перспективе он поможет развить сферу беспилотных транспортных средств и медицинской диагностики, где важно различать неопознанные элементы и графические артефакты.

Открытие было признано мировым научным сообществом и представлено на Международной конференции по обработке изображений (IEEE ICIP) в Абу-Даби, ОАЭ. Это одна из крупнейших научных конференций, посвященных обработке изображений и видео, а также компьютерному зрению.

Суть метода.

Рассматривается проблема диверсификации поведения моделей для распознавания объектов. В частности, метод глубокого ансамблирования, который объединяет несколько нейронных сетей для решения данной задачи. Это похоже на сбор мнений разных экспертов для получения лучшего решения.

Предыдущие разработки в области CV сталкивались с проблемой однородности ансамблей, то есть они были слишком похожи друг на друга, что снижало качество и разнообразие их оценок. Это возможно в тч потому, что  используются или одни и те же данные для обучения или же схожие архитектуры.

Ребятки из лаборатории T-Bank AI Research нашли решение этой проблемы с помощью нового метода SDDE, который использует карты внимания, фокусирующиеся на разных аспектах данных. Чет мне это напоминает ViT.
Говорят, такое уменьшает схожесть моделей и повышает их общую точность, благодаря чему идентификация объектов становится более надежной и диверсифицированной.

Также исследователи научили модель при работе с изображениями учитывать не только те наборы данных, которые использовались при ее обучении, но и незнакомую ей информацию. Такой подход значительно улучшил работу модели в области обнаружения ранее неизвестных ей объектов и точности их идентификации.

Как видите, обозначенные мной проблемы с данными и архитектурой, решают авторы комплексно. Молодцы.

Как оценивали?

Для оценки эффективности метода ученые провели испытания на популярных базах данных: CIFAR10, CIFAR100 и ImageNet-1K. Метод SDDE продемонстрировал наилучшие результаты по сравнению со схожими алгоритмами, такими как Negative Correlation Learning и Adaptive Diversity Promoting.

Интересны подробности этой SoTA? Читаем в статье туть.

P.S. Чего добру пропадать. Просто и нативно, без глубины, оставлю тех детали описать эбенных идей админу.

А это,что тут у нас? Не просто поиск, но и агенты?

Гугл делает АИ
OpenAI делает гугл perplexity.
Часть 2-я. Завершенная.

https://openai.com/index/introducing-chatgpt-search/

Upd. Думаю в тч поэтому вышло такое на днях https://openai.com/index/introducing-simpleqa/. Замерять ж надо qa свойства.

Середина рабочей недели, время выдохнуть и пошутить.

Осторожно, громко.

А раз метрики важны, ребзя давайте навалимся на https://llmarena.ru/ и сделаем оценки по интервалам надежнее

Оп, коллеги подхватили,как и говорил в комментариях — ценность в метриках и методе оценки👇

🌸GPT-4o system card🌸
#nlp #про_nlp #nlp_papers

Вышла статья с оценками модели GPT-4o, с мультимодальностью, оценкой рисков, оценкой автономности.

Пока впервые вижу, что по публикуемым замерам OpenAI иногда Claude 3.5 лучше 🫢
🟣https://arxiv.org/abs/2410.21276

Orion близко,раз уже по gpt-4o систем репорт кинули на архив

https://arxiv.org/abs/2410.21276

Гляньте дату перезалива

Полная JEST: Data curation via joint example selection further accelerates multimodal learning by DeepMind

Статья посвящена использованию Hard Negative Mining-а для задач, обучаемых с contrastive loss-ом в сетапе мультимодальных моделей (cv & nlp домены). А мы помним, что чем больше мы в контрастиве видим хардов, тем лучше ranking метрики.

Авторы показывают, что фильтрация данных на уровне сэмпла (independent filtering) не так оптимальна для contrastive-задач, где сэмплы притягиваются и отталкиваются друг от друга.
Более же предпочтительным вариантом является JEST — Joint Example SelecTion, в котором батч для backproping-а сформируется умнее и фильтрация будет на уровне батча, а не сэмпла.

Импакт:
Получают модель, перформящую на уровне SigLIP, но тратят на обучение в 4-10 раз меньше FLOPs (зависит от конфигураций) и "видят" в 10-13 раз меньше тренировочных сэмплов.

Узкое место: для генерации хардов на батче используется референсная модель. Т. е. мы используем внешний энкодер, и это накладывает ограничения: над выбрать модельку, наследуется ошибка и еще появляется доп звено в пайпе.

P.S. для обучения SigLIP-а в 2023 затратили в 10-20 раз меньше FLOPs чем CLIP @ OpenAI в 2021.


Пост подготовлен в гараже совместно с AI-машинистом.

Еще метрики на доменах

Метрики

Архитектуры.

Generative Reward Modeling на пути к Q-STaR или как подружить RLHF и RLAIF.

В этом обзоре мы рассмотрим уже известные многим механизмы дообучения моделей предпочтениям: RLHF , RLAIF. Данный пост основан на работе создателей спасительного DPO.

Немного предыстории. Когда мы говорим про обучение с обратной связью кожаных, ака RLHF — мы держим в уме процесс, в котором на основе предпочтений людей обучается или reward модель и ppo или же DPO прямой тюн LLM.
При этом, также, было позже предложено использовать RLAIF, на основе self-rewarding/critic свойств моделей. В т.ч. эти свойства позволяют вам заводить LLM-as-Judge оценки моделей. В результате RLAIF подхода, модель награды/dpo учится предпочтениям на основе иной LLM или даже их комитета.

Однако в каждой из методологий, есть свои недостатки:

1. Reward модели обученные на rlhf подходе плохо срабатывают на out-of-domain примерах, т.е. на контекстах, которые не попали в обучающую выборку.
2. Reward модели на основе rlaif имеют недостаточную корреляцию с предпочтениями человека.
3. Использование только DPO моделей в последних исследованиях может не дать нужного результата. Та же Llama3 была обучена на гибридном подходе DPO и Reward.

Авторами DPO, предлагается новый метод микста обоих подходов AI and Human feedback. Вместо обучения модели Bradley-Terry, ака reward модель дающая оценку генерации в виде ранга, учится GenRM модель. GenRM учится, непосредственно, сравнивать вероятности next tokens между двумя потенциальными ответами y1,y2 для промпта x (в работе это зовут индикатор токенами).
Примечание авторов, что LLM, на самом деле, тут учится как классификатор в сетапе next-token-prediction.

Вы думаете, ребяты на этом остановились? Нет. Далее авторы вводят новый концепт CoT-GenRM с рацио. Т. е. по сути добавляют цепочку рассуждений, прежде чем выбрать индикатор токен.

Но и это еще не все. Далее уже включается мифический Self taught reasoner, кодовое имя STaR (ага да ничего не напоминает?) Тут конечно у людей совсем выпал снег и они делают просеивание human feedback сета через CoT-GenRM. Цель в том, чтобы получить рассуждения модели и отсеить те из них, что не приводят к предпочтительным ответам из данного сета. Далее на таких фильтрованных рассуждениях происходит сессия из К итераций SFT. После чего получают CoT-GenRM-STaR (черт они скоро начнут как в китайских авто расширять имена моделек).

Думаете это уже конец? А фиг вам, снег не только выпал, но уже и в голову ударил. Тк. мы не использовали плохие рассуждения, авторы предлагают два хака взять их в оборот:
1. Подложить модели подсказку в виде правильного ответа и попросить обосновать его. Тогда они получат CoT-GenRM-STaR-ratio модель. Тьфу на вас нечистыя...
2. Или же использовать неверные рассуждения как негативы в DPO. И че вы думаете? Да будет CoT-GenRM-STaR-DPO.

Фух, но вот теперь точно все. В качестве замеров предлагается reward-bench на котором показаны: reward Бредли-Терри, GenRM, LLm as a judge, STaR SfT, STaR DPO, STaR-ratio. Где почти все подходы опережают классик reward, однако в чит-чат оси разница не значима.

В заключении.
На самом деле у Дяди главный вопрос. Зачем городить столько этапов? Ведь каждый этап это $ на доп эксперимент. Плюс видно, что для некоторых осей reward-bench и во все можно остановиться или на Бредли Терри или на первых этапах GenRM, не идя в STaR. С другой стороны если разрыв в сумме по бенчу отбивает все затраченные усилия. Why not. Но это уже решать Вам, юзерам.

а вы говорите, ML, DS, LLM...
Вот чего оказывается в моде 💸📈

Учи матан блеат 💪🚶‍♂️

Лан, че там у нас с deep fake detection...

За скрин спс @FutorioFranklin

Че там так все возбудились на Orion?
В жизни Жоского Дяди был ток один четкий Orion — это чокопай 💳

Так, народ требует хлеба и зрелищ на ruArenahard, Mera, llm-arena и в Колизее! 💪🇨🇩

🙂 Представляем четвёртое поколение YandexGPT

Новые нейросети уже доступны в Yandex Cloud, попробовать их можно в AI Playground. Скоро YandexGPT 4 появится и в сервисах Яндекса — первым из них станет Алиса с опцией «Про».

Подписывайтесь ✨ @yandex

Янда рапортуе...

https://ya.ru/ai/gpt-4 👇

Сегодня жоский Дядя разбудил меня под ночь, сказал одевайся, бери годовой набор флешек по 2гб и загран паспорт "будем драйвера Nvidia ввозить".

Наверное это конец...

Конец нашей бедности. 🤣

R.I.P 🫡

Тк основным топливом для foundation моделей являются публичные корпуса, то в текущих реалиях обладание источниками этих данных теперь уже вопрос конкурентного преимущества. Тенденция на закрытие лицензий понятна, но удручающая. Имеют ли такие сокрытия обратную силу для уже обученных моделек, тоже больной вопрос. Также для создания спасительной синтетики, нужно использовать плоды тех же моделей, обученных на теперь уже закрытых данных.
Вопросы. Вопросы. Вопросы.
👇👇👇👇👇

🌸 [ДАННЫЕ УДАЛЕНЫ] 🌸
Будущее корпусов, знаний и нас с вами в условиях лицензионной войны
#nlp #про_nlp

Наконец-то хорошие новости на конец недели:
Флибуста, самая большая русскоязычная торрент-библиотека, продолжит работу!

Создатель ресурса заявил, что сервера оплачены ещё на какое-то время.

🟣Что это значит для нас?

Большая часть знания, профессиональной и художественной литературы продолжат быть доступны в открытом доступе, для человеческого и машинного чтения.

Важность таких ресурсов трудно переоценить: это фундаментальная воспроизводимость и проверяемость ссылок в интернете упирается в доступность источников, которые часто не доступны более нигде.

По расчётам 2019 года, только 10% всех печатных изданий с ISBn на текущий момент надежно оцифрованы и имеют несколько резервных копий.

🟣Internet Archive: на контрасте

Интернет-архив Archive.org проиграл судебный процесс и апелляцию. OpenLibrary может перестать существовать, и в результате иска издателей 500.000 книг должны быть изъяты из доступа, а Архиву интернета вероятно нужно будет заплатить штраф более 400 млн долларов издателям.

Добивкой послужила и недавняя хакерская атака на ресурс, не известно, связанная ли, но в результате the Way back machine был недоступен почти неделю.

🟣Критическое окно возможности для открытого знания и открытых данных

Самые ценные данные в интернете — это вовсе не средний информационный шум, а ресурсы с высокой плотностью информации. Более конкретно, наиболее ценные данные для корпуса, это:
— Научные статьи, журналы, доклады
— Данные естественных наук, последовательности ДНК, химические формулы, и тд
— Нонфикшн, документы и профессиональная литература
— Код к научным статьям, опенсорс проекты
— Исследовательские данные, данные и код к статистиическим, экономическим исследованиям, внутренние и открытые доклады
— Форумы с научными, профессиональными дискуссиями
— Инструкции, научные регулярные издания, газеты
— Записи публичных выступлений, докладов, подкасты, документальные фильмы
— Открытые государстыенные данные и утекшие корпоративные документы
— Художественная литература
— Обзоры, описания, метаданные к различным данным
— Стенограммы судов, судебные решения
— Карты, географические данные
— Развлекательный контент

Суммарно все это хранится не только в атакуемом архиве интернета, но и индексах поисковиков (частные компании) и теневых библиотеках (некоммерческих организациях).
Хотя теневыми их млдно назвать разве что потому, что занимающиеся ими активисты обычно вытоленуты как минимум в серую зону относительно драконовского копирайтного законодательства и маргинализированы. Хотя вообще-то им можно ставить памятник.

Архив Анны занимает примерно 900Тб, и столько же все его резервные копии. Если включить цену носителей данных, электричество и администрирование, то это 15-40 тысяч долларов в год за 10% от объема знаний человечества, и близко к 100% от всего доступного.

Цены на цифровые носители продолжают падать.
Если расчёта Архива Анны верны, то в течение пары следующих 10 лет цена упадёт до 1-3 тысяч долларов за резервную копию. В целом, все ещё много, но гораздо большее число людей сможет позволить себе поддерживать инициативу.

Поскольку цена порога вхождения падает, уже через пару лет уже гораздо большая доля всех доступных книг будет иметь больше чем 1 резервную копию! Битва идёт лишь с обратным трендом и давлением копирайтеров, чтобы зачистить интернет-библиотеки до наступления этого момента.
Суд над интернет-архивом это наглядно показывает.

🟣А ты записался добровольцем?

Я напоминаю, что ресурсы из OpenLibrary все ещё непублично доступны через Архив Анны.

🌸 Можно стать сидером уже существующих торрентов
🌸 Можно стать хостером теневой библиотеки самому
🌸 Флибусте, Интернет-Архиву и Архиву Анны можно задонатить!
Перераспределяя немного своих шекелей тем, кто работает на благо цивилизации бесплатно и рискует, вы приближаете победу открытого доступного знания.

Кекаем все вместе 💳

Mistral представил новые модели 3b и 8b.

Все наверное слышали, что заононсили новых малых от крупы 🤣

Как обычно зарепортили топ метрики в своем размере 🌿

Но есть один нюанс... 👇

Забыли добавить лидеров в этом же сайзе, к примеру, Gemma2 9b😁.

Turbo Alignment — новая библиотека для алайнмента от Т-Банка.

Еще совсем недавно была выпущена модель T-lite от Т-Банка. А теперь ребятки открыли доступ к библиотеке Turbo Alignment. Данное решение позволяет из коробки тюнить свои LMки, понижает порог входа для ML специалистов в этом направлении, а также уменьшает time2market решений на базе LLM, тк вам не нужно настраивать собственный пайплайн обучения.

В библиотеке уже доступны:

▶️No-code-запуск экспериментов, скрипты для обучения большого количества алгоритмов, модуль для быстрого тестирования моделей и инструменты для мониторинга метрик во время обучения.

▶️Инструменты для исследований и разработки. Turbo Alignment предоставляет все необходимые средства для добавления новых методов обучения и их сравнения с уже существующими решениями на конкретных задачах. Библиотека создана при участии лаборатории T-Bank AI Research и также дает доступ к последним исследованиям в области AI Alignment.

▶️Поддержка сложных процессов обучения. Turbo Alignment оптимизирован для распределенного обучения на нескольких видеокартах и серверах (Multi-GPU и Multi-Node).

Вот такой вклад в демократизацию работы с LLM внесли ребятки. Код тык тут.

Обожаю! 🤩 Очередная статья про галлюцинации LLM

LLMs Know More Than They Show:
On the Intrinsic Representation of
LLM Hallucinations

В этот раз авторы обнаружили:

✋Что правильные ответы LLM кроются в определенных токенах. Они смотрели на активации токенов по разным слоям и учили классификатор предсказывать правда/неправда сгенерирована (✨ probing ✨)

Впоследствии можно генерить пару предложений и выбирать правильное классификатором

✋Анализировали частотность правильной или неправильной генерации подряд и выявили, что есть разные типы ошибок (постоянно правильный, постоянно неправильны). Соответсвенно, когда такую активацию прослеживаем, можем применять сценарии доведения модели до правильного ответа.

Небольшое отступление: to be honest, я чет не прониклась выводами, очень уж напоминает выводы из статьи Anthropic, которую разбирали на reading club, только метод другой (давайте посмотрим как активируются определенные токены в зависимости от контекста, а там нейронные активации)

😠Ну теперь глобальный минус статьи:

На разных датасетах воспроизвести результаты активаций не вышло. Надо переобучать классификатор. У меня лично, вопрос возникает о том, не частный ли это случай их обнаружений :(

Paper: link
Code обещается быть тут

Люди вы че снег никогда не нюхали видели? 😦

Ничто так не может перебить хайп от AI, как первый снег. 😂

Без шуток пока люд будет так, с детским восторгом, радоваться этому и иным являениям природы, он не станет сурогатом.😁

Наверное.🆒

NotebookLM или начало новых подкастов с LM?

Ребята с Google хотели воплотить концепцию society of mind или "дебаты" с AI. Кстати Дядя писал уже об этом тут.

Но вышло в итоге NoteBookLM, где сервис, на базе модели семейства Gemini, может принимать на вход ваши доки/новости/аудио и тп, а на выходе делать аудио-дискуссию по "просмотренным" материалам между двумя llm-агентами.

Ну что теперь AI может пилить подкасты за Вас и по делу по-пИИ*деть 🤣

Входим ли мы в новую эру AI-driven подкастов или это кратковременный ажиотаж —поживем, увидим.

Недавно обнимашки закинули в репо гайд по оценке LLM моделек.

Ребяты запилили все по полочкам:

1. Автометрики.
2. Оценка кожАных.
3. LLM как судья.

Везде есть база, хинты и даже мета метрики, к примеру в LLM as judge.

Репо: https://github.com/huggingface/evaluation-guidebook

Да уж, вот вам и текстовые аугментации

#ShitPost

Аугментекс вошел в пубертат. 👇

Больше мемов про Нобеля седня не будет...

Наверное

OpenAI с хайпом и прорывом с ChGPT и тп. открыл год Меча и Магии в созвездии премий "около MLных" исследований ?)

upd. Ждем следующих номинантов.

Теперь и хемоинформатика пошла.

upd. link
https://www.nobelprize.org/prizes/chemistry/2024/press-release/

С одной стороны рад, деды воевали заслужили, но по физике Карл!? С другой стороны как бэ и не биология и не совсем математика, а по информатике и кибернетике нет ничего..

А куда бы вы определили этих ребят в рамках доступных Нобелевской премии наук?
Пишем в комментарии.

https://www.nobelprize.org/prizes/physics/2024/press-release/

e2e пайп с реранком

Еще метрик

Улучшения

Фулл пайп индекса

Открыт сезон конкурсов презентаций и ноутбуков на Kaggle от Google🧑‍🎓.

Google предлагает посоревноваться в тюне Gemma2 сеток для разных языков и соответствующих культурных особенностей, при этом конкурс состоит в написании гайда по обучению+код/ноутбук.

Требования также описаны в условиях: чОткий стиль, откуда взята и как подготовлена датка, наличие кода демонстрации обучения и инференса, размещение на кекле кода/датки/моделек, интересные хинты к тюну, утойчивость и др. За топ-5 мест 30к$. 💸

Такая щедрость, по мнению оргов стимулирует популяризацию исследований (ага щаз, Gemma2 хотят протолкнуть 🤣) в области языковых моделек. 🆒

Думаю, ребята с Saiga/Vikhr team могли бы вштать за ру-домен приз вполне.

https://www.kaggle.com/c/gemma-language-tuning

По чатикам уже ходит анонс 135m модельки на 690млрд токенах обученной: https://huggingface.co/amd/AMD-Llama-135m

Чет с таким капасити кажется будет слабова-то.

Но я бы также смотрел сюда👇

Интересный обзор, в котором авторы сравнивают по различным критериям 59 малых языковых моделей с открытым исходным кодом. Рассматриваются архитектура, инсайты обучения, датасеты, возможности к рассуждению, а также математика и кодинг.
Не обошли стороной анализ затрат на инференс, delay по ответам и др.

https://arxiv.org/abs/2409.15790