🔍 OpenAI выкатили ChatGPT Search
подробнее тут
подробнее тут
Мишин Лернинг 🇺🇦🇮🇱
@mishin_learning
Субъективный канал об искусстве машинного обучения, нейронных сетях и новостях из мира искусственного интеллекта.
Мишин Лернинг 🇺🇦🇮🇱 (Russian)
Добро пожаловать на канал "Мишин Лернинг"! Это субъективное пространство, посвященное искусству машинного обучения, нейронным сетям и новостям из мира искусственного интеллекта. Если вы увлечены темами технологий будущего, то этот канал - именно для вас. Здесь мы делимся актуальными материалами, обсуждаем последние тенденции в области машинного обучения и предлагаем вам уникальный взгляд на мир искусственного интеллекта. Присоединяйтесь к нам, чтобы быть в курсе всех новостей и делиться своими мыслями с единомышленниками! 🤖🧠
Мишин Лернинг 🇺🇦🇮🇱
28 Oct, 14:05
📍 CoTracker3 — новый подход к трекингу точек
Модель команды Meta AI и Visual Geometry Group из Оксфорда обучали на реальных видео без аннотаций, используя псевдоразметку.
Особенности CoTracker3:
— Обучение на реальных видео в semi-supervised-режиме.
— Упрощённая архитектура требует 1000 раз меньший датасет без потери качества.
— Поддержка трекинга через окклюзии с другими объектами.
Результаты:
Модель значительно превосходит предыдущие трекеры (например, BootsTAPIR и LocoTrack) в задачах с обширной окклюзией и более стабильна. CoTracker3 демонстрирует высокую точность на стандартных бенчмарках. Из ограничений выделю трудности с трекингом на поверхностях без характерных особенностей, таких как небо или вода.
📄 paper
🤗 demo
💻 code
Модель команды Meta AI и Visual Geometry Group из Оксфорда обучали на реальных видео без аннотаций, используя псевдоразметку.
Особенности CoTracker3:
— Обучение на реальных видео в semi-supervised-режиме.
— Упрощённая архитектура требует 1000 раз меньший датасет без потери качества.
— Поддержка трекинга через окклюзии с другими объектами.
Результаты:
Модель значительно превосходит предыдущие трекеры (например, BootsTAPIR и LocoTrack) в задачах с обширной окклюзией и более стабильна. CoTracker3 демонстрирует высокую точность на стандартных бенчмарках. Из ограничений выделю трудности с трекингом на поверхностях без характерных особенностей, таких как небо или вода.
📄 paper
🤗 demo
💻 code
Мишин Лернинг 🇺🇦🇮🇱
22 Oct, 14:17
Состоялся релиз Stable Diffusion 3.5 8B Large
https://huggingface.co/stabilityai/stable-diffusion-3.5-large
https://huggingface.co/stabilityai/stable-diffusion-3.5-large
Мишин Лернинг 🇺🇦🇮🇱
22 Oct, 00:46
Новая диффузионная модель от Nvidia: Sana
Основные особенности:
— DC-AE энкрдер, (если интересно вот ссылка) который понижает в 32 раза, вместо привычных 8ми для vqVAE, без сильных потерь
— Линейный DiT: по сути ViT, где фьюз происходит не через аттеншен, а через марицу рангом d << n (где, n это количество image token’ов). Подробнее про метод у Яныка на ютубе. Имхо это не аттеншн, но называйте как хотите.
— Вместо T5 взяли small LLM (decoder only), не прошло и 2 лет…
— Кастомный сэмплер: Flow-DPM-Solver
Обещают может и не лучшее качество, но супер быструю скорость и резолюшн 4096х4096 (благодаря DC-AE).
💻 Code (будет тут)
📝 paper
😈 demo на градио
p.s.: погененрил в демо, 1024х1024 работает норм, но пишет с ошибками.
Основные особенности:
— DC-AE энкрдер, (если интересно вот ссылка) который понижает в 32 раза, вместо привычных 8ми для vqVAE, без сильных потерь
— Линейный DiT: по сути ViT, где фьюз происходит не через аттеншен, а через марицу рангом d << n (где, n это количество image token’ов). Подробнее про метод у Яныка на ютубе. Имхо это не аттеншн, но называйте как хотите.
— Вместо T5 взяли small LLM (decoder only), не прошло и 2 лет…
— Кастомный сэмплер: Flow-DPM-Solver
Обещают может и не лучшее качество, но супер быструю скорость и резолюшн 4096х4096 (благодаря DC-AE).
💻 Code (будет тут)
📝 paper
😈 demo на градио
p.s.: погененрил в демо, 1024х1024 работает норм, но пишет с ошибками.
Мишин Лернинг 🇺🇦🇮🇱
16 Oct, 16:47
🔥 Сегодня Mistral AI представила новые модели — Ministral 3B и Ministral 8B
Ministral 3B и Ministral 8B, разработанные для on-device вычислений. Эти модели предлагают превосходную производительность в задачах reasoning, commonsense и function-calling, поддерживая контекст до 128k токенов.
⚙️ Ministral 3B разработана для сверхэффективного использования на устройствах с ограниченными ресурсами (e.g.: смартфоны). Ministral 8B предлагает больше возможностей для сложных задач. Обе модели поддерживают до 128k контекста и используют передовые методы pruning и quantization для снижения нагрузки на железо.
Бенчмарки показывают неплохой буст в сравнение с существующими Llama 3.1 / 3.2 и Gemma 2 моделями.
🤖 Ministral 8B: ссылка на модель
Ministral 3B и Ministral 8B, разработанные для on-device вычислений. Эти модели предлагают превосходную производительность в задачах reasoning, commonsense и function-calling, поддерживая контекст до 128k токенов.
⚙️ Ministral 3B разработана для сверхэффективного использования на устройствах с ограниченными ресурсами (e.g.: смартфоны). Ministral 8B предлагает больше возможностей для сложных задач. Обе модели поддерживают до 128k контекста и используют передовые методы pruning и quantization для снижения нагрузки на железо.
Бенчмарки показывают неплохой буст в сравнение с существующими Llama 3.1 / 3.2 и Gemma 2 моделями.
🤖 Ministral 8B: ссылка на модель
Мишин Лернинг 🇺🇦🇮🇱
09 Oct, 11:05
🎓 Уже вторая Нобелевская премия за AI — на этот раз по химии. Половина премии за предсказание структуры белков» нейросетью Alpha Fold (от DeepMind)
Нобелевскую премию по химии 2024 года: одну половину — Дэвиду Бейкеру «за вычислительный дизайн белков», а другую половину — совместно Демису Хассабису и Джону М. Джамперу «за предсказание структуры белков».
Нобелевскую премию по химии 2024 года: одну половину — Дэвиду Бейкеру «за вычислительный дизайн белков», а другую половину — совместно Демису Хассабису и Джону М. Джамперу «за предсказание структуры белков».
Мишин Лернинг 🇺🇦🇮🇱
08 Oct, 10:52
🎓 Хинтон и Хопфилд получили Нобелевскую премию по физике за создание искусственных нейронных сетей
Нобелевскую премию по физике 2024 года Джону Дж. Хопфилду и Джеффри Э. Хинтону «за основополагающие открытия и изобретения, которые позволяют осуществлять машинное обучение с использованием искусственных нейронных сетей».
Нобелевскую премию по физике 2024 года Джону Дж. Хопфилду и Джеффри Э. Хинтону «за основополагающие открытия и изобретения, которые позволяют осуществлять машинное обучение с использованием искусственных нейронных сетей».
Мишин Лернинг 🇺🇦🇮🇱
26 Sep, 12:36
🦙 Релиз Llama 3.2 от Meta
На этот раз нам предоставили выбор аж из четырех моделей, включая, в том числе, и достаточно легковесные и мультимодальные версии:
▫️Llama 3.2 — 1B (1.23B) Lightweight
▫️Llama 3.2 — 3B (3.21B) Lightweight
▫️Llama 3.2 — 11B Multimodal
▫️Llama 3.2 — 90B Multimodal
Обзор: Llama 3.2 была предварительно обучена на 9 триллионах токенов данных из общедоступных источников.
Претрейн моделей 1B и 3B Llama 3.2 являются дистилом из Llama 3.1 8B и 70B (предиктили не следующий токен, а логиты из старших моделей)
В инстракт трейне использовали аналогичный рецепт, что и Llama 3.1:
— Supervised Fine-Tuning (SFT)
— Rejection Sampling (RS)
— Direct Preference Optimization (DPO)
Сutoff: Декабрь 2023
P.S.: Круто, что подвезли мультимодальные 11B и 90B. А среди легковесных — 3B модель вышла очень интересной, и по моему тесту она даже лучше, чем Phi-3.5-mini (3.8B), которая очень неплохо справляется в своей весовой категории.
🤗 Скачать 1B и 3B легковесные версии можно уже сейчас на HuggingFace
На этот раз нам предоставили выбор аж из четырех моделей, включая, в том числе, и достаточно легковесные и мультимодальные версии:
▫️Llama 3.2 — 1B (1.23B) Lightweight
▫️Llama 3.2 — 3B (3.21B) Lightweight
▫️Llama 3.2 — 11B Multimodal
▫️Llama 3.2 — 90B Multimodal
Обзор: Llama 3.2 была предварительно обучена на 9 триллионах токенов данных из общедоступных источников.
Претрейн моделей 1B и 3B Llama 3.2 являются дистилом из Llama 3.1 8B и 70B (предиктили не следующий токен, а логиты из старших моделей)
В инстракт трейне использовали аналогичный рецепт, что и Llama 3.1:
— Supervised Fine-Tuning (SFT)
— Rejection Sampling (RS)
— Direct Preference Optimization (DPO)
Сutoff: Декабрь 2023
P.S.: Круто, что подвезли мультимодальные 11B и 90B. А среди легковесных — 3B модель вышла очень интересной, и по моему тесту она даже лучше, чем Phi-3.5-mini (3.8B), которая очень неплохо справляется в своей весовой категории.
🤗 Скачать 1B и 3B легковесные версии можно уже сейчас на HuggingFace
Мишин Лернинг 🇺🇦🇮🇱
25 Sep, 14:11
🔥 NVIDIA выпустила Llama-3.1-Nemotron-51B
Llama-3.1-Nemotron-51B модель нового поколения, которая выводит на новый уровень соотношение точность/эффективность.
Сеть создана с использованием Neural Architecture Search (NAS) и дистилляции от Llama-3.1-70B, эта модель предлагает 2.2x ускорение инференса без значительных потерь в точности.
Подробнее:
📊 Производительность:
▫️Пропускная способность: 6472 токенов/сек, что более чем в два раза быстрее исходной Llama-3.1-70B.
▫️И главное, модель поддерживает выполнение задач на одной NVIDIA H100 GPU, что значительно снижает стоимость и упрощает инференс.
⚙️ Основные инновации:
▫️Архитектура оптимизирована с помощью NAS, что снижает нагрузку на память и вычислительные ресурсы.
▫️Плюс заюзали механизм Block-distillation, позволяющий уменьшить количество блоков без значительных потерь в точности.
📇 Blog NVIDIA
🤗 Веса
💻 Потестить бесплатно можно тут
Llama-3.1-Nemotron-51B модель нового поколения, которая выводит на новый уровень соотношение точность/эффективность.
Сеть создана с использованием Neural Architecture Search (NAS) и дистилляции от Llama-3.1-70B, эта модель предлагает 2.2x ускорение инференса без значительных потерь в точности.
Подробнее:
📊 Производительность:
▫️Пропускная способность: 6472 токенов/сек, что более чем в два раза быстрее исходной Llama-3.1-70B.
▫️И главное, модель поддерживает выполнение задач на одной NVIDIA H100 GPU, что значительно снижает стоимость и упрощает инференс.
⚙️ Основные инновации:
▫️Архитектура оптимизирована с помощью NAS, что снижает нагрузку на память и вычислительные ресурсы.
▫️Плюс заюзали механизм Block-distillation, позволяющий уменьшить количество блоков без значительных потерь в точности.
📇 Blog NVIDIA
🤗 Веса
💻 Потестить бесплатно можно тут
Мишин Лернинг 🇺🇦🇮🇱
25 Sep, 13:16
https://youtu.be/Do6iiSa4hmc?si=4IpOeAa8ijroPf2j
Имхо не зря человечество тренит сети
Имхо не зря человечество тренит сети
Мишин Лернинг 🇺🇦🇮🇱
18 Sep, 23:02
👾 GPT o1-preview заняла первое место на лидерборде https://lmarena.ai/
Ожидаемо. В той или иной форме, медленное мышление (chain-of-thought) уже было следующим шагом. Так что, скорее всего, новым стандартом станет: preTrain, с последующим SFT + DPO\RLFH + Chain-of-Thought. Скорее всего 2025 станет годом подобных open-source релизов.
Из интересного стоит добавить, что OpenAI обновила и GPT-4o (2024-09-03), которая получила 1335 эло-скора (против предшественницы 2024-08-08 с 1316).
Кстати, ребята добавили Jailbreak models at RedTeam Arena, где можно тестить (через дикий объюз) и сравнивать (борда) безопасность/опасность языковых моделей.
Ожидаемо. В той или иной форме, медленное мышление (chain-of-thought) уже было следующим шагом. Так что, скорее всего, новым стандартом станет: preTrain, с последующим SFT + DPO\RLFH + Chain-of-Thought. Скорее всего 2025 станет годом подобных open-source релизов.
Из интересного стоит добавить, что OpenAI обновила и GPT-4o (2024-09-03), которая получила 1335 эло-скора (против предшественницы 2024-08-08 с 1316).
Кстати, ребята добавили Jailbreak models at RedTeam Arena, где можно тестить (через дикий объюз) и сравнивать (борда) безопасность/опасность языковых моделей.
7,964
subscribers
1,164
photos
139
videos
