Machinelearning टेलीग्राम पोस्ट

✔️ В сеть утекли спецификации RTX 5060 Ti и 5050.

NVIDIA RTX 5060 Ti будет использовать чип GB206-300, иметь 4608 ядер CUDA, две конфигурации GDDR7 объемом 8 ГБ и 16 ГБ, использовать 128 бит и энергопотребление в 180 Вт.

RTX 5050 построена на чипе GB207-300 с 2560 ядрами CUDA, 8 ГБ видеопамяти GDDR6, 128-битную разрядность и энергопотреблением 130 Вт. Обе видеокарты используют конструкцию печатной платы PG152.

По слухам, RTX 5060 Ti и RTX 5050 выйдут в апреле-мае, а RTX 5050 должна составить конкуренцию Intel Battlemage Arc B580.
videocardz.com

✔️ Квантовый интернет стал немного ближе к реальности.

Ученые при момощи ИИ обнаружили более простой способ формирования квантовой запутанности между субатомными частицами. Это открытие потенциально облегчит разработку квантовых коммуникационных технологий.
Исследование, опубликованное в Physical Review Letters, описывает, как разработанный ИИ-инструмент PyTheus предложил принципиально новый метод, основанный на неразличимости путей фотонов.

Это открытие упрощает процесс формирования квантовой запутанности, что в перспективе может сделать квантовые сети для безопасной передачи сообщений более осуществимыми. Хотя практическое масштабирование технологии еще предстоит оценить, исследование убедительно демонстрирует потенциал AI как инструмента для научных открытий в физике.
space.com

✔️ Similarweb: ChatGPT посещают почти 4 миллиарда человек в месяц, но рост замедляется.

Февраль 2025 года стал для ChatGPT рекордным по числу посетителей – 3,905 миллиарда, но несмотря на это, месячный прирост составил скромные 1,44%, что указывает на существенное замедление динамики.

В годовом исчислении рост остается впечатляющим - 137% по сравнению с февралем 2024 года. Эти показатели позволили ChatGPT занять 5 место среди самых посещаемых десктопных веб-сайтов в мире и 7 место с учетом мобильного трафика. Даже с таким внушительным количество пользователей, ChatGPT пока не может сравниться по объемам трафика с Google.
Similarweb в X (Twitter)

✔️ Китайские университеты расширяют прием студентов по ИИ направлениям.

Несколько ведущих университетов Китая заявили о планах по увеличению набора студентов. Данная инициатива направлена на приоритетное развитие кадров в сферах, имеющих "национальное стратегическое значение", одна из них - искусственный интеллект.

Решение последовало за запуском университетских курсов по ИИ, основанных на разработках стартапа DeepSeek, чьи успехи сравнивают со "спутником" в технологическом прорыве. Peking University добавит 150 мест в 2025 году, Renmin University - более 100, Shanghai Jiao Tong University также увеличит прием на 150 мест в специализациях по ИИ и новых технологиях. Эти меры тесно связаны со стремлением КНР стать "мощной образовательной державой".
reuters.com

✔️ Sony Music ведет масштабную борьбу с дипфейками.

Компания Sony Music отчиталась о удалении более 75 тысяч сгенерированных искусственным интеллектом материалов, в основном это подделки записей известных исполнителей. Этот объем выявленных фейков, по мнению музыкальных руководителей, является лишь вершиной айсберга.

Sony опасается, что планируемое ослабление законодательства об авторском праве в Великобритании усугубит проблему и нанесет прямой коммерческий ущерб артистам. В своем обращении к правительству Великобритании компания подчеркнула, что существующая система лицензирования интеллектуальной собственности для обучения ИИ является предпочтительной и ведет с рядом компаний переговоры.
ft.com

✔️ У китайцев вышел новый DeepSeek — супернейросеть Kimi k1.5, которая теперь доступна для всех (если у вас есть аккаунт Google).
• По бенчмаркам AIME и MATH 500 она с лёгкостью обходит OpenAI o1, предлагая сразу возможности поиска и «глубокого размышления».
•Можно загрузить до 50 файлов, а контекстное окно на 200 тысяч токенов способно обработать огромный объём данных, выдавая подробный ответ или краткий вывод.
kimi.ai

✔️ANUS (Autonomous Networked Utility System) — опенсорсную версию популярного Manus, который клонировал самого себя

GItHub

@ai_machinelearning_big_data

#news #ai #ml

Приглашаем на открытый урок «Применение искусственного интеллекта в диагностике и визуализации медицинских изображений»

Познакомимся с современными методами использования ИИ для анализа медицинских изображений, включая рентгеновские снимки, МРТ и КТ на открытом уроке, посвященному курсу «Искусственный интеллект в медицине»

✅ Рассмотрим примеры успешных внедрений и разберем алгоритмы, которые помогают врачам быстрее и точнее ставить диагнозы. 

👉 Регистрация и подробности: 
https://otus.pw/Ulm2/?erid=2W5zFGAcNja

#реклама
О рекламодателе

🌟 Distill-Any-Depth: метод оценки глубины сцены по одному изображению.

Distill-Any-Depth - метод обучения моделей монокулярной оценки глубины, который сочетает кросс-контекстную дистилляцию и мульти-учительский подход для точного определения расстояния до объектов на RGB-изображении. Он предназначен для обучения моделей (например, DPT, MiDaS или DepthAnythingv2), которые учатся на псевдо-метках, сгенерированных учительскими моделями (Genpercept, DepthAnythingv2).

Метод не просто улучшает существующие алгоритмы, но и задает новый стандарт в области определения глубины. Методика может применяться в сфере автономного транспорта и AR-решений. Она может ускорить создание точных 3D-карт для навигации и улучшить реалистичность виртуальных миров за счет детализированного анализа пространства. При этом, обучение CV-моделей с Distill-Any-Depth довольно энергоэффективно — достаточно одной NVIDIA V100.

Основа Distill-Any-Depth - кросс-контекстная дистилляция, объединяющая 2 сценария:

🟠Shared-Context Distillation — модель-учитель и модель-ученик обучаются на одинаковых фрагментах изображения.

🟠Local-Global Distillation — модель-учитель анализирует локальные фрагменты, а модель-ученик предсказывает глубину для всего изображения, отвечая за глобальную согласованность сцены.

Экспериментальная модель обучалась на 50 тыс. изображений из SA-1B с разрешением 560×560. Использовались псевдо-метки от Genpercept (диффузионная модель) и DepthAnythingv2 (DINOv2). В рамках мульти-учительского подхода на каждой итерации случайно выбирался один учитель.

На тестах DIODE и ETH3D метод сократил значение AbsRel на 9.6–20% по сравнению с базовой дистилляцией. Например, при обучении модели-ученика DPT с учителями Genpercept и DepthAnythingv2 AbsRel на ETH3D составил 0.065 против 0.096 у Genpercept.

На бенчмарках NYUv2, KITTI, ScanNet модель достигла SOTA: AbsRel 0.043 (NYUv2), 0.070 (KITTI), 0.042 (ScanNet). В сравнении с DepthAnything v2 (AbsRel: 0.045 на NYUv2) и Marigold (0.055) Distill-Any-Depth показал более высокую детализацию и точность относительной глубины.

▶️В открытом доступе 3 модели, обученные с Distill-Any-Depth:

🟢Distill-Any-Depth-Multi-Teacher-Small - 24.8М параметров

🟢Distill-Any-Depth-Multi-Teacher-Base - 95.5М параметров

🟢Distill-Any-Depth-Multi-Teacher-Large - 335.3М параметров


▶️Локальная установка и инференс в Gradio:

# Create Conda env 
conda create -n distill-any-depth -y python=3.10
conda activate distill-any-depth

# Clone Repo
git clone https://github.com/rmurai0610/MASt3R-SLAM.git --recursive
cd MASt3R-SLAM/

# Install dependencies
pip install -r requirements.txt
pip install -e .

# If use hf_hub_download, you can use the following code
checkpoint_path = hf_hub_download(repo_id=f"xingyang1/Distill-Any-Depth", filename=f"large/model.safetensors", repo_type="model")

# Launch Gradio demo 
python app.py

📌Лицензирование: MIT License.


🟡Страница проекта
🟡Arxiv
🟡Набор моделей
🟡Demo
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Depth #DIstillAnyDepth

Курс «Практическая ML-инженерия: MLOps и разработка проектов» от магистратуры по искусственному интеллекту в ИТМО

Узнайте, как развиваться в MLOps и ML-разработке, и вывести свой AI-сервис в продакшен.

✔️ Обучение для тех, кто уже знает базу ML: можно освоить те навыки, которых не хватает.
✔️ Онлайн-занятия по вечерам: удобно совмещать с учебой, работой и личной жизнью.

Основные преимущества:
▪️ Возможность довести ML-модель до MVP. Изучайте инструменты MLOps — DVC, Airflow, MLflow, ClearML, W&B, FastAPI, PyTest, Docker, GitLab CI, чтобы выкатить свой сервис в продакшен.
▪️ Упор на практику. Работайте с реальными проектами, которые при желании можно монетизировать.
▪️ Опыт тимлидов в сфере ML. Узнавайте, что ждут от ML-инженеров нанимающие менеджеры.
▪️ Советы от старших коллег. Обсуждайте задачи и решения со специалистами ведущих компаний.
▪️ Понимание ML-продукта как единого целого. Учитесь проверять гипотезы и решать бизнес-задачи системно.
Регистрация на курс заканчивается 13 марта.
📌 Успейте подать заявку
Реклама. Университет ИТМО ИНН:7813045547 erid=2VtzqxBMfUr

🔥 «The State of LLM Reasoning Models» свежая статья от Себастьяна Рашка, которая посвящена современному состоянию исследований в области рассуждений (reasoning) и масштабирования выводов (inference scaling) для больших языковых моделей (LLM).

Основные моменты:
- Эволюция возможностей рассуждения:
В статье показано, как с увеличением размеров моделей и вычислительных ресурсов появляются «внезапные» способности, позволяющие моделям выполнять сложное логическое и пошаговое рассуждение. Это включает методы вроде chain-of-thought, которые помогают моделям структурировать ответ.

- Масштабирование и его эффекты:
Анализируются закономерности масштабирования — как увеличение числа параметров и использование более мощных аппаратных средств влияет на точность и способность моделей к рассуждению. Выявляются пределы, где дополнительные вычисления начинают давать менее заметное улучшение.

- Инновации в инференсе:
Статья рассматривает новые подходы к оптимизации процесса инференса, что особенно важно для применения LLM в реальном времени и на устройствах с ограниченными ресурсами. Поднимается вопрос балансировки между качеством ответов и затратами на вычисления.

- Практические выводы для исследований:
Сатья служит ориентиром, показывающим, какие направления развития (например, улучшение алгоритмов рассуждения, оптимизация инференс-методов) могут принести наибольший эффект при дальнейшем увеличении масштабов моделей. Это позволяет понять, куда двигаться в будущих исследованиях и как лучше интегрировать существующие технологии в практические приложения.

Отличное воскресенье чтиво 📕

📌 Читать

#ai #ml #reasoning #llm

✅ Подборка полезных ИИ- каналов для обучения

🎓 1) Andrej Karpathy
Глубокие, но доступные лекции по глубокому обучению, языковым моделям и введению в нейронные сети.
Ссылка: https://www.youtube.com/c/AndrejKarpathy

📊 2) 3Blue1Brown
Потрясающие визуализации, которые делают абстрактные математические концепции понятными и интуитивными.
Ссылка: https://www.youtube.com/c/3blue1brown

🎙️ 3) Lex Fridman
Глубокие беседы с лидерами индустрии ИИ, позволяющие получить широкий взгляд на современные тенденции.
Ссылка: https://www.youtube.com/c/LexFridman

🤖 4) Machine Learning Street Talk
Технические погружения и обсуждения с ведущими исследователями в области ИИ и машинного обучения.
Ссылка: https://www.youtube.com/c/MachineLearningStreetTalk

💼 5) Uproger
Множество полных кусрсов, уроков с уклоном на практику
https://www.youtube.com/@uproger

🍉 6) Serrano Academy (Luis Serrano)
Ясный и доступный контент о машинном обучении, глубоких нейронных сетях и последних достижениях в ИИ.
Ссылка: https://www.youtube.com/c/LuisSerrano

💻 7) Jeremy Howard
Практические курсы по глубокому обучению и обучающие видео по созданию AI-приложений, основанные на опыте Fast.ai.
Ссылка: https://www.youtube.com/c/Fastai

🛠️ 8) Hamel Husain
Практические уроки по работе с языковыми моделями (LLMs), RAG, тонкой настройке моделей и оценке ИИ.
Ссылка: https://www.youtube.com/c/HamelHusain

🚀 9) Jason Liu
Экспертные лекции по RAG и советы по фрилансу в области ИИ для специалистов по машинному обучению.
Ссылка: https://www.youtube.com/c/JasonLiu

⚙️ 10) Dave Ebbelaar
Практические руководства по созданию ИИ-систем и применению технологий в реальных проектах.
Ссылка: https://www.youtube.com/c/DaveEbbelaar

📚 11) StatQuest with Joshua Starmer PhD
Доступные и понятные объяснения основ машинного обучения и статистики для начинающих.
Ссылка: https://www.youtube.com/c/statquest

Эти каналы предлагают разнообразный и качественный контент для всех, кто хочет углубиться в изучение искусственного интеллекта. Независимо от вашего уровня подготовки, здесь каждый найдёт что-то полезное для себя!

@data_analysis_ml

🌟 AMD Instella: открытая языковая модель, обученная на ROCm и оборудовании AMD.

Instella - полностью опенсорсная модель с 3 млрд. параметров, обученная с нуля на GPU AMD Instinct MI300X. Instella не только превосходит существующие LLM сопоставимого размера, но и показывает конкурентоспособную производительность по сравнению с Llama-3.2-3B, Gemma-2-2B и Qwen-2.5-3B.

Разработка Instella основана на опыте AMD с OLMo, на которой была доказана возможность обучения LLM на стеке AMD. В процессе создания Instella прошлые наработки были масштабированы для создания модели с 3 млрд. параметров. Она обучалась на 128 GPU MI300X с использованием 4,15 трлн. токенов. В процессе применялись методы FlashAttention-2, Torch Compile и FSDP с гибридным шардированием.

Процесс обучения Instella состоял из 4-х этапов, постепенно наращивая возможности модели от базового понимания естественного языка до следования инструкциям и соответствия предпочтениям человека.

Первый этап претрейна задействовал 4 трлн. токенов из набора данных OLMoE-mix-0924 (код, академические тексты, математика и общие знания). Второй этап - 57 млрд. токенов из датасетов Dolmino-Mix-1124 и SmolLM-Corpus (python-edu).

На третьем этапе проводилась SFT модели с использованием 8,9 млрд. токенов текстовых пар "инструкция-ответ". Наконец, для приведения модели в соответствие с предпочтениями человека был выполнен четвертый этап - DPO модели Instella-3B-SFT с использованием 0,76 млрд токенов.

Instella получила 36 слоев, каждый из которых имеет 32 attention heads и поддерживает длину последовательности до 4096 токенов.

Финальный вариант Instella-3B превосходит существующие открытые модели в среднем на 8,08%.

▶️ Состав релиза:

🟢Instella-3B-Stage1 - претрейн-чекпоинт после первого этапа обучения;
🟢Instella-3B - чекпоинт после второго этапа;
🟢Instella-3B-SFT - версия модели после SFT;
🟢Instella-3B-Instruct - финальная версия после DPO;
🟠Instella-GSM8K-synthetic - датасет, использованный на 2 этапе обучения;
🟠Код для трейна и инференса


📌 Лицензирование: ReasearchRAIL License.


🟡Статья
🟡Коллекция на HF
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #RoCM #AMD #Instella

🎁 РАЗЫГРЫВАЕМ MacBook Air!

Авторский канал о ИИ и машинном обучении Machine Learning, а также канал о будущем и технологиях Droider, объединились для крутого конкурса!

На кону – 13-дюймовый MacBook Air на чипе M3!

Условия участия максимально простые:

🔸Подписаться на телеграм-канал Machine Learning
🔸Подписаться на телеграм-канал Droider
🔸Нажать кнопку "Участвовать" ниже.

ВСЁ! Вы участник!

Итоги подведём 29 марта. Доставка приза осуществляется только на территории РФ.

Всем удачи!

✔️ Стартап Manus представил универсального ИИ-агента, выглядит очень впечатляюще. Он объединяет возможности OpenAI Operator и глубокую аналитику, но работает ещё эффективнее. Этот агент не только умеет управлять компьютером, но и собирает информацию для проведения серьёзных научных исследований.

— В этом видео Manus одновременно регистрирует и активно управляет 50 аккаунтами в Твиттере.
— Агент провел всесторонний анализ акций Tesla и предложила свой прогноз на будущее.
— Manus вычислил оптимальную орбиту для космического корабля, направляющегося к Марсу, с учётом текущего расположения планет.

Подать заявку на доступ можно здесь. А здесь вы найдете сравнение ManusAI и OpenAI DeepResearch.
Manus


✔️ Очень годный сборник учебных материалов, обучающих созданию нейросетей и обучению нейросетей её с нуля.

• Всё работает в облаке.
• 20 детально проработанных глав: от архитектуры нейросетей и NLP до основ глубокого обучения.
• Теория подкреплена практическими задачами
• Большое количество понятных примеров
Colab


✔️ Nomic Embed v2 — это новая SOTA для создания текстовых эмбеддингов, использующая архитектуру Mixture-of-Experts (MoE). Поддерживает около 100 языков и была обучена на более чем 1,6 миллиарда пар данных. Модель полностью открыта.
HF


✔️ Smart-turn — это открытая модель для определения смены речевых реплик (turn detection) в системах голосового взаимодействия. Она предназначена для более точного определения момента, когда голосовой агент должен начать свою реакцию на речь пользователя. Очень полезный инструмент для разработчиков голосовых агентов, стремящихся улучшить естественность и эффективность взаимодействия с пользователями.
Github

@ai_machinelearning_big_data


#news #ai #ml #aiagents

🍏 Apple представила чип M3 Ultra – самый быстрый процессор, когда-либо созданный для Mac.

Новый M3 Ultra дебютировал в Mac Studio и сочетает в себе 32-ядерный CPU (из которых 24 – высокопроизводительные, а 8 – энергоэффективные) с 80-ядерным GPU и поддержкой до 512 ГБ🔥

Этого хватит для 4-битного Deep Seek R1 и еще останется место.

По заявлениям Apple, этот чип работает в 1,5 раза быстрее, чем M2 Ultra, и на 1,8 раза быстрее, чем M1 Ultra.

Цены на M4 Max начинаются в США с $2000 до уплаты налогов. За эти деньги вы получите 36 ГБ объединённой памяти и SSD на 512 ГБ.

А вот M3 Ultra начинается с $4000. Внутри 96 ГБ объединённой памяти и SSD на 1 ТБ.

С M4 удалось добиться таких результатов:
► обработка изображений в Adobe Photoshop в 1,6 раза быстрее в сравнении с Mac Studio с M1 Max и до 2,9 раз быстрее по сравнению с 27-дюймовым iMac с Core i9

► до 2,1 раза выше производительность сборки при компиляции кода в Xcode по сравнению с Mac Studio с M1 Max и до 3,1 раза быстрее по сравнению с 27-дюймовым iMac с Core i9

► производительность ProRes в Compressor до 1,2 раза выше по сравнению с Mac Studio с M1 Max и до 2,8 раз быстрее по сравнению с 27-дюймовым iMac с Core i9

► производительность обработки видео в Topaz Video AI до 1,6 раз выше по сравнению с Mac Studio с M1 Max и до 5 раз быстрее по сравнению с 27-дюймовым iMac с Core i9

С M3 Ultra удалось добиться таких результатов:
► до 16,9 раз быстрее генерация токенов с использованием LLM с сотнями миллиардов параметров в LM Studio по сравнению с Mac Studio с M1 Ultra

► рендеринг сцены до 2,6 раза быстрее в Maxon Redshift по сравнению с Mac Studio с M1 Ultra и до 6,4 раза быстрее по сравнению с 16-ядерным Mac Pro на базе Intel с Radeon Pro W5700X

► до 1,4 раза выше производительность рендеринга видео 8K в Final Cut Pro по сравнению с Mac Studio с M1 Ultra и до 4 раз выше по сравнению с 16-ядерным Mac Pro на базе Intel с Radeon Pro W5700X

@ai_machinelearning_big_data


#apple #Mac #M3Ultra #M4Max