Посты канала Machine learning Interview

🖥 Полезнейший сборник из 800+ вопросов по SQL, которые часто задают на собеседованиях.

Он также включает задачи для самостоятельной работы и множество примеров.

Сборник отлично подходит для тех, кто хочет прокачать свои навыки работы с SQL, освежить знания и проверить свои знания.

▪ GitHub

🔥 MIT обновил свой знаменитый курс 6.S191: Introduction to Deep Learning.

Программа охватывает темы NLP, CV, LLM и применение технологий в медицине, предлагая полный цикл обучения – от теории до практических занятий с использованием актуальных версий библиотек.

Курс рассчитан даже на новичков: если вы умеете брать производные и перемножать матрицы, все остальное будет разъяснено в процессе.

Лекции выходят бесплатно на YouTube и на платформе MIT по понедельникам, первая уже доступна.

Все слайды, код и дополнительные материалы можно найти по указанной ссылке.

📌 Свежая лекция: https://youtu.be/alfdI7S6wCY?si=6682DD2LlFwmghew

Разбор мл-собеседований

@machinelearning_interview

🤗 Обновленный Курс от Hugging Face – Reasoning Course это подробное руководство по развитию навыков логического рассуждения и применения современных подходов для улучшения работы языковых моделей

Это интерактивное обучение, посвящённое пониманию и применению методов chain-of-thought (цепочки рассуждений) для генеративных моделей.

Курс сочетает теоретические основы с практическими примерами и заданиями.

Чем он полезен:

- Позволяет глубже понять, как LLM структурируют свои мысли для генерации более точных и обоснованных ответов.
- Обучает методикам, которые помогают улучшить рассуждения модели при решении сложных задач.
- Содержит практические упражнения и интерактивные ноутбуки, что делает материал доступным как для начинающих, так и для опытных специалистов.
Что нового в курсе:

Обновлённый контент: В курс добавлены новые примеры, кейсы из реальной практики и последние достижения в области chain-of-thought prompting.

Интеграция с экосистемой Hugging Face: Возможность сразу экспериментировать с моделями и инструментами прямо из курса.
Если вы хотите улучшить свои навыки работы с языковыми моделями и научиться добиваться более глубокого и логичного генеративного вывода – этот курс для вас!

- Зарегистрируйтесь:
- Каждую неделю авторы будут выпускать новые материалы и упражнения:
- За прохождение выдаются сертификаты.

https://huggingface.co/reasoning-course

@machinelearning_interview

✔ Разбор задач с собеседований по статистике для Дата Саентистов

В современных собеседованиях на позицию Data Scientist кандидатов проверяют не только практические навыки программирования, но и глубокое понимание статистических методов.

В данной статье рассмотрены часто встречающиеся задач, которые могут встретиться на интервью. Разберём каждую задачу с теоретической точки зрения, а также продемонстрируем пример кода на Python.

📌 Читать

@machinelearning_interview

📍Геоданные и временные ряды в Spark: хаос или порядок?

GPS-координаты, карты, временные метки — данные есть, но как с ними работать? Стандартные методы тормозят, запросы громоздкие, аналитика требует вечности.

💡Есть решение. На открытом вебинаре «Обработка геопространственных и временных данных на Spark» 11 марта в 20:00 (мск):

- Разберём пространственные данные: координаты, маршруты, карты
- Научимся анализировать временные ряды с трендами и предсказаниями
- Проанализируем реальные кейсы: GPS-данные, сенсоры IoT, анализ движения

📢 Спикер Вадим Заигрин — опытный разработчик, Data Engineer и Data Scientist. Team Lead команд инженеров данных на разных проектах.

Все участники получат скидку на большое обучение «Spark Developer».

➡️ Регистрируйтесь, чтобы не пропустить: https://otus.pw/0511/?erid=2W5zFJ2oTBv

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

🌟 MASt3R-SLAM: детализированный SLAM с априорными данными 3D-реконструкции в реальном времени.

MASi3R-SLAM - проект, который умеет строить детальные 3D-карты окружающей среды и отслеживать движение камеры в реальном времени без предварительной калибровки. Система работает даже с изменяющимися во аремени параметрами, например, при зумировании или оптических искажениях.

Основа MASi3R-SLAM - алгоритм, использующий модели DUSi3R и MASi3R для восстановления геометрии сцены по 2 изображениям. DUSi3R анализирует пары изображений, предсказывая детальные карты 3D-точек в общей системе координат, а MASi3R дополнительно генерирует дескрипторы для каждого пикселя, повышая точность сопоставления даже при большом смещении кадров.

Полученные данные от моделей обрабатывает уникальный алгоритм, который анализирует «карты точек», прогнозируемые нейросетью, и находит соответствия между кадрами за 2 миллисекунды, что в 40 раз быстрее аналогов.

В тестировании на наборах TUM RGB-D и EuRoC, показали: MASi3R-SLAM превосходит DROID-SLAM и другие системы по точности траектории (средняя ошибка — 3 см) и детальности 3D-моделей.

На сегодняшний день основное ограничение MASi3R-SLAM — скорость декодера из-за его вычислительной нагрузки: полный цикл обработки одного ключевого кадра занимает в среднем 26–27 миллисекунд, что примерно 64% общего времени работы паплайна.

Например, при разрешении 512 пикселей по длинной стороне декодер MASi3R тратит до 2 секунд на глобальный поиск соответствий, тогда как алгоритм сопоставления сокращает это время до 2 мс. На выходе создается «бутылочное горлышко», которое ограничивает частоту кадров до 15 FPS.

⚠️ Перед установкой необходимо загрузить модели и установить версию Pytorch, соответствующую установленной версии CUDA.


▶️Локальная установка и примеры запуска для live-режима и видео:

# Create Conda env 
conda create -n mast3r-slam python=3.11
conda activate mast3r-slam

# Clone Repo
git clone https://github.com/rmurai0610/MASt3R-SLAM.git --recursive
cd MASt3R-SLAM/

# Install dependencies
pip install -e thirdparty/mast3r
pip install -e thirdparty/in3d
pip install --no-build-isolation -e .

# Launch Live demo with camera
python main.py --dataset realsense --config config/base.yaml

# Or running on a MP4 video
python main.py --dataset <path/to/video>.mp4 --config config/base.yaml
python main.py --dataset <path/to/folder> --config config/base.yaml

📌Лицензирование: CC-BY-NC-SA-4.0 License.


🟡Страница проекта
🟡Набор моделей
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #CV #3D #SLAM #Robotics

👨‍🎓 Новый конкурс по анализу данных от Stanford RNA 3D Folding на Kaggle

На Kaggle вышло новое соревнование — Stanford RNA 3D Folding, которое с задачей: предсказать трёхмерную конфигурацию РНК-молекул.

Почему это важно?
РНК играет ключевую роль в регуляции генетической информации, а точное знание её пространственной структуры имеет огромное значение для понимания биологических процессов, разработки новых лекарств и даже борьбы с инфекционными заболеваниями.

Несмотря на успехи в предсказании белковых структур (например, благодаря AlphaFold), предсказание 3D-конформации РНК остаётся одной из самых сложных задач в современной молекулярной биологии.

Суть соревнования:
Участникам предлагается разработать алгоритмы, способные эффективно моделировать и предсказывать трёхмерную структуру РНК, используя предоставленные наборы данных и экспериментальные результаты. В основе задачи лежит необходимость учитывать как вторичную структуру (базовое парование нуклеотидов), так и сложные третичные взаимодействия, которые определяют окончательную форму молекулы.

💰 Призовой фонд: $75,000

Что получает участник?

Предсказания 3D-конформаций РНК может значительно ускорить разработку новых терапевтических средств и методов лечения. Успешные модели могут стать фундаментом для дальнейших исследований в генетике, синтезе лекарственных препаратов и изучении сложных биологических процессов. Кроме того, участие в таком соревновании предоставляет уникальную возможность обмена знаниями и сотрудничества с ведущими экспертами в данной области.

https://kaggle.com/competitions/stanford-rna-3d-folding

🌟 MatAnyone: модель для выделения по маске людей на видео.

MatAnyOne - memory-based модель для видео-маттинга, разработанная для получения стабильных и точных результатов в сценариях реального постпродакшена. В отличие от методов, требующих дополнительного аннотирования, MatAnyOne использует только кадры видео и маску сегментации целевого объекта, определенную на первом кадре.

MatAnyOne оперирует регионально-адаптивным слиянием памяти, где области с небольшими изменениями сохраняют данные из предыдущего кадра, а области с большими изменениями больше полагаются на информацию из текущего кадра. Такая техника позволяет MatAnyOne эффективно отслеживать целевой объект, даже в сложных и неоднозначных сценах, сохраняя при этом четкие границы и целые части переднего плана.

При создании модели применялась уникальная стратегия обучения, которая опирается на данные сегментации для улучшения стабильности выделения объекта. В отличие от распространенных практик, MatAnyOne использует эти данные непосредственно в той же ветви, что и данные маски. Это достигается путем применения регионально-специфичных потерь: пиксельная потеря для основных областей и улучшенная DDC-потеря для граничных областей.

Для обучения был специально создан кастомный набор данных VM800, который вдвое больше, разнообразнее и качественнее, чем VideoMatte240K, что по итогу значительно улучшило надежность обучения объектному выделению на видео.

В тестах MatAnyOne показал высокие результаты по сравнению с существующими методами как на синтетических, так и на реальных видео:

🟠На VideoMatte и YouTubeMatte, MatAnyOne - лучшие результаты по MAD (средняя абсолютная разница) и dtSSD (расстояние преобразования формы);

🟢В бенчмарке с реальными видео MatAnyOne достиг MAD 0.18, MSE 0.11 и dtSSD 0.95, что значительно лучше, чем у RVM10 (MAD 1.21, MSE 0.77, dtSSD 1.43) и MaGGIe12 (MAD 1.94, MSE 1.53, dtSSD 1.63.


⚠️ Согласно обсуждению в issues репозитория, MatAnyOne способен работать локально от 4 GB VRAM и выше с видео небольшой длительности. Реальных технических критериев разработчик не опубликовал.

▶️Локальная установка и запуск web-demo на Gradio:

# Clone Repo
git clone https://github.com/pq-yang/MatAnyone
cd MatAnyone

# Create Conda env and install dependencies
conda create -n matanyone python=3.8 -y
conda activate matanyone

pip install -e .

# Install python dependencies for gradio
pip3 install -r hugging_face/requirements.txt

# Launch the demo
python app.py

📌Лицензирование: S-Lab License 1.0.


🟡Страница проекта
🟡Модель
🟡Arxiv
🟡Demo
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #VideoMatte #MatAnyone

IT_ONE Cup. ML Challenge от IT_ONE и Sk FinTech Hub — создай AI-ассистента, который будет помогать в работе дизайнерам, системным и бизнес-аналитикам. Участвуй онлайн с 12 по 29 апреля и поборись за 1 500 000 рублей.

Регистрация открыта до 11 апреля

Твоя формула победы:
✅ Разбираешься в машинном обучении.
✅ На ты с NLP и LLM.
✅ Концептуально понимаешь принципы работы веб-приложений.  

Также приглашаем Backend и Frontend-разработчиков, системных и бизнес-аналитиков, UI/UX-дизайнеров. Участвуй онлайн соло или командой до 5 человек. 

Задачи IT_ONE Cup. ML Challenge:
🔤 Динамические контекстные подсказки для системного аналитика.
🔤 AI-генератор дизайн-макетов по описанию требований.
🔤 Система визуализации BPMN-диаграмм.

4 апреля приходи на митап с экспертами соревнования — задай вопросы и узнай больше о задачах. 

Создай AI-ассистента, который облегчит выполнение рабочих задач — регистрируйся на IT_ONE Cup. ML Challenge

✔️ Как можно запустить полноценный Ai проекта за пару часов.

💡 Недавно потребовалось быстро обучить ИИ для автоматической обработки клиентских запросов. Задача состояла в том, чтобы помощник не просто отвечал шаблонно, а умел анализировать тексты, подстраиваться под стиль общения и выдавать осмысленные ответы. У меня уже было несколько проектов, запущенных в облаке Яндекса и во время деплоя обнаружил два инструмента, которые значительно упрощают работу.

🔎 Первый — Dedicated Inference Endpoint в Foundation Models, который позволяет запускать модели (включая популярные опенсорсные LLaMa, Qwen и DeepSeek) на выделенных мощностях. То есть не нужно разбираться в серверах и настройках — всё уже готово, просто подаешь заявку, выбираешь нужную модель и работаешь. Второй инструмент — самостоятельное дообучение методом LoRA, благодаря которому нейросеть можно адаптировать под конкретные задачи бизнеса буквально за 10 минут.

Выглядит всё это удобно, особенно если сравнивать с классическим подходом, где нужно отдельно поднимать инфраструктуру, следить за её стабильностью и тратить ресурсы на настройку моделей. В крупных компаниях этим занимаются целые IT-отделы, но если ресурсы ограничены, такие решения упрощают жизнь.

Правда, есть и нюансы. Например пока, не все компании готовы хранить свои данные в облаке, хотя сейчас облачные сервисы соответствуют международным стандартам безопасности. Но если речь идёт о быстром тестировании новых моделей, запуске нейросетей без лишних затрат и возможности гибко комбинировать решения — это хороший вариант. Особенно для тех, кто хочет использовать AI в бизнесе, но не готов тратить на это месяцы разработки.

🔗 Записаться на тестирование Foundation Models можно здесь: *клик*
🔗 А здесь можно протестировать обучение с LoRA: *клик*