Машиннное обучение | Наука о данных Библиотека

🔥 Крутая шпаргалка по машинному обучению!

В этой шпаргалке представлен весь мир машинного обучения. На ней выделены следующие ключевые направления:

⭐ Регрессия: OLS, SVM, Random Forest
⭐ Классификация: Naive Bayes, Decision Tree, нейронные сети
⭐ Кластеризация: K-Means, DBSCAN
⭐ Компьютерное зрение: CNN, YOLO, GANs
⭐ NLP/LLM: GPT, BERT, Word2Vec
⭐ Рекомендательные системы, прогнозирование

@machinelearning_books

A Brief Introduction to Neural Networks

📕 Book

@machinelearning_books

Machine Learning tips and tricks cheatsheet

Ш

📌Machine Learning cheatsheet

Шпаргалка по ML от Стэнфорда, здесь даны метрики классификации, метрики регрессии, описывается кросс-валидация, регуляризация и не только

📎 Шпаргалка
🟡 PDF-версия

@machinelearning_interview

Вот что ждет в Т-Банке ML-разработчиков, кроме ДМС, крутых офисов и других плюшек:

▪️Актуальный стек. Здесь следят за трендами и быстро внедряют новое.
▪️Улучшения может предложить каждый. Здесь знают, как устроен продукт, и влияют на его развитие.
▪️Прозрачная система роста. Вы всегда будете знать, какие навыки нужно подтянуть и как получить повышение.
▪️Вы окажетесь среди профессионалов, у которых можно многому научиться. А если захотите — можете стать ментором для младших коллег.

Больше о вакансиях ML-разработчиков — здесь.

Reinforcement Learning An Introduction, 2nd Edition

📕 Book

@machinelearning_books

🤖 Data Scientist / ML-инженер в Х5 Tech

В команде Х5 вас ждет:
— конкурентная зарплата, удаленка или гибридный формат;
— амбициозные проекты вроде собственной платформы по работе с нейросетями и автоматического ценообразования;
— прокачка навыков в корпоративном университете, митапы, конференции и общение с топами.

В зависимости от выбранной команды вы будете:
— генерировать и тестировать гипотезы для экономии ресурсов компании;
— принимать решения, основанные на данных, — например, в какой продукт вложиться для привлечения новых покупателей;
— заниматься end2end-разработкой моделей;
— разрабатывать генеративные языковые модели и технологии компьютерного зрения.

Ожидаем, что вы:
— работаете в сфере Data Science, Data Analysis, Machine Learning от трех лет;
— знаете Python;
— владеете навыками по выбранному направлению: математическая статистика и теория вероятностей для аналитики, Spark для ML, работа с нейросетями для трека ИИ.

➡️ Откликнуться: @oooozhegovaaaa

20 Python Libraries You Aren't Using But Should

📕 Book

@machinelearning_books

🤖Вы слышали о ChatGPT, но не знаете, как он работает? А как языковые модели меняют мир, в котором мы живём?

Если вы хотите разобраться в этом и узнать, как применять эти технологии в своих проектах, не пропустите наш бесплатный открытый урок 20 ноября в 18:00 мск!

⚡️На вебинаре:

-погрузимся в историю развития языковых моделей от базовых концепций до современных LLM (Large Language Models), таких как ChatGPT.

-Вы узнаете, какие методы и технологии стоят за этими интеллектуальными системами и как их можно использовать для решения задач Natural Language Processing (NLP).

Спикер Мария Тихонова – PhD Computer Science, Senior Data Scientist в SberDevices и преподаватель ВШЭ.

👉Регистрация: https://vk.cc/cE9yoe?erid=LjN8KBhVk 

Встречаемся в преддверии старта курса «Natural Language Processing (NLP)». Все участники вебинара получат специальную цену на обучение!

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

📌 Практические упражнения и дополнительные материалы к книге "Build a Large Language Model (From Scratch)"

Репозиторий на Github c прикладными упражнениями, ноутбуками с кодом для разработки, предварительной подготовки и тонкой настройке LLM-модели типа GPT по одной из лучших книг о построении LLM с нуля.

▶️ О книге:
В книге вы узнаете и поймете, как работают большие языковые модели изнутри, создавая собственную LLM шаг за шагом, c подробным объяснением каждого этапа понятным языком, диаграммами и примерами.

Метод, описанный в книге демонстрирует подход, используемый при создании крупных фундаментальных моделей, таких как те, что лежат в основе ChatGPT.

В репозитории к каждой главе книги соответствуют несколько (3-4) прикладных примеров в формате ipynb или в виде исполняемого python-скрипта. Код ориентирован на широкую аудиторию, разработан для запуска на обычных ноутбуках и не требует специализированного оборудования.

▶️Главная ценность репозитория - дополнительные практические материалы, которые помогут глубже изучить тонкости и нюансы процесса настройки и обучения LLM:

Настройка

🟢Советы на настройке Python
🟢Установка пакетов и библиотек Python
🟢Руководство по настройке среды Docker

Глава 2: Работа с текстовыми данными

🟠Сравнение различных реализаций Byte Pair Encoding (BPE)
🟠Понимание разницы между embedding и линейными слоями
🟠Dataloader Intuition с простыми числами

Глава 3: Код механизмов внимания

🟢Сравнение эффективных реализаций Multi-Head Attention
🟢Буферы PyTorch

Глава 4: Реализация модели GPT с нуля

🟠Анализ FLOPS

Глава 5: Предварительное обучение на немаркированных данных

🟢Альтернативная загрузка весов с HuggingFace с использованием Transformers
🟢Предварительное обучение GPT на наборе данных проекта Gutenberg
🟢Добавление дополнительных функций в цикл обучения
🟢Оптимизация гиперпараметров для предварительного обучения
🟢Создание пользовательского интерфейса для взаимодействия с LLM
🟢Преобразование GPT в Llama
🟢Llama 3.2 с нуля
🟢Memory-efficient загрузка модели

Глава 6: Тонкая настройка для классификации

🟠Дополнительные эксперименты по точной настройке различных слоев и использованию более крупных моделей
🟠Тонкая настройка различных моделей на основе датасета обзоров фильмов IMDB объемом 50 тыс. строк.
🟠Создание пользовательского интерфейса для взаимодействия с классификатором спама на основе GPT

Глава 7: Тонкая настройка для следования инструкциям

🟢Утилиты набора данных для поиска близких дубликатов и создания записей в пассивном залоге
🟢Оценка ответов на инструкции с использованием API OpenAI и Ollama
🟢Создание датасета для точной настройки инструкций
🟢Улучшение набора данных для точной настройки инструкций
🟢Создание набора данных предпочтений с помощью Llama 3.1 70B и Ollama
🟢DPO для процедуры LLM Alignment
🟢Создание пользовательского интерфейса для взаимодействия с моделью GPT с тонкой настройкой инструкций


🖥Github


@ai_machinelearning_big_data

#AI #ML #LLM #Tutorial #Github

🖥 Книга по работе с SQL! (62 главы!)

🔗 Ссылка: *клик*

@sqlhub

Financial Statement Analysis with Large Language Models (LLMs)

📕 Book

@machinelearning_books

📕 Machine Learning for Absolute Beginners

▪️Книга

@machinelearning_books

⚡️Стали доступны новые модели YandexGPT

Две версии Pro и Lite предлагают более точные ответы, работают с расширенным контекстом и лучше обрабатывают длинные тексты. Алиса с опцией «Про» станет первым сервисом с YandexGPT 4. Алексей Долотов, руководитель продуктов ML в Yandex Cloud, и Андрей Бут, руководитель команды YandexGPT Alignment рассказали в новой статье на Хабре про обучение YandexGPT 4 и ее отличия от предыдущих версий.

▪️ Статья

@machinelearning_books

🖥🖥 Python tutorials for SQL machine learning

▪ Github

@machinelearning_books

💡 Yandex ML Prize 2024: кто получил награду в этом году

Яндекс в шестой раз наградил исследователей, которые развивают ИИ и машинное обучение. Вот некоторые из лауреатов:

Николай Никитин (ИТМО) — эксперт в автоматическом машинном обучении и генеративном дизайне, развивает open-source экосистему инструментов для применения AI в науке. Его работы делают AI более доступным и удобным для исследователей, автоматизируя сложные задачи и ускоряя процессы.

Александр Колесов (Сколтех) занимается алгоритмами на базе оптимального транспорта, которые помогают нейросетям передавать стиль и содержание при переносе данных из одной области в другую – например, при генерации изображений по тексту.

Алексей Скрынник (AIRI) разрабатывает алгоритмы для многоагентной навигации, где роботы или другие агенты могут взаимодействовать автономно даже при отключении связи.

Помимо премии, лауреаты получат доступ к Яндекс 360 и грант на использование Yandex Cloud для выполнения объёмных вычислений и обработки данных.

Princeton's "Machine Learning" lecture notes

@machinelearning_books

NotebookLlama: An Open Source version of NotebookLM

📚 Book

@machinelearning_books

An Infinite Descent into Pure Mathematics

📚 Book

@machinelearning_books

Tutorial on Diffusion Models for Imaging and Vision

📚 Book

@machinelearning_books

LLM Engineer's Handbook: Master the art of engineering Large Language Models from concept to production.

🖥 Github

@machinelearning_books

NLP Researchers, отметьте в календаре 26 октября🌟

Всего за один день вы сможете пройти все этапы отбора, познакомиться с командой GigaCode и получить оффер.
Мы создаем AI ассистента разработчика – GigaCode. Наши модели помогают писать 80к строк кода ежедневно! Решаем задачи по различным подходам в NLP и PLP, проводим ресёрч-эксперименты и обучаем новые SOTA LLM.
В работе используем: NLP, DL, ML, Python, Pytorch, Transformers, FSDP, Deepspeed.

Чем предстоит заниматься?
✅ реализовывать дизайн экспериментов, формулировать гипотезы для улучшения NLP/PLP моделей и алгоритмов, планировать исследовательские эксперименты с выводами.
✅ проводить эксперименты, писать код, подготавливать датасеты и бенчмарки, проводить замеры и анализ результатов.
✅ обучать модели на кластере, включая обучение моделей с нуля и дообучение опенсорс моделей.

Если вы амбициозны и готовы к новым вызовам в PLP и/или NLP направлениях, регистрируйтесь на One Day Offer!

Будем делать важнейшие исследования вместе!💚

💡 Ultimate Guide to Fine-Tuning LLMs

📚 Книга

@machinelearning_books

Introduction to Data Science

📓 Book

@machinelearning_books

⚡Разбираем специфику области NLP и задачи, которые можно решать с помощью NLP-методов на открытом уроке в OTUS!

🔥23 октября в 18.00 мск. приглашаем на бесплатный вебинар "Современные применения Natural Language Processing", на котором разберем:

- основные направления области Natural Language Processing;
- что делает эту область одной из самых востребованных в Data Science сегодня;
- какие задачи сегодня решают с помощью методов NLP и что стоит за успехами в этой области.

👉Регистрация. Вступительный тест https://otus.pw/mzrh/?erid=LjN8KBQXP

Спикер: Мария Тихонова, Senior Data Scientist, преподаватель ВШЭ, Otus Certified Educator

Вебинар приурочен к старту курса Natural Language Processing (NLP). На курсе изучаются современные подходы и модели, которые на данный момент являются стандартом в области. 

#реклама
О рекламодателе

Практическая статистика для специалистов Data Science

📖 Книга

@machinelearning_books

Mathematics Data Book

📖 Книга

@machinelearning_books

Стать Data-инженером за 120 часов

14 октября в Слёрме стартует поток курса «Data-инженер»: 88 часов практики и 32 часа теории.

Будем работать с большими данными:

✔️ Сбор, хранение и обработка
✔️ Визуализация и отчетность
✔️ Интеграция

⚙️ Освоим инструменты и технологии для аналитики и обработки данных и научимся эффективно их подбирать под задачу: PythonSQL, PostgreSQL, Сlickhouse, MongoDB, HDFSHadoop, Spark, Apache Kafka, Redis, Airflow, NiFi, dbt, Metabase.

⚡️Смотреть программу подробнее и оставить заявку по ссылке – на сайте⚡️

Prompt Engineering Techniques: Comprehensive Repository for Development and Implementation 🖋️

📓 Github

@datascienceiot

На YouTube выложили доклады с недавней Practical ML Conf 2024. Рекомендуем обратить внимание на выступление Саввы Степурина, где он рассказал о том, как рекомендовать пользователям неизвестный им контент. Савва детально описал переход от традиционных фильтров к отдельным моделям выбора кандидатов и ранжирования, предложил особые методы отбора кандидатов, а также продемонстрировал результаты их применения.

Ниже еще пару интересных тем:

⚙️ Обучение языковых моделей работе с кодом. Директор лаборатории машинного обучения в Yandex Platform Engineering раскроет подробности этого процесса и объяснит, почему было решено предсказывать стейтменты и как это улучшает качество онлайн-метрик.

⚙️ Создание виртуального рассказчика для синтеза аудиокниг в Яндексе. В этом выступлении рассмотрели процесс интеграции длительного контекста в низкоресурсную модель реального времени и затронуты особенности использования диффузионных моделей.

Конференция включает также доклады о бенчмаркинге, синтетических данных, оптимизации RAG-систем, VLM, рекомендательных системах и не только. Видео всех докладов доступны по ссылке.

⚡️ Полезные шпаргалки по математике

- Шпаргалки по ТРИГОНОМЕТРИИ
- Шпаргалки по ТЕОРИИ ВЕРОЯТНОСТЕЙ
- Шпаргалки по ПРОИЗВОДНОЙ
- Шпаргалки по ГЕОМЕТРИИ
- Шпаргалки по ТЕКСТОВЫМ ЗАДАЧАМ

@data_math

⚡️ Шпаргалка по статистике

Если у вас предстоят собеседования или экзамены по статистике в университете, вот полезная полная шпора. В ней рассмотрены ключевые понятия, такие как выборка, распределение, мода, медиана и другие.

Также приведено практическое занятие по статистическому наблюдению на примере производственной компании.

@machinelearning_books

Introduction to Machine Learning with Python

📖 Книга

@machinelearning_books

MM1.5: Methods, Analysis & Insights from
Multimodal LLM Fine-tuning

📖 Paper

@machinelearning_books

Advanced Programming in the UNIX Environment

📓 Course

@datascienceiot

⚡️ 10 самых часто используемых loss functions в машинном обучении

@machinelearning_books

📌 Лаконичная шпаргалка по методам энкодинга категориальных признаков

@machinelearning_interview

📚 Анализ данных на компьютере

Описание: В учебном пособии без лишнего формализма излагаются основные идеи и понятия математической статистики, необходимые на практике для анализа данных.

📌Книга

#ru #АнализДанных #Статистика

🖥 Большой список вопросов и ответов по Python для подготовки к собеседованию

Собираетесь на собеседование на позицию Python Developer? Тогда обратите внимание на эту шпаргалку, где собраны ответы на более чем 100 вопросов, которые часто задают на интервью. Разработчики тщательно подготовили эти материалы, и уверены, что они помогут вам лучше подготовиться к вопросам.

Эти вопросы покрывают практически все темы Python + затрагивают азы Computer Science: алгоритмы, структуры данных и т.д.

▶️ Вопросы и ответы

@machinelearning_interview