Машиннное обучение | Наука о данных Библиотека

🔥 Бесплатная книга: "Финансовое Машинное Обучение"!

🔗 Ссылка: *клик*

#machinelearning

@machinelearning_books

International AI Safety Report

📚 Report

@machinelearning_books

Если хочется влюбиться в профессию заново
Делайте курс вместе с Яндекс Практикумом

Яндекс Практикум — сервис онлайн-образования, где реально освоить востребованную цифровую профессию и найти стабильную работу. А технологии и команда экспертов помогают довести дело до конца.
Мы обновляем курс «Инженер машинного обучения» и ищем автора курса в команду.
Что предстоит делать: готовить тексты уроков и заданий, составлять тесты и чек-листы, заботиться о том, чтобы материалы увлекали студентов.

Условия сотрудничества — комфортные:
- дополнительный доход, удалёнка, нагрузка от 10 часов в неделю,
- возможность строить программу по своему усмотрению,
- команда, где ценятся как знания, так и мемы.

Узнать подробности и откликнуться

📖 Огромная бесплатная книга: Дискретная математика и ее приложения! (1118 страниц)

🔗 Читать: *клик*

Работа в Data Science занимает первое место в рейтинге профессий с самым большим спросом на рынке до 2025 года по данным Всемирного экономического форума.Бизнесу нужны спецы, которые умеют создавать модели машинного обучения и нейросети.

Если вы хотите войти в эту профессию с нуля, не обязательно сразу покупать дорогие программы обучения — познакомиться с профессией и понять, подходит она вам или нет можно на бесплатном онлайн-вебинаре от karpov courses, который пройдёт 28 января в 19:00 по мск.

На бесплатном практическом вебинаре узнайте, кто такие ML-инженеры, какие навыки и инструменты необходимы для старта в профессии, а также с какими повседневными задачами сталкивается ML-инженер.

Переходите по ссылке, регистрируйтесь на вебинар и получите карьерный гайд в подарок: https://clc.to/erid_2W5zFGwBMyr

Реклама. ООО "КАРПОВ КУРСЫ". ИНН 7811764627.

📕 Think Stats: Бесплатная книга по статистике.

Think Stats - это введение в теорию вероятностей и статистику для Python программистов и датасаентистов.

Каждая глава доступна в виде блокнота Jupyter ноутбука, в котором можно запускать код и решать упражнения ✔

⭐️ Книга доступна по лицензии Creative Commons, что означает, что вы можете свободно читать, копировать и распространять при условии указания ссылки на источник и не использования в коммерческих целях.

▪ Книга
▪Github

@ai_machinelearning_big_data


#freebook #ml #probability #book #opensource #practice #книганедели

📖 Эта статья исследует задачу упрощения текста на уровне документов с использованием LLM!

💡 Авторы отмечают, что большая часть существующих исследований фокусируется на лексических или предложенческих упрощениях, тогда как долгосрочное упрощение документа (Document Simplification, DS) остаётся недостаточно изученным. Проблема усложняется тем, что модели часто путают упрощение с резюмированием, теряя детали и контекст.

🌟 В работе предложен метод ProgDS (Progressive Document Simplification), который разделяет процесс упрощения на три уровня: дискурсный, тематический и лексический. Метод включает пошаговую обработку текста, симулируя человеческий подход к упрощению. Результаты экспериментов показывают, что ProgDS превосходит существующие модели и подходы, обеспечивая как согласованность, так и умеренное упрощение текста. Этот метод открывает новые возможности для работы с длинными документами в задачах генерации текста.

🔗 Читать: *клик*

Lots of math for CS & ML. Looks pretty interesting.

📚 Book

🔥 Anthropic Cookbook — это репозиторий с практическими примерами и рекомендациями по использованию моделей искусственного интеллекта от компании Anthropic!

🌟 В нем содержатся инструкции по взаимодействию с API, настройке моделей и оптимизации запросов для различных задач, включая генерацию текста, анализ данных и обработку естественного языка.

🔐 Лицензия: MIT

🖥 Github

📝 AI reads books: Page-by-Page PDF Knowledge Extractor & Summarizer — скрипт, предназначенный для интеллектуального постраничного анализа PDF-книг!

🌟 Скрипт извлекает ключевые знания с каждой страницы и генерирует прогрессивные резюме через определенные интервалы, что позволяет глубже понять содержание книги, сохраняя при этом ее контекстуальную целостность.

🌟 Основные функции скрипта включают автоматический анализ и извлечение информации из PDF, генерацию резюме с использованием искусственного интеллекта, сохранение знаний в базе данных и форматирование итоговых резюме в Markdown. Кроме того, скрипт обеспечивает цветовую индикацию в терминале для улучшения восприятия и может возобновлять работу с места последней обработки, что делает его удобным инструментом для детального изучения и конспектирования PDF-книг.

🖥 Github

🖥 Эта книга представляет собой введение в операционную систему Linux, ориентированное на начинающих специалистов по кибербезопасности и этическому хакингу!

🌟 Она охватывает базовые концепции работы с Linux и инструменты, которые полезны для тестирования безопасности и проведения хакерских экспериментов.

🔗 Ссылка: *клик*

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:

МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
Devops: t.me/DevOPSitsec
Data Science: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/javatg
Базы данных: t.me/sqlhub
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
Разработка игр: https://t.me/gamedev
Haskell: t.me/haskell_tg
Физика: t.me/fizmat

💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: https://t.me/addlist/mzMMG3RPZhY2M2Iy

😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy

📕 Foundations of Large Language Models

Эта свежая бесплатная книга (и отлично чтиво на выходные) по LLM, которая только что появилась на arXiv.

Более 230 страница!

Книга состоит из четырех частей: предварительному обучению, генеративным моделям, промпт-инжинирингу и методам оптимизации LLM.

Это хорошее введение в большие языковые модели для разработчиков и студентов.

📌 Читать

@ai_machinelearning_big_data


#freebook #book #machinelearning #llm #ml

🧠 Огромный гайд по по обучению с подкреплением

Свежее руководство по обучению с подкреплением, которое очень подробно объясняет всю теорию и детали реализации каждого алгоритма в этой области со множеством примеров и кодом.

Наслаждайтесь чтением)

📌 Читать

@ai_machinelearning_big_data


#ml #reinforcementlearning #rl #guiede

⚡️ LLMs for AGI

В книге подробно обсуждаются фундаментальные проблемы которые необходимо решать для того, чтобы LLM достигли общего интеллекта человеческого уровня.

Отличное чтение для всех, кто интересуется исследованиями в области AGI.

📌 Читать

Lecture Notes on Principal Component Analysis by Laurenz Wiskott

📕 lectures

@datascienceiot

📚 Новогодние праздники продолжаются и пришло время провести крутой розыгрыш.

На этот раз мы разыграем целых 3 места на наших курсах и целую коллекцию актуальных книг для изучения и погружения в машинное обучение и python.

Условия просты:

• подписаться на Pythonl
• подписаться на Поступашки

Победители рандомно получат доступы к курсам или одну из книг, которые перечислены ниже:

— System Design. Машинное обучение. Подготовка к сложному интервью | Сюй Алекс
— Алгебра, топология, дифференциальное исчисление и теория оптимизации для компьютерных наук и машинного обучения
— Глубокое обучение Курвилль Аарон, Гудфеллоу Ян
— Как быть успешным в Data Science.
— Все, что нужно, чтобы понимать математику в одном толстом конспекте

Итоги подведем при помощи бота, который рандомно выберет победителя. Всем удачи ❤️

• подписаться на Pythonl
• подписаться на Поступашки

#Конкурс

Mathematical Foundations of Machine Learning

📓 book

@machinelearning_books

📌Роадмэп воспроизведения o1 от OpenAI с фокусом на RL.

Fundan University совместно с Shanghai AI Laboratory составили дорожную карту, как повторить возможности модели o1 от OpenAI.

Главное – обучение с подкреплением, есть 4 важных условия, которые нужно сделать, чтобы добиться такого же уровня, как у o1:

🟢Инициализация политики
🟢Разработка вознаграждения
🟢Поиск
🟢Обучение

Инициализация политики начинается с предварительного обучения LLM на больших текстовых датасетах. Они должны быть из разных областей и включать помимо классических задач NLP, примеры логического рассуждения, знаний о мире и демонстрировать паттерны навыка сравнения. Это позволит модели освоить базовое понимание языка и навыки рассуждения.

Последующая тонкая настройка на инструкциях преобразует модель из "предсказателя следующего токена" в полноценного агента, который может выполнять задачи. Тут важно добавить в процесс человекоподобных рассуждений через SFT или подсказки, чтобы научить модель исследовать пространство решений. Например, самооценке и самокоррекции, как это происходит у OpenAI o1.

Разработка вознаграждения дает модели четкую и понятную обратную связь не только в конце решения задачи, но и на промежуточных этапах. Правильно спроектированная система с использованием внутренних и внешних функций крайне важна, с ней модель учится лучше.

Поиск - решающий навык для генерации качественных решений на этапах обучения и тестирования. Использование методов Best-of-N, Beam Search, MCTS позволяет получить лучшие из возможных результатов. Например, MCTS подходит для более широкого исследования пространства решений.

Обучение использует данные, полученные в процессе поиска для улучшения политики модели. Чем больше параметров и объем поисковых данных - тем лучше производительность в итоге. По сути, обучение и поиск работают как "суперсила", способствуя развитию модели.

Выводы, сделанные в процессе исследования авторами сводятся к тому, что существующие открытые проекты, которые пытаются воспроизвести o1 - вариации такого метода обучения. Обучение с подкреплением - ключ к созданию "рассуждающей модели".

🟡Arxiv


@ai_machinelearning_big_data

#AI #ML #LLM #Paper #RL

Thoughtful Machine Learning with Python

📚 book

@machinelearning_books

"Поступашки — ШАД, Стажировки и Магистратура", - лучше гайд в мире образования и карьеры.
Канал ведут преподаватели Яндекса, ВШЭ и ШАД.

Внутри:
🔺Слив вопросов с собеса в Яндекс
🔺Как бесплатно вкатиться в айти
🔺Подборка топовых магистратур по Data Science

...и еще море полезнейшего контента. Я жалею, что не нашел этот канал раньше.

Подписывайтесь, потом сами себе спасибо скажете: ⬇️
@postypashki_old

📖 Эта статья посвящена задаче токенизации, которая в данном контексте рассматривается как задача сжатия набора данных до определенного числа символов!

🌟 Исследователи доказали NP-полноту двух вариантов токенизации: первый — это прямая токенизация, при которой создается словарь для представления данных, второй — токенизация снизу вверх, где используется последовательность операций объединения элементов. Оба этих метода могут быть использованы для сжатия данных и определения минимального количества символов для представления данных в сокращенной форме.

🔗 Читать: *клик*

@machinelearning_books

⚡️ Scala for machine learning

📕 Книга

@machinelearning_books

Интересуетесь промышленной робототехникой, хотите начать карьеру, улучшить навыки или роботизировать производство?

Центр развития промышленной робототехники Университета Иннополис объединяет вузы, центры разработки, малый и крупный бизнес.

В ролике руководители и директор Университета Иннополис рассказывают о центре, а новости и тренды отечественной робототехники ищите на канале ЦРР. 

Здесь вы:

🟡 узнаете, где пройти обучение для карьеры в робототехнике;
🟡 поймёте, почему роботизация предприятий — это уже реальность;
🟡 увидите, как реализуются сложные проекты роботизации;
🟡 примете участие в вебинарах, форумах и лекциях;
🟡 сможете поучаствовать в квизах и играх.

Сейчас на канале проходит новогодний розыгрыш подарков от Центра и ведущих робототехнических компаний.

⚡️ Подписывайтесь, чтобы выиграть призы и ничего не пропустить!

Реклама. АНО ВО "УНИВЕРСИТЕТ ИННОПОЛИС". ИНН 1655258235.

🖥 Полный справочник по SQL!

🔗 Ссылка: *клик*

@machinelearning_books

🖥 Учебник по Haskell

Добро пожаловать в мир функционального программирования, строгой типизации, чистых функций, ленивых вычислений и классов типов.

Всё это вы найдёте в замечательном языке программирования Haskell.

Если вы просто где-то слышали о Haskell, и пока это описание ни о чём не говорит, ничего, об этом и о многом другом вы узнаете со страниц этой книги.

Haskell был основан на исходе восьмидесятых, как общий язык для программистов, интересующихся функциональным программированием и ленивой стратегией вычислений.

Это свободный язык, он разрабатывается комитетом разработчиков, программистов, математиков, информатиков, и просто увлечённых программированием людей. Основной компилятор языка GHC разрабатывается в Microsoft Research, но несмотря на это легко доступен в интернет. Вы можете установить его через Haskell Platform (для начинающих) или напрямую с сайта GHC (для гиков и любителей квестов). Ещё нам понадобится редактор с подсветкой синтаксиса Haskell.

Подойдёт простой gedit или более тяжёлые vim и Emacs. Есть и IDE для Haskell. Это Leksah, но пока ещё она совсем юная.

Итак, устанавливаем компилятор GHC подбираем редактор по вкусу и в добрый путь!

📚 Учебник

@haskell_tg

📌Интерактивное руководство по Prompt Engineering для Ollama.

Репозиторий на Github c набором ipynb-туториалов по Prompt Engineering для освоения методов создания оптимальных промптов для модели Qwen2.5-14B.

Руководство разделено на 9 глав с практическими упражнениями и приложением с "продвинутыми" методами. В каждой главе есть "Example Playground" для экспериментов с примерами и наблюдения за изменениями в инференсе Ollama.

Руководство использует модель Qwen 2.5-14B, но все материалы подходят и для модели Qwen 2.5-7B.

▶️Содержание:

Начальный уровень

🟢Глава 1: Базовая структура промпта.
🟢Глава 2: Ясность и прямота.
🟢Глава 3: Назначение ролей.

Средний уровень

🟢Глава 4: Отделение данных от инструкций.
🟢Глава 5: Форматы данных инференса и речь для Ollama.
🟢Глава 6: Рассуждение (шаг за шагом).
🟢Глава 7: Использование примеров.

Продвинутый уровень

🟠Глава 8: Избегание галлюцинаций.
🟠Глава 9: Создание сложных промптов (примеры использования для реальных задач):

🟢Сложные промпты с нуля - чатбот;
🟢Сложные промпты с нуля по юридическим услугам;
🟢Упражнение: Сложные промпты для финансовых услуг;
🟢Упражнение: Сложные промпты для программирования.

Приложение: За пределами стандартных подсказок

🟠Цепочка промптов.
🟠Использование инструментов.


📌Лицензирование: MIT License.


🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #Github #Tutorial #Ollama

📖 Разработчик из DeepMind выпустил бесплатное руководство по обучению нейросетей с использованием методов подкрепления (Reinforcement Learning, RL).

Для специалистов в области машинного обучения (ML) оно станет настоящей находкой для ближайшего вечера:

- Введение — основные принципы RL и примеры применения.
- Value-based RL — базовые концепции метода.
- Policy-based RL — ключевые стратегии оптимизации действий.
- Model-based RL — техники планирования решений.
- Другие аспекты RL — использование в языковых моделях (LLM), пути к созданию общего искусственного интеллекта (AGI), разработка функций вознаграждения, иерархия задач и многое другое.

📌 Читать

@machinelearning_books

В «Золотом Яблоке» можно создавать кастомные подарочные карты с дизайном от YandexART 🎨

«Золотое Яблоко» внедрило Yandex AI Rendering Technology — диффузионную нейросеть, которая создаёт изображения в ответ на текстовые запросы. Теперь она генерирует уникальные подарочные карты по запросам покупателей.
Пока генерация работает на сайте, а в декабре заработает и в приложении. С безопасностью, кстати, всё в порядке: сервис не делает дизайны на спорные темы.

Нейросеть можно использовать и в других сценариях:
генерировать материалы для сайта или брендбука;
придумывать маскотов;
создавать фирменные иконки и логотипы.

Тем, кто собирается решать с помощью нейросетей бизнес‑задачи, рекомендуем попробовать Playground в консоли Yandex Cloud.

🔥 Огромная бесплатная книга по SQL! (500+ страниц!)

🔗 Ссылка: *клик*

@sqlhub

🔥 В репозитории на GitHub с более чем 12 тысячами звезд содержится интерактивная Google-таблица.

В нее нужно вставить свой токен от модели Claude, после чего можно приступить к обучению, выполняя уроки и задания. Помимо стандартных советов о выборе профессии, учебник охватывает такие важные темы, как:

— Форматирование результатов;
— Поэтапный анализ (Pre-cognition);
— Метод Few-shot-промптов;
— Проверка на ложные выводы и многое другое.

Ссылки для доступа:
▪ Github
▪ Docs

@machinelearning_books

🖥 t.me/haskell_tg - Haskell входит в число наиболее востребованных функциональных языков программирования.

В нашем новом канале, вы найдете множество уроков, книг и гайдов для погружения в этот мощный язык с нуля.

Отличная возможность не только выучить новый язык, но и возможность прокачать свои навыки программирования.

t.me/haskell_tg - стоит подписаться!

Calculus 1 for Honours Mathematics

🔗 Book

@machinelearning_books

⚡️ Изучите создание промтов с помощью интерактивного руководства Anthropic по разработке подсказок.

👉 Ссылка на Google sheet

@machinelearning_books

📕 Cache-Oblivious Algorithms and Data Structures

🎓 Читать

@machinelearning_books

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:

МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
Devops: t.me/DevOPSitsec
АНАЛИЗ Данных: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/javatg
Базы данных: t.me/sqlhub
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/golang_interview
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
Разработка игр: https://t.me/gamedev

💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: https://t.me/addlist/mzMMG3RPZhY2M2Iy

😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy

Gaussian Processes for Machine Learning

📚 Книги

@machinelearning_library

Introducing the Cookbook 📕

Коллекция гайдов и руководств с открытым исходным кодом для создания блюд с помощью AI SDK.

📚 Книги

@machinelearning_library

🔥 Крутая шпаргалка по машинному обучению!

В этой шпаргалке представлен весь мир машинного обучения. На ней выделены следующие ключевые направления:

⭐ Регрессия: OLS, SVM, Random Forest
⭐ Классификация: Naive Bayes, Decision Tree, нейронные сети
⭐ Кластеризация: K-Means, DBSCAN
⭐ Компьютерное зрение: CNN, YOLO, GANs
⭐ NLP/LLM: GPT, BERT, Word2Vec
⭐ Рекомендательные системы, прогнозирование

@machinelearning_books

A Brief Introduction to Neural Networks

📕 Book

@machinelearning_books

Machine Learning tips and tricks cheatsheet

Ш

📌Machine Learning cheatsheet

Шпаргалка по ML от Стэнфорда, здесь даны метрики классификации, метрики регрессии, описывается кросс-валидация, регуляризация и не только

📎 Шпаргалка
🟡 PDF-версия

@machinelearning_interview

Вот что ждет в Т-Банке ML-разработчиков, кроме ДМС, крутых офисов и других плюшек:

▪️Актуальный стек. Здесь следят за трендами и быстро внедряют новое.
▪️Улучшения может предложить каждый. Здесь знают, как устроен продукт, и влияют на его развитие.
▪️Прозрачная система роста. Вы всегда будете знать, какие навыки нужно подтянуть и как получить повышение.
▪️Вы окажетесь среди профессионалов, у которых можно многому научиться. А если захотите — можете стать ментором для младших коллег.

Больше о вакансиях ML-разработчиков — здесь.

Reinforcement Learning An Introduction, 2nd Edition

📕 Book

@machinelearning_books

🤖 Data Scientist / ML-инженер в Х5 Tech

В команде Х5 вас ждет:
— конкурентная зарплата, удаленка или гибридный формат;
— амбициозные проекты вроде собственной платформы по работе с нейросетями и автоматического ценообразования;
— прокачка навыков в корпоративном университете, митапы, конференции и общение с топами.

В зависимости от выбранной команды вы будете:
— генерировать и тестировать гипотезы для экономии ресурсов компании;
— принимать решения, основанные на данных, — например, в какой продукт вложиться для привлечения новых покупателей;
— заниматься end2end-разработкой моделей;
— разрабатывать генеративные языковые модели и технологии компьютерного зрения.

Ожидаем, что вы:
— работаете в сфере Data Science, Data Analysis, Machine Learning от трех лет;
— знаете Python;
— владеете навыками по выбранному направлению: математическая статистика и теория вероятностей для аналитики, Spark для ML, работа с нейросетями для трека ИИ.

➡️ Откликнуться: @oooozhegovaaaa

20 Python Libraries You Aren't Using But Should

📕 Book

@machinelearning_books

🤖Вы слышали о ChatGPT, но не знаете, как он работает? А как языковые модели меняют мир, в котором мы живём?

Если вы хотите разобраться в этом и узнать, как применять эти технологии в своих проектах, не пропустите наш бесплатный открытый урок 20 ноября в 18:00 мск!

⚡️На вебинаре:

-погрузимся в историю развития языковых моделей от базовых концепций до современных LLM (Large Language Models), таких как ChatGPT.

-Вы узнаете, какие методы и технологии стоят за этими интеллектуальными системами и как их можно использовать для решения задач Natural Language Processing (NLP).

Спикер Мария Тихонова – PhD Computer Science, Senior Data Scientist в SberDevices и преподаватель ВШЭ.

👉Регистрация: https://vk.cc/cE9yoe?erid=LjN8KBhVk 

Встречаемся в преддверии старта курса «Natural Language Processing (NLP)». Все участники вебинара получат специальную цену на обучение!

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

📌 Практические упражнения и дополнительные материалы к книге "Build a Large Language Model (From Scratch)"

Репозиторий на Github c прикладными упражнениями, ноутбуками с кодом для разработки, предварительной подготовки и тонкой настройке LLM-модели типа GPT по одной из лучших книг о построении LLM с нуля.

▶️ О книге:
В книге вы узнаете и поймете, как работают большие языковые модели изнутри, создавая собственную LLM шаг за шагом, c подробным объяснением каждого этапа понятным языком, диаграммами и примерами.

Метод, описанный в книге демонстрирует подход, используемый при создании крупных фундаментальных моделей, таких как те, что лежат в основе ChatGPT.

В репозитории к каждой главе книги соответствуют несколько (3-4) прикладных примеров в формате ipynb или в виде исполняемого python-скрипта. Код ориентирован на широкую аудиторию, разработан для запуска на обычных ноутбуках и не требует специализированного оборудования.

▶️Главная ценность репозитория - дополнительные практические материалы, которые помогут глубже изучить тонкости и нюансы процесса настройки и обучения LLM:

Настройка

🟢Советы на настройке Python
🟢Установка пакетов и библиотек Python
🟢Руководство по настройке среды Docker

Глава 2: Работа с текстовыми данными

🟠Сравнение различных реализаций Byte Pair Encoding (BPE)
🟠Понимание разницы между embedding и линейными слоями
🟠Dataloader Intuition с простыми числами

Глава 3: Код механизмов внимания

🟢Сравнение эффективных реализаций Multi-Head Attention
🟢Буферы PyTorch

Глава 4: Реализация модели GPT с нуля

🟠Анализ FLOPS

Глава 5: Предварительное обучение на немаркированных данных

🟢Альтернативная загрузка весов с HuggingFace с использованием Transformers
🟢Предварительное обучение GPT на наборе данных проекта Gutenberg
🟢Добавление дополнительных функций в цикл обучения
🟢Оптимизация гиперпараметров для предварительного обучения
🟢Создание пользовательского интерфейса для взаимодействия с LLM
🟢Преобразование GPT в Llama
🟢Llama 3.2 с нуля
🟢Memory-efficient загрузка модели

Глава 6: Тонкая настройка для классификации

🟠Дополнительные эксперименты по точной настройке различных слоев и использованию более крупных моделей
🟠Тонкая настройка различных моделей на основе датасета обзоров фильмов IMDB объемом 50 тыс. строк.
🟠Создание пользовательского интерфейса для взаимодействия с классификатором спама на основе GPT

Глава 7: Тонкая настройка для следования инструкциям

🟢Утилиты набора данных для поиска близких дубликатов и создания записей в пассивном залоге
🟢Оценка ответов на инструкции с использованием API OpenAI и Ollama
🟢Создание датасета для точной настройки инструкций
🟢Улучшение набора данных для точной настройки инструкций
🟢Создание набора данных предпочтений с помощью Llama 3.1 70B и Ollama
🟢DPO для процедуры LLM Alignment
🟢Создание пользовательского интерфейса для взаимодействия с моделью GPT с тонкой настройкой инструкций


🖥Github


@ai_machinelearning_big_data

#AI #ML #LLM #Tutorial #Github

🖥 Книга по работе с SQL! (62 главы!)

🔗 Ссылка: *клик*

@sqlhub

Financial Statement Analysis with Large Language Models (LLMs)

📕 Book

@machinelearning_books

📕 Machine Learning for Absolute Beginners

▪️Книга

@machinelearning_books

⚡️Стали доступны новые модели YandexGPT

Две версии Pro и Lite предлагают более точные ответы, работают с расширенным контекстом и лучше обрабатывают длинные тексты. Алиса с опцией «Про» станет первым сервисом с YandexGPT 4. Алексей Долотов, руководитель продуктов ML в Yandex Cloud, и Андрей Бут, руководитель команды YandexGPT Alignment рассказали в новой статье на Хабре про обучение YandexGPT 4 и ее отличия от предыдущих версий.

▪️ Статья

@machinelearning_books

🖥🖥 Python tutorials for SQL machine learning

▪ Github

@machinelearning_books

💡 Yandex ML Prize 2024: кто получил награду в этом году

Яндекс в шестой раз наградил исследователей, которые развивают ИИ и машинное обучение. Вот некоторые из лауреатов:

Николай Никитин (ИТМО) — эксперт в автоматическом машинном обучении и генеративном дизайне, развивает open-source экосистему инструментов для применения AI в науке. Его работы делают AI более доступным и удобным для исследователей, автоматизируя сложные задачи и ускоряя процессы.

Александр Колесов (Сколтех) занимается алгоритмами на базе оптимального транспорта, которые помогают нейросетям передавать стиль и содержание при переносе данных из одной области в другую – например, при генерации изображений по тексту.

Алексей Скрынник (AIRI) разрабатывает алгоритмы для многоагентной навигации, где роботы или другие агенты могут взаимодействовать автономно даже при отключении связи.

Помимо премии, лауреаты получат доступ к Яндекс 360 и грант на использование Yandex Cloud для выполнения объёмных вычислений и обработки данных.

Princeton's "Machine Learning" lecture notes

@machinelearning_books

NotebookLlama: An Open Source version of NotebookLM

📚 Book

@machinelearning_books

An Infinite Descent into Pure Mathematics

📚 Book

@machinelearning_books

Tutorial on Diffusion Models for Imaging and Vision

📚 Book

@machinelearning_books

LLM Engineer's Handbook: Master the art of engineering Large Language Models from concept to production.

🖥 Github

@machinelearning_books

NLP Researchers, отметьте в календаре 26 октября🌟

Всего за один день вы сможете пройти все этапы отбора, познакомиться с командой GigaCode и получить оффер.
Мы создаем AI ассистента разработчика – GigaCode. Наши модели помогают писать 80к строк кода ежедневно! Решаем задачи по различным подходам в NLP и PLP, проводим ресёрч-эксперименты и обучаем новые SOTA LLM.
В работе используем: NLP, DL, ML, Python, Pytorch, Transformers, FSDP, Deepspeed.

Чем предстоит заниматься?
✅ реализовывать дизайн экспериментов, формулировать гипотезы для улучшения NLP/PLP моделей и алгоритмов, планировать исследовательские эксперименты с выводами.
✅ проводить эксперименты, писать код, подготавливать датасеты и бенчмарки, проводить замеры и анализ результатов.
✅ обучать модели на кластере, включая обучение моделей с нуля и дообучение опенсорс моделей.

Если вы амбициозны и готовы к новым вызовам в PLP и/или NLP направлениях, регистрируйтесь на One Day Offer!

Будем делать важнейшие исследования вместе!💚

💡 Ultimate Guide to Fine-Tuning LLMs

📚 Книга

@machinelearning_books

Introduction to Data Science

📓 Book

@machinelearning_books

⚡Разбираем специфику области NLP и задачи, которые можно решать с помощью NLP-методов на открытом уроке в OTUS!

🔥23 октября в 18.00 мск. приглашаем на бесплатный вебинар "Современные применения Natural Language Processing", на котором разберем:

- основные направления области Natural Language Processing;
- что делает эту область одной из самых востребованных в Data Science сегодня;
- какие задачи сегодня решают с помощью методов NLP и что стоит за успехами в этой области.

👉Регистрация. Вступительный тест https://otus.pw/mzrh/?erid=LjN8KBQXP

Спикер: Мария Тихонова, Senior Data Scientist, преподаватель ВШЭ, Otus Certified Educator

Вебинар приурочен к старту курса Natural Language Processing (NLP). На курсе изучаются современные подходы и модели, которые на данный момент являются стандартом в области. 

#реклама
О рекламодателе

Практическая статистика для специалистов Data Science

📖 Книга

@machinelearning_books

Mathematics Data Book

📖 Книга

@machinelearning_books

Стать Data-инженером за 120 часов

14 октября в Слёрме стартует поток курса «Data-инженер»: 88 часов практики и 32 часа теории.

Будем работать с большими данными:

✔️ Сбор, хранение и обработка
✔️ Визуализация и отчетность
✔️ Интеграция

⚙️ Освоим инструменты и технологии для аналитики и обработки данных и научимся эффективно их подбирать под задачу: PythonSQL, PostgreSQL, Сlickhouse, MongoDB, HDFSHadoop, Spark, Apache Kafka, Redis, Airflow, NiFi, dbt, Metabase.

⚡️Смотреть программу подробнее и оставить заявку по ссылке – на сайте⚡️

Prompt Engineering Techniques: Comprehensive Repository for Development and Implementation 🖋️

📓 Github

@datascienceiot

На YouTube выложили доклады с недавней Practical ML Conf 2024. Рекомендуем обратить внимание на выступление Саввы Степурина, где он рассказал о том, как рекомендовать пользователям неизвестный им контент. Савва детально описал переход от традиционных фильтров к отдельным моделям выбора кандидатов и ранжирования, предложил особые методы отбора кандидатов, а также продемонстрировал результаты их применения.

Ниже еще пару интересных тем:

⚙️ Обучение языковых моделей работе с кодом. Директор лаборатории машинного обучения в Yandex Platform Engineering раскроет подробности этого процесса и объяснит, почему было решено предсказывать стейтменты и как это улучшает качество онлайн-метрик.

⚙️ Создание виртуального рассказчика для синтеза аудиокниг в Яндексе. В этом выступлении рассмотрели процесс интеграции длительного контекста в низкоресурсную модель реального времени и затронуты особенности использования диффузионных моделей.

Конференция включает также доклады о бенчмаркинге, синтетических данных, оптимизации RAG-систем, VLM, рекомендательных системах и не только. Видео всех докладов доступны по ссылке.

⚡️ Полезные шпаргалки по математике

- Шпаргалки по ТРИГОНОМЕТРИИ
- Шпаргалки по ТЕОРИИ ВЕРОЯТНОСТЕЙ
- Шпаргалки по ПРОИЗВОДНОЙ
- Шпаргалки по ГЕОМЕТРИИ
- Шпаргалки по ТЕКСТОВЫМ ЗАДАЧАМ

@data_math

⚡️ Шпаргалка по статистике

Если у вас предстоят собеседования или экзамены по статистике в университете, вот полезная полная шпора. В ней рассмотрены ключевые понятия, такие как выборка, распределение, мода, медиана и другие.

Также приведено практическое занятие по статистическому наблюдению на примере производственной компании.

@machinelearning_books

Introduction to Machine Learning with Python

📖 Книга

@machinelearning_books

MM1.5: Methods, Analysis & Insights from
Multimodal LLM Fine-tuning

📖 Paper

@machinelearning_books

Advanced Programming in the UNIX Environment

📓 Course

@datascienceiot

⚡️ 10 самых часто используемых loss functions в машинном обучении

@machinelearning_books

📌 Лаконичная шпаргалка по методам энкодинга категориальных признаков

@machinelearning_interview

📚 Анализ данных на компьютере

Описание: В учебном пособии без лишнего формализма излагаются основные идеи и понятия математической статистики, необходимые на практике для анализа данных.

📌Книга

#ru #АнализДанных #Статистика

🖥 Большой список вопросов и ответов по Python для подготовки к собеседованию

Собираетесь на собеседование на позицию Python Developer? Тогда обратите внимание на эту шпаргалку, где собраны ответы на более чем 100 вопросов, которые часто задают на интервью. Разработчики тщательно подготовили эти материалы, и уверены, что они помогут вам лучше подготовиться к вопросам.

Эти вопросы покрывают практически все темы Python + затрагивают азы Computer Science: алгоритмы, структуры данных и т.д.

▶️ Вопросы и ответы

@machinelearning_interview