Generative AI

🔥 Огромный курс по созданию Больших Языковых Моделей с нуля!

🔗 Ссылка: *клик*

#курс #machinelearning

🔥 Курс Математика Машинного обучения: Что такое тензоры.

📌 Видео

@ai_generative

⚡️ Google запустил бесплатный пятидневный курс по нейросетям (генеративному ИИ).

Курс включает подкасты, текстовые материалы и практические задания, которые помогут разобраться в следующих темах:

— Основах LLM: от трансформеров до методов тонкой настройки;
— Внедрении и использовании векторных хранилищ/баз данных;
— Создании и работе с ИИ-агентами;
— Специализации LLM для конкретных областей знаний, таких как медицина;
— MLOps для генеративного ИИ.

🔗 Курс

🌟 cuPyNumeric: замена NumPy от NVIDIA.

По мере роста объемов данных и сложности вычислений, вычисления на Python и NumPy, основанные на CPU, нуждаются в ускорении для выполнения современных исследований.

cuPyNumeric разработана, чтобы стать заменой библиотеки NumPy, предоставляя сообществу Python распределенные и ускоренные вычисления на платформе NVIDIA. cuPyNumeric позволяет масштабировать вычисления без изменения кода проектов с одного CPU до суперкомпьютеров с несколькими GPU и вычислительными нодами.

Библиотека построена на Legate, поддерживает родной Python и интерфейс NumPy. cuPyNumeric доступен из conda (версия не ниже 24.1) в legate channel. На системах с GPU пакеты, поддерживающие графические ускорители будут выбраны автоматически во время установки.

Пример эффективности cuPyNumeric - обработка 10 ТБ микроизображений многоракурсной микроскопии в виде одного массива NumPy за один день с визуализаций в режиме реального времени.

▶️Установка и тест на примере из репозитория:

# Create new conda env
conda create -n myenv -c conda-forge -c legate cupynumeric

# Test via example from repo
$ legate examples/black_scholes.py
Running black scholes on 10K options...
Elapsed Time: 129.017 ms

📌Лицензирование: Apache 2.0 License.


🟡Статья
🟡Документация
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #NumPy #NVIDIA #cuPyNumeric

📌Книга "Обучение с подкреплением: Основы"

Хороших книг по обучению с подкреплением (Reinforcement Learning, RL) уже выпущено достаточно, однако есть пробел между продвинутыми учебниками, в которых основное внимание уделяется одному или нескольким аспектам, и более общими книгами, в которых предпочтение отдается удобочитаемости, а не сложности.

Авторы книги, люди с опытом работы в CS и инжиниринга, подают тему RL в строгом и академическом стиле. Книга основана на конспектах лекций для углубленного курса бакалавриата, который преподается авторами в Тель-Авивском университете.

К этой книге дополнительно идет брошюра с упражнениями и экзаменационными вопросами, которые помогут освоить материал книги на практике. Эти упражнения разрабатывались на протяжении нескольких лет.

Математическая модель книги - Марковский процесс принятия решений (Markov Decision Process, MDP). Основное внимание уделяется: последовательному принятию решений, выбору действий, долгосрочному эффекту от этих действий и разница между немедленным вознаграждением и долгосрочной выгодой.

Тематически книга состоит из двух частей – "Планирование" и "Обучение".

▶️ Раздел "Планирование" - основы принятия оптимальных решений в условиях неопределенности в соответствии с MDP.

🟢Глава 2. Обоснование модели MDP и ее связь с другими моделями.
🟢Глава 3. Основные алгоритмические идеи в детерминированной постановке.
🟢Глава 4. Цепи Маркова, на которых основана MDP.
🟢Глава 5. Модель MDP с конечным горизонтом и фундаментальный подход к динамическому программированию.
🟢Глава 6. Дисконтированная настройка с бесконечным горизонтом.
🟢Глава 7. Эпизодическая настройка.
🟢Глава 8. Альтернативный подход к решению MDP с использованием формулировки линейного программирования.

▶️ Раздел "Обучение" - принятие решений, когда модель MDP неизвестна заранее.

🟠Глава 9. Описание и мотивация модели обучения и ее связь с альтернативами при принятии решений.
🟠Глава 10. Подход, основанный на моделях, при котором агент явно изучает модель MDP на основе своего опыта и использует ее для принятия решений по планированию.
🟠Глава 11. Альтернативный подход без использования моделей, при котором решения принимаются без явного построения модели.
🟠Глава 12. Изучение приблизительно оптимальных решений крупных задач с использованием аппроксимации функции стоимости.
🟠Глава 13 Решение крупных задач с использованием методов градиентной политики.
🟠Глава 14. Особый случай на примере игровых автоматов, как MDP с единым состоянием и неизвестными наградами, и онлайн-характер принятия решений.


🟡Сайт учебника
🟡Читать


@ai_machinelearning_big_data

#AI #ML #RL #MDP #Book

🌟 RLtools: самая быстрая библиотека глубокого обучения с подкреплением для задач непрерывного управления.

RLtools - библиотека глубокого обучения с подкреплением (Deep Reinforcement Learning, DRL) с высокой скоростью работы для разработки и исследования алгоритмов DL.

RLtools написана на C++ и позволяет проводить обучение и вывод моделей DRL на РС, мобильных устройствах и embedded-системах. В экспериментальном тестировании, библиотека обучила алгоритм RL непосредственно на микроконтроллере.

Библиотека поддерживает алгоритмы DRL: TD3, PPO, Multi-Agent PPO и SAC и предлагает набор примеров, демонстрирующих использование этих алгоритмов для решения задач управления на примерах управления маятником, гоночным автомобилем и роботом-муравьем MuJoCo.

Код реализации алгоритмов:

🟢TD3 - Pendulum, Racing Car, MuJoCo Ant-v4, Acrobot;
🟢PPO - Pendulum, Racing Car, MuJoCo Ant-v4 (CPU), MuJoCo Ant-v4 (CUDA);
🟢Multi-Agent PPO - Bottleneck;
🟢SAC - Pendulum (CPU), Pendulum (CUDA), Acrobot.

Благодаря оптимизации и использования аппаратного ускорения RLtools в 76 раз быстрее других библиотек. Например, на MacBook Pro с M1 RLtools может обучить модель SAC (управление маятником) за 4 секунды.

Библиотеку можно использовать на Linux, macOS, Windows, iOS, Teensy, Crazyflie, ESP32 и PX4.

RLtools предоставляет Python API, с которым можно использовать библиотеку из Python-кода. API RLtools совместим с библиотекой симуляции сред Gym.

Проекты, использующие RLtools:

🟠Научиться летать за секунды (Youtube, IEEE Spectrum);

🟠Идентификация системы на основе данных для квадрокоптеров с задержкой двигателя (Youtube, Project Page).

▶️Запуск на примере обучения политике с помощью PPO:

# Clone and checkout
git clone https://github.com/rl-tools/example
cd example
git submodule update --init external/rl_tools

# Build and run
mkdir build
cd build
cmake .. -DCMAKE_BUILD_TYPE=Release
cmake --build .
./my_pendulum

📌Лицензирование: MIT License.


🟡Документация
🟡Arxiv
🟡RLTools Design Studio
🟡Demo
🟡Zoo Experiment Tracking
🟡Google Collab (Python Interface)
🟡Сообщество в Discord
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #DL #RTools #Github

Я знаю, сколько времени может уйти на поиск нужной информации в Telegram, поэтому регулярно делюсь полезными ссылками.

Сегодня подготовили для вас целую подборку каналов в
сфере “IT и Технологии” 📚

Тут вы точно найдете ответы на многие свои вопросы. А главное - вам не придется, тратить на поиски информации несколько часов 😊 👇

Поэтому переходите, подписывайтесь и пользуйтесь на здоровье 📂😉

Хотите подборку?

🔥 pytorch_tabular — это высокоуровневый фреймворк на основе PyTorch, созданный для работы с табличными данными!

🌟 Он упрощает обучение моделей для таких данных, как таблицы или структурированные датасеты, и поддерживает несколько популярных архитектур нейросетей для табличных данных. Фреймворк позволяет гибко настраивать модели с помощью конфигурационных файлов и интегрируется с библиотеками, такими как PyTorch Lightning.

🔐 Лицензия: MIT

🖥 Github

Я знаю, сколько времени может уйти на поиск нужной информации в Telegram, поэтому регулярно делюсь полезными ссылками.

Сегодня подготовила для вас целую подборку каналов в
сфере “ИТ , ИИ“ 🔥

Тут вы точно найдете ответы на многие свои вопросы. А главное - вам не придется, тратить на поиски информации несколько часов 👇

Поэтому переходите, подписывайтесь и пользуйтесь на здоровье

Хотите в подборку?

🔥 Курс «Основы искусственного интеллекта» — Python, машинное обучение, глубокое обучение, наука о данных!

🕞 Продолжительность: 10:22:25

🔗 Ссылка: *клик*

#курс #ai #datascience #deeplearning

freecourses

🔥 Курс — генеративный ИИ для разработчиков!

🌟 В этом комплексном курсе по генеративному ИИ вы глубоко погрузитесь в мир генеративного ИИ, изучив ключевые концепции, такие как большие языковые модели, предварительная обработка данных и продвинутые методы, такие как тонкая настройка и RAG. С помощью практических проектов с такими инструментами, как Hugging Face, OpenAI и LangChain, вы создадите реальные приложения от резюмирования текста до пользовательских чат-ботов. К концу вы освоите конвейеры ИИ, векторные базы данных и методы развертывания с использованием таких платформ, как Google Cloud Vertex AI и AWS Bedrock.

🕞 Продолжительность: 21:11:20

🔗 Ссылка: *клик*

#курс #machinelearning #ai

@ai_generative

🔥 Oasis: первая играбельная игра, созданная искусственным интеллектом!

🌟 Oasis генерирует кадры на основе ваших вводов с клавиатуры. Вы можете двигаться и прыгать, разбивать блоки, строить и исследовать совершенно новую карту в каждой игре!

🔗 Попробовать можно здесь: *клик*

@ai_generative

🖥 Model Memory Utility — полезная утилита, которая помогает оценить использование памяти различными моделями машинного обучения

🌟 Инструмент предоставляет визуализацию и информацию о том, как загружаются и обрабатываются модели на CPU и GPU, что помогает разработчикам оптимизировать память и производительность своих моделей. Это полезно для выбора наиболее подходящих конфигураций для обучения и развертывания моделей

🔗 Ссылка: *клик*

@dataanlitics

🎢🎢 Тестирование Generative AI приложений

С появлением генеративного искусственного интеллекта произошел очень большой скачек в развитии ИИ и сейчас уже можно увидеть тенденцию и обширную, непокрытую область тестирования ИИ.

В этом видосе спикер расскажет, как происходит оценка качества работы роботов, автопилотов в автомобилях и чатботов на базе Gen AI.

Смотреть

#видео

👆Шпаргалка по пошаговой работе над ИИ-проектом👆

Как LLM генерируют текст

@ai_generative

⚛️ Исследователи из MIT разработали новый инструмент на основе генеративного ИИ, предназначенный для анализа сложных табличных данных в базах данных

Этот инструмент, называемый GenSQL, основан на языке программирования SQL и позволяет пользователям выполнять сложные статистические анализы без глубокого понимания внутренних механизмов. GenSQL может использоваться для прогнозирования, обнаружения аномалий, заполнения пропущенных значений, исправления ошибок и создания синтетических данных. Система интегрирует табличный набор данных и генеративную вероятностную модель ИИ, которая может учитывать неопределенность и корректировать процесс принятия решений на основе новых данных.

Одно из основных преимуществ GenSQL заключается в его способности обрабатывать сложные запросы, комбинируя анализ данных и модели. Например, система может определить вероятность того, что разработчик из Сиэтла знает язык программирования Rust, учитывая не только корреляцию между столбцами в базе данных, но и более сложные зависимости. Кроме того, вероятностные модели, используемые GenSQL, являются прозрачными и аудируемыми, что позволяет пользователям видеть, какие данные используются для принятия решений и получать оценку уровня неопределенности.

В ходе исследования GenSQL был сравнен с другими популярными методами, основанными на нейронных сетях, и показал значительно более высокую скорость и точность. Исследователи планируют продолжить разработку инструмента, сделав его более доступным и мощным, а также расширить его возможности для обработки больших объемов данных и обработки естественного языка, чтобы в конечном итоге создать эксперта по ИИ, подобного ChatGPT, для анализа баз данных.

📌 Источник

#базыданных #mit

@ai_machinelearning_big_data

⚡️ Microsoft запустила новый курс по генеративному ИИ!

Бесплатный курс из 18 уроков доступен на Github и научит вас всему, что вам нужно знать, чтобы начать создавать приложения с генеративным ИИ

▪ Github

@ai_generative

🔥Microsoft просто, без громкого анонса (опять!),выпустили новый интересный способ обучения моделей "Instruction Pre-Training, модели и датасеты.

При предварительном обучении с нуля модель 500M, обученная на 100B токенах, достигает производительности модели 1B, предварительно обученной на 300B токенах.

Доступны:
👀 Датасеты
🦙Llama 3 8B с качеством, сравнимым с 70B!
🔥 Общие модели + специализированные модели (медицина/финансы)

▪abs: https://arxiv.org/abs/2406.14491
▪models: https://huggingface.co/instruction-pretrain

@ai_machinelearning_big_data

Попробуйте это:

1. Перейдите по ссылке https://huggingface.co/spaces/okaris/omni-zero
2. Прикрпите фото (с вашим партретом) в раздел "Композиция и стиль"
3. Добавьте свою фотографию в раздел "Индивидуальное изображение"
4. Нажмите "Создать".

Это самая большая коллекция хаков для промптов ChatGPT!

Промпт-инженеры вручную собрали более 15 тысяч промптов для взлома и усиления возможностей нейронной сети.

С этими промптами ChatGPT сможет генерировать контент без ограничений, обсуждать любые темы без цензуры и давать ответы, которые обычно запрещены OpenAI. Кроме того, здесь вы найдёте множество хаков для повышения умности и точности нейронной сети.

Максимально используем все возможности ChatGPT и раскрываем её потенциал здесь.

Очень полезная штука длоя работы с новыми моделями.

https://github.com/verazuo/jailbreak_llms

⚡️ Google just dropped Code Gemma 1.1 7B IT 🔥

СЮРПРИЗ: Google только что выпустила Code Gemma 1.1 7B IT 🔥

Модели постепенно становятся все совершеннее в генерации кода .

Значительный достигнут для C#, Go, Python 🐍

Вместе с версией 7B они также выпустили обновленную базовую модель 2B.

Наслаждайтесь!

• 7B: https://huggingface.co/google/codegemma-1.1-7b-it
• 2B: https://huggingface.co/google/codegemma-1.1-2b
• Report: https://storage.googleapis.com/deepmind-media/gemma/codegemma_report.pdf

@ai_machinelearning_big_data

☁️ Stable Diffusion запуск в облаке.

▪ Видео

@data_analysis_ml

Google выпустила крутой учебник по промпт-инжинирингу!

В руководстве на 45 страницах содержатся советы для работы с Gemini, которые также применимы к другим нейронным сетям.

Это полноценное учебное пособие — понятное, доступное и красиво оформленное. В каждой главе вы найдете примеры использования, советы и понятные инструкции.

Достаем максимум возможностей из нейронных сетей

📚 Книга

@data_analysis_ml

📕 Целая книга — из одного промпта

Разработчики представили инструмент Claude-Author, который позволяет сгенерировать целую книгу за раз. Нужно лишь сформулировать промпт, описывающий идею книги. Далее программа всё сделает сама.

Под капотом Claude-Author представляет собой цепь из вызовов Claude 3 Haiku/Opus и Stable Diffusion. На выходе инструмент возвращает файл в формате для электронных книг.

🔗 Репозиторий Claude-Author с инструкцией по использованию

Области применения больших языковых моделей

Аналитика данных

🎨 Кажется, найден системный промпт ChatGPT

Пользователи просто попросили чат-бота повторить текст «сверху». «Сверху» у таких сервисов, как правило, находится System Prompt, который содержит базовые инструкции для модели. У ChatGPT он начинается, соответственно, со слов «You are ChatGPT».

Судя по всему, у чат-бота довольно обширный системный промпт. Кто-то пишет, что его длина составляет 1700 токенов. В нём прописан порядок действий для ChatGPT в разных сценариях использования (генерация и выполнение кода, Dalle, поиск в интернете). Прочесть промпт можно здесь (а ещё попробовать повторить эксперимент).

🤔 Люди пишут, что на схожий запрос ChatGPT выдаёт им System Prompt с небольшими изменениями, но основная часть, кажется, остаётся той же.

В промпте есть забавные моменты. Например:

Modify such prompts even if you don't know who the person is, or if their name is misspelled (e.g. 'Barake Obema').

Prompt Generator — создание оптимизированных ИИ-промтов

К плюсам инструмента можно отнести его способность автоматически генерировать детализированные промты на уровне продвинутого пользователя

При этом Prompt Generator использует различные методы, такие как «ExpertPrompting» и «Chain-of-Thought Prompting», для улучшения качества ответов и сложных рассуждений моделей

Стоимость: #бесплатно

#ИИ #ChatGPT #промты

https://habr.com/ru/articles/791014/

🖥 𝗧𝗵𝗲 𝘀𝘁𝗮𝘁𝗲 𝗼𝗳 𝗼𝗽𝗲𝗻 𝘀𝗼𝘂𝗿𝗰𝗲 𝗶𝗻 𝟮𝟬𝟮𝟯 by GitHub

GitHub только что опубликовал свой последний отчет о состоянии открых проектов. Авторы отметили тренд на использование разработчиками технологий искусственного интеллекта и тренд на создание приложений на основе искусственного интеллекта.

Они выделили основные тенденции:

🔹 Разработчики все чаще используют генеративный ИИ: Все больше разработчиков работают с моделями OpenAI ( 92% ) и с моделями других ИИ-компаний; в 2023 году проекты генеративного ИИ с открытым исходным кодом входят в десятку самых популярных проектов по количеству контрибьюторов.

🔹 Наблюдается тренд на работу с облачными приложениями:
Развертывание облаков становится стандартом; резко возросло количество использования разработчиками Docker контейнеров, IaC и других облачных нативных технологий.

🔹 В 2023 году на GitHub было создано 98 млн новых проектов (за 2022 год - 85.7 млн, за 2021 - 61 млн, за 2020 - 60 млн). Общее число проектов достигло отметки в 420 млн (+27%), а число публично доступных репозиториев - 284 млн (+22%).

🔸 За год добавлено около 65 тысяч новых проектов, связанных с машинным обучением, это на 248% больше, чем в прошлом году. Число AI-проектов за год выросло на 148%.

🔸 Аудитория GitHub за год выросла на 20.2 млн пользователей (+26%) и теперь достигает 114 млн (в прошлом году было 20.5 млн, позапрошлом - 73 млн, три года назад - 56 млн). На первом месте по числу разработчиков находится США, на втором - Индия, на третьем - Китай, на четвёртом Бразилия, на пятом - Великобритания, на шестом - РФ, на седьмом Германия. К 2027 году Индия обгонит США как крупнейшее сообщество разработчиков на GitHub

🔸Javascript остается самым популярным язком. Второе место сохраняет за собой Python.Популярность TypeScript выросла на 37 %. и он вытеснил на четвёртое место язык Java. 5, 6 и 7 места удержали за собой языки С#, C++ и PHP. На восьмое место поднялся язык С, который вытеснил на девятое место Shell. Десятое место занял Go.

🔸 𝗥𝘂𝘀𝘁 растет быстрее всех остальных языков в этом году (рост на 40 % по сравнению с предыдущим годом).

🔸 𝟰.𝟯 миллиона открытых и приватных репозиториев используют 𝗗𝗼𝗰𝗸𝗲𝗿𝗳𝗶𝗹𝗲𝘀. Это является следcтвием роста использования Terraform и других облачных нативных технологий, который мы наблюдали в течение последних нескольких лет.

🔸 Сингапур занял первое место по количеству новых разработчиков на душу населения.

📌 Полный отчет

ai_machinelearning_big_data