Математика Дата саентиста

Неопределённый интеграл

Неопределённый интеграл. Свойства неопределённых интегралов.
Замена переменной в неопределённом интеграле.
Интегрирование по частям в неопределённом интеграле. Часть 1
Интегрирование по частям в неопределённом интеграле. Часть 2
Интегрирование простейших рациональных дробей
Примеры интегрирования простейших рациональных дробей III и IV типов
Сведения из алгебры, необходимые для интегрирования рациональных дробей
Интегрирование правильных рациональных дробей (корни знаменателя действительные и простые)
Интегрирование правильных рациональных дробей (корни знаменателя действительные и кратные)
Интегрирование правильных рациональных дробей (корни знаменателя комплексные некратные)

⭐️ источник

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:

МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/pythonlbooks
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
Devops: t.me/DevOPSitsec
Data Science: t.me/datascienceiot
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/javatg
Базы данных: t.me/sqlhub
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
Разработка игр: https://t.me/gamedev
Haskell: t.me/haskell_tg

💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: https://t.me/addlist/mzMMG3RPZhY2M2Iy

😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy

🎲 Вероятностные модели и функции потерь. Машинное обучение полный курс. Урок 8

- Видео
- Урок 1 / Урок2 / Урок3 / Урок4 / Урок5 /
- Урок6/ Урок7
- Colab
-Полный курс

#ml #math #mlmath #probability #машинноеобучение

Proof by emoji

🎓 Видеокурс Стэнфорда по обучению с подкреплением, состоящий из 16 лекция, является незаменимым ресурсом для всех, кто хочет освоить системы принятия решений - комплексный, практический и ориентированный на будущее.

🔗 Смотерть: https://youtube.com/playlist?list=PLoROMvodv4rN4wG6Nk6sNpTEbuOSosZdX

@data_math

🎓 Введение в статистическую теорию машинного обучения

📌 Видео
📌 Урок 1 / Урок2 / Урок3 / Урок4 / Урок5 / Урок 6
📌 Colab
📌Полный курс

@data_math

👨‍🎓 Курс по математике от Гарварда

Материал представлен очень подробно, так что у вас будет возможность глубоко разобраться в каждой теме.

охватывает три ключевые темы:
- теорию вероятностей
- статистику
- линейную алгебру.

Это отличный курс для входа а перейти к машинное обучение и продвинутое программирования на Python.

@data_math

Суровая правда жизни 😂

@data_math

"Fundamentals of Linear Algebra" by James B. Carrell

Link: personal.math.ubc.ca/~carrell/NB.pdf

📚 Новогодние праздники продолжаются и пришло время провести крутой розыгрыш.

На этот раз мы разыграем целых 3 места на наших курсах и целую коллекцию актуальных книг для изучения и погружения в машинное обучение и python.

Условия просты:

• подписаться на Pythonl
• подписаться на Поступашки

Победители рандомно получат доступы к курсам или одну из книг, которые перечислены ниже:

— System Design. Машинное обучение. Подготовка к сложному интервью | Сюй Алекс
— Алгебра, топология, дифференциальное исчисление и теория оптимизации для компьютерных наук и машинного обучения
— Глубокое обучение Курвилль Аарон, Гудфеллоу Ян
— Как быть успешным в Data Science.
— Все, что нужно, чтобы понимать математику в одном толстом конспекте

Итоги подведем при помощи бота, который рандомно выберет победителя. Всем удачи ❤️

• подписаться на Pythonl
• подписаться на Поступашки

#Конкурс

- Почему ты так испугался, это всего лишь червь

- Червь:

@data_math

С Новым годом 🎊

@data_math

⚡️ Введение в тензорные сети

📌 Видео
📌 Урок 1 / Урок2 / Урок3 / Урок4 / Урок5
📌 Colab

Великие и очень красивые уравнения в физике и математике. ✍️

⚡️ Введение в тензерные сети

📌 Урок5
📌 Урок 1 / Урок2 / Урок3 / Урок4
📌 Colab

@data_math

⚡️ QVQ-72B-Preview: VLM с ризонингом от Qwen.

QVQ-72B-Preview - экспериментальная VLM на основе Qwen2-VL-72B , разработанная Qwen, со способностями к аналитическому мышлению и новым уровнем когнитивных навыков.

Проведенная в Qwen оценка QVQ-72B-Preview на бенчмарках MMMU, MathVista, MathVision и OlympiadBench показала результат 70.3 на MMMU, 71.4 на MathVista, 35.9 в MathVision и 20.4 на наборе OlympiadBench, подчеркнув ее способность к комплексному пониманию и рассуждению в мультидисциплинарных задачах.

⚠️ Несмотря на высокие результаты, QVQ-72B-Preview - предварительная версия модели, которая имеет ограничения:

🟠возможность смешения языков и переключения между ними;
🟠склонность к зацикливанию в логических рассуждениях;
🟠постепенная потеря концентрации на визуальном контенте при многоступенчатом рассуждении, что может приводить к галлюцинациям.

Неофициальные квантованные версии QVQ-72B-Preview в формате GGUF с диапазоном разрядностей от 1-bit (23.7GB) до 8-bit (77.26GB) и MLX-версии от mlx community в разрядностях от 4-bit до 16-bit.

📌Лицензирование: Qwen License.


🟡Статья
🟡Модель
🟡Demo
🟡Набор GGUF
🟡Набор MLX
🟡Сообщество в Discord
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #VLM #Qwen #Reasoning

ФИЗМАТ - топовый канал про Физику, Математику и ИТ.

С помощью картинок и шортcов даже новички разберутся в сложных концепциях и формулах.

Присоединяйтесь: t.me/fizmat

⚡️ Тензорное разложении и его применении в машинном обучении. Урок 4

📌 Видео
📌 Урок 1 / Урок2 / Урок3
📌 Colab

@data_math

🔥 Старейшая нерешённая задача

Существуют ли нечётные совершенные числа? Над этим вопросом уже 2000 лет бьются умнейшие математики.

Дерек Маллер с канала Veritasium опять решил сломать всем мозг и сделал получасовое видео об очередной математической жести. Удачи всем что-то понять, мы старались как могли. Было тяжело, мы устали. Кто-нибудь, заберите уже у Дерека книгу по теории чисел.

📌 источник

Обучение нейросети занимает слишком много времени? Покупка видеокарты RTX 4090 кажется слишком затратной? Зачем переплачивать, если можно арендовать? 

immers.cloud —  это облачный сервис, предоставляющий доступ к мощным видеокартам (GPU) для самых различных задач: от рендеринга и 3D-моделирования до обучения ИИ и гейминга. 

— Посекундная тарификация — платите только за использованные ресурсы, никакой переплаты!
— Мощности закрепляются исключительно за тобой, никакой очереди и задержек

⚡️ Полный контроль и максимальная производительность!
11 видов видеокарт для любых задач

💸 Цены, которые удивляют! Тарифы стартуют от 23 рублей в час. Никаких заявок, ожиданий или запросов цен. Регистрация занимает менее 2 минут, и ваши виртуальные сервера с GPU и CPU готовы к работе!

Кодирование сигналов

1. Код Грея
2. Применение битов четности
3. Код Хемминга
4. Синхронизация с помощью избыточного кода
5. Скремблирование
6. Кодирование битов при последовательной передаче
7. Битстаффинг
8. Передатчик Манчестер II
9. Приемник кода Манчестер II
10. Двунаправленная передача импульсов по одной линии

#video #math

https://www.youtube.com/watch?v=C4cU4gldP5c&list=PL1VvMJF0dnhrcJZBhrAr8OWZKkCtbIBGQ&ab_channel=%D0%AD%D0%BB%D0%B5%D0%BA%D1%82%D1%80%D0%BE%D1%82%D0%B5%D1%85%D0%BD%D0%B8%D0%BA%D0%B0%D0%B8%D1%8D%D0%BB%D0%B5%D0%BA%D1%82%D1%80%D0%BE%D0%BD%D0%B8%D0%BA%D0%B0%D0%B4%D0%BB%D1%8F%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B8%D1%81%D1%82%D0%BE%D0%B2

@data_math

📌Как линейная алгебра может помочь при разработке web-приложения.

Интересная и познавательная статья разработчика Ивана Шубина о том, как он использовал матрицы для создания интерактивного редактора диаграмм Schemio.

Изначально, редактор позволял создавать простые фигуры и манипулировать ими, но с введением иерархии объектов возникла необходимость в сложных преобразованиях координат. Матрицы стали ключом к решению этой проблемы, позволяя эффективно управлять перемещением, вращением и масштабированием объектов.

Для преобразования глобальных и локальных координат между собой использовались матричные преобразования. Умножение матриц дало возможность комбинировать преобразования, а инверсия матрицы помогает переводить координаты из глобальных в локальные.

Иван подробно описывает, как матрицы помогают управлять поворотом и масштабированием объектов относительно опорной точки и как они используются при монтировании и демонтировании объектов, чтобы избежать нежелательных коллизий.

Таким образом, матричная математика стала решением для расширения возможностей редакторе Schemio.

🔜 Читать полную версию статьи

#Math #LinearAlgebra #Webdev

⚡️ Математика машинного обучения.Базовые понятия тензорного исчисления. Урок 3

📌 Видео
📌 Урок 1 / Урок2
📌 Colab

@data_math

Разбираем тестовое задание на позицию Junior Аналитика в Яндекс

Чтобы найти работу, мало пройти курс и сделать классное резюме. На практике, чтобы выделиться на собеседовании, нужно понимать, что лежит под капотом каждого инструмента, а не следовать конкретному заученному алгоритму.

Чтобы попрактиковаться в этом, приходите на бесплатный вебинар, где будем разбирать реальное тестовое задание, которое дают аналитикам в подразделении Яндекс Картинки.

Что будет на вебинаре:
🟠С помощью Pandas проанализируем Яндекс-запросы за несколько недель, загрузив их из json-файла
🟠Найдём закономерности и отличия использования сервиса на мобильных устройствах и компьютерах
🟠Разберём фишки Pandas: сложную агрегацию, маппинг, конкатенацию, чейнинг и др.

Вебинар проведет Андрон Алексанян, CEO Simulative
🕗Встречаемся 24 декабря в 19:00

🎁Обязательно приходите смотреть вебинар в прямом эфире - в лайве будут дарить подарки, которые сильно бустанут старт карьеры в аналитике!

Зарегистрироваться на бесплатный вебинар

📹 Основы вероятности и теория меры 14. Теорема Лебега

📌 Источник
📌 Полный курс

IT-инженеры — объединяйтесь! 🤝

Мы собрали огромную базу прикладной информации для IT-инженеров.

Выбирайте, что вам интересно:

— Полупроводники

— Высоконагруженные системы

— Связь и космос

— Промышленный дизайн

— Нейроморфные технологии

— Индустрия 4.0

— Печатные платы

— Технологии мира музыки

📌 Статьи, лекции, подкасты, кейсы из инженерной практики и тематические гайды в одном месте @ultimate_engineer

🌟 The Well: Масштабная коллекция физических симуляций для машинного обучения.

The Well – коллекция датасетов для машинного обучения, содержащая 15 ТБ данных численного моделирования различных физических систем. Коллекция состоит из 16 наборов данных из областей: биологии, гидродинамики, акустики, магнитогидродинамики, внегалактических субстанций и взрывы сверхновых.

Данные представлены в унифицированном формате HDF5, организованном в соответствии с общей спецификацией. Они сгенерированы на равномерных сетках и дискретизированы с постоянным временным шагом.

Файлы HDF5 содержат все доступные переменные состояния и пространственно-изменяющиеся коэффициенты в виде массивов NumPy в формате одинарной точности fp32. Доступны скалярные, векторные и тензорные поля, учитывая их различные свойства преобразования.

Каждый файл данных случайным образом разделен на обучающую, тестовую и валидационную выборки в соотношении 8:1:1. Детальное описание каждого набора данных представлено в таблицах, где указаны координатная система, разрешение снимков, количество временных шагов в траектории, общее количество траекторий в наборе данных, размер набора данных, время выполнения симуляций и используемое оборудование.

The Well предоставляет класс the_well для Python, который позволяет загружать и использовать данные в процессе обучения моделей. Для удобства большинство наборов размещены на Hugging Face, что позволяет получать данные напрямую через интернет.

▶️ Установка и пример использования c HF:

# Create new venv
python -m venv path/to/env
source path/to/env/activate/bin

# Instal from repo
git clone https://github.com/PolymathicAI/the_well
cd the_well
pip install .

# Streaming from Hugging Face
from the_well.data import WellDataset
from torch.utils.data import DataLoader

trainset = WellDataset(
    well_base_path="hf://datasets/polymathic-ai/",
    well_dataset_name="active_matter",
    well_split_name="train",
)
train_loader = DataLoader(trainset)

for batch in train_loader:
    ...

📌Лицензирование кода : BSD-3-Clause License.

📌Лицензирование датасетов : CC-BY-4.0 License.


🟡Страница проекта
🟡Коллекция на HF
🟡Demo
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Dataset #TheWell

🎓 Парадоксы теории вероятностей

Лекции: ВМК МГУ. Ульянов В.В.

👉источник

@data_math

🎓 Конспекты курса Гарвардского университета "Продвинутый комплексный анализ"

PDF: https://people.math.harvard.edu/~ctm/papers/home/text/class/harvard/213a/course/course.pdf

@data_math

📊 Игры хаоса. Фракталы

Насколько красивым и упорядоченным может быть хаос! Как нарисовать целый лес деревьев и растений, используя пару правил?

Теория хаоса, фракталы, аттракторы и подкрученные игровые кости – все это в новом переводе ролика от Numberphile.

@data_math

Как готовить данные для анализа с помощью ETL?

Чтобы освоить основы инжиниринга данных регистрируйтесь на бесплатный вебинар от Simulative 💬

Спикер Даниил Джепаров, lead analytics engineer в Сравни.ру, расскажет о том, как извлекать данные из разных источников, а затем преобразовывать и загружать их в хранилище.

Вы узнаете:

🟡 Что такое ETL и как он работает
🟡 Какие есть различия между пакетной и потоковой обработкой
🟡 Какие виды документации используют в дата-проектах
🟡 Как оценивать и поддерживать высокое качество данных
🟡 Как мониторить ETL-процессы

В конце вебинара вас ждет бонус от спикера — дорожная карта для аналитиков и инженеров с планом развития на middle-позицию 🎁

Встречаемся 4 декабря в 19:00 по мск. Успейте присоединиться по ссылке.

Конспекты курса "Математический анализ 1 для отличников"

PDF: https://math.uwaterloo.ca/~baforres/UCM137/CourseNotes/Forrest_M137CN.pdf

@data_math

🌟 OLMo 2: Новое поколение полностью открытых языковых моделей.

OLMo 2 - серия открытых языковых моделей, созданная для развития науки о языковых моделях .

Модели OLMo 2 доступны в вариантах 7B и 13B параметров и обучены на массиве данных объемом 5 трлн. токенов. Они демонстрируют производительность, сопоставимую или превосходящую аналогичные по размеру полностью открытые модели на английских академических тестах.

Разработчики OLMo 2 уделили особое внимание стабильности обучения, используя методы RMSNorm, QK-Norm, Z-loss регуляризация и улучшенная инициализация.

Обучение проводилось в 2 этапа. На первом этапе модели обучались на датасете OLMo-Mix-1124 (3,9 трлн. токенов). На втором этапе использовался специально подобранный набор данных Dolmino-Mix-1124 (843 млрд. токенов), состоящий из веб-данных, материалов из академических источников, форумов вопросов и ответов, инструкций и математических задачников. Для объединения моделей, обученных на разных подмножествах данных, применялся метод "model souping".

Для оценки OLMo 2 была разработана система OLMES (Open Language Modeling Evaluation System) из 20 тестов для измерения способностей модели. OLMo 2 превзошел предыдущую версию OLMo 0424 по всем задачам и показал высокую эффективность по сравнению с другими открытыми моделями.

▶️Набор моделей OLMo 2:

🟢Базовые модели: OLMo-2-1124-7B и OLMo-2-1124-13B

🟠GGUF-версии: OLMo-2-1124-7B-GGUF и OLMo-2-1124-13B-GGUF

🟢Инструктивные версии: OLMo-2-1124-7B-Instruct и OLMo-2-1124-13B-Instruct

🟠DPO-версии: OLMo-2-1124-7B-DPO и OLMo-2-1124-13B-DPO

🟠SFT-версии: OLMo-2-1124-7B-SFT и OLMo-2-1124-13B-SFT

🟠Reward Model - версия OLMo-2-1124-7B-RM


▶️Пример инференса OLMo-2-7B c HF Transformers:

from transformers import AutoModelForCausalLM, AutoTokenizer
olmo = AutoModelForCausalLM.from_pretrained("allenai/OLMo-2-1124-7B")
tokenizer = AutoTokenizer.from_pretrained("allenai/OLMo-2-1124-7B")
message = ["Language modeling is "]
inputs = tokenizer(message, return_tensors='pt', return_token_type_ids=False)
# optional verifying cuda
# inputs = {k: v.to('cuda') for k,v in inputs.items()}
# olmo = olmo.to('cuda')
response = olmo.generate(**inputs, max_new_tokens=100, do_sample=True, top_k=50, top_p=0.95)
print(tokenizer.batch_decode(response, skip_special_tokens=True)[0])

📌Лицензирование: Apache 2.0 License.


🟡Страница проекта
🟡Набор моделей
🟡Demo
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #OLMo2

❓Зачем программисту нужна математика?

Многие считают, что если предметная область не требует знаний математики, то она не нужна. Тем не менее существуют много фундаментальных ограничений, прямо вытекающих из математической теории, которые оказывают непосредственное влияние на код.

✅ Приглашаем вас на открытый урок «Распространенные заблуждения в программировании или чем может помочь математика»

Покажем как математика позволяет давать ответы на запутанные вопросы и улучшать понимание программирования и качество кода.

Урок посвящен курсу «Математика для программистов» от Otus — лучшие практики, после изучения которых вы сможете быстрее изучать новые языки программирования и фреймворки.

👉 Регистрация: https://clck.ru/3Ehjm5?erid=LjN8KGtAh 

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

🎓 Бесплатный курс. "Введение в компьютерное мышление и науку о данных" Массачусетского технологического института

▪Слайды: https://ocw.mit.edu/courses/6-0002-introduction-to-computational-thinking-and-data-science-fall-2016/pages/lecture-slides-and-files/
▪Видео: https://ocw.mit.edu/courses/6-0002-introduction-to-computational-thinking-and-data-science-fall-2016/video_galleries/lecture-videos/

@data_math

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:

МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
Devops: t.me/DevOPSitsec
АНАЛИЗ Данных: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/javatg
Базы данных: t.me/sqlhub
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/golang_interview
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
Разработка игр: https://t.me/gamedev

💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: https://t.me/addlist/mzMMG3RPZhY2M2Iy

😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy

Конспект лекции Гонконгского университета прикладной линейной алгебры и дифференциальных уравнений

📌 Лекции

@data_math

✔️ Ключевые тенденции генеративного ИИ в розничной торговле 2025 года по версии Amazon.

В 2025 году ожидается дальнейшее развитие GenAI в ритейле: виртуальные помощники по покупкам, гиперперсонализация и виртуальные примерочные.

Виртуальные помощники помогают покупателям с выбором товаров, используя разговорный поиск. Гиперперсонализация, сочетающая ML с GenAI, создает индивидуальные предложения для покупателя, основываясь на истории покупок, данных о товарах и сторонних данных о клиентах. Виртуальные примерочные позволяют "примерить" товары: одежду или мебель, с помощью моделей ИИ, повышая их уверенность в покупке.
aws.amazon.com

✔️ Сценарии популярных сериалов использовались для обучения ИИ.

Более 139 000 сценариев фильмов и сериалов, среди которых "Клан Сопрано", "Во все тяжкие", "Симпсоны" и "Твин Пикс", были использованы для обучения моделей ИИ. Датасеты, используемые Apple, Anthropic и Nvidia, содержат сценарии всех фильмов, номинированных на премию "Оскар" с 1950 по 2016 год.

В набор данных также входят диалоги, написанные для церемоний вручения премии "Золотой глобус" и "Оскар". Многие сценаристы возмущены тем, что их работы были использованы для обучения ИИ, опасаясь, что это приведет к их замене в будущем.
movieweb.com

✔️ Только 28% ЦОД готовы к внедрению ИИ.

Omnia Strategy Group (OSG) опубликовала отчет о готовности к ИИ, согласно которому только 28% центров обработки данных готовы к внедрению рабочих нагрузок ИИ и предоставлению соответствующих услуг на высоком уровне производительности.

Нехватка GPU и высокопроизводительных CPU, недостаточная мощность электросети и ограниченная внутренняя инфраструктура распределения электроэнергии являются одними из основных препятствий. Также проблемой является недостаточная мощность систем охлаждения, нехватка пространства для внедрения жидкостного охлаждения, а также отсутствие внутренних экспертов по ИИ.

Несмотря на эти проблемы, 86% предприятий считают, что ИИ изменит глобальную цифровую инфраструктуру, и многие стремятся внедрить ИИ любыми возможными способами.
workwithomnia.com

✔️ Spotify интегрируется с Gemini от Google.

Spotify объявила о поддержке расширений Gemini от Google, эта интеграция позволит пользователям искать и воспроизводить музыку с помощью голосовых команд на естественном языке. Расширение доступно для совместимых устройств Android.

Gemini может воспроизводить музыку по названию песни, имени исполнителя, альбома, плейлиста или для определенного вида деятельности. Если у пользователя уже подключен другой музыкальный сервис, например, YouTube Music, ему необходимо будет указать голосом или текстом, какой сервис должен использовать Gemini. После этого ИИ-ассистент будет по умолчанию использовать последний выбранный сервис. Интеграция доступна только на английском языке и не работает в Google Messages, веб-приложении Gemini или приложении Gemini для iOS.
theverge.com

✔️ Исследователи Knostic обнаружили уязвимости в больших языковых моделях.

Knostic Inc., разрабатывающая средства контроля доступа к LLM, выявили новую категорию уязвимостей в LLM, которые могут быть использованы злоумышленниками для обхода защитных механизмов и извлечения конфиденциальной информации.

Уязвимости, получившие название #noRAGrets, представляют собой два типа атак, которые способны полностью обойти защитные механизмы модели с помощью атаки вида "race condition-like", затрагивая модели ChatGPT и Microsoft Copilot для Microsoft 365.

Race condition-like используют особенности времени выполнения операций внутри системы для манипулирования или обхода цензорных механизмов, вызывая непреднамеренное или несанкционированное поведение. Найденные методы, по словам Knostic, выводят джейлбрейк на новый уровень, используя методы синхронизации, позволяющие атакам полностью обходить защитные механизмы и манипулировать внутренней активностью LLM.
siliconangle.com


@ai_machinelearning_big_data

#news #ai #ml

🎓Как находить мотивацию для обучения и с лёгкостью усваивать новый материал? Расскажет онлайн-тест Яндекс Образования!🚀

В этом тесте нет неправильных ответов — только возможность найти свой уникальный подход к обучению! 💡 Тест пригодится всем, кто чему-то учится или просто стремится к саморазвитию, — школьникам, студентам, взрослым и не только!

Благодаря тесту вы:

- получите персональные рекомендации, как адаптировать любые учебные процессы под себя;
- узнаете, как эффективнее достигать образовательных целей и вдохновляться новыми знаниями;
- сможете точнее подбирать программы обучения и лучше организовывать самостоятельную работу.

Готовы открыть новые горизонты в учёбе? Тогда начните проходить тест прямо сейчас!

〰️ Анимация: Производные и интегралы синуса и косинуса образуют единичную окружность

http://geogebra.org/u/daniel+mentrard

@data_math

✔️ DeepSeek представила модель, превосходящую OpenAI-o1.

Компания DeepSeek выпустила R1-Lite-Preview — новую большую языковую модель, ориентированную на рассуждения. Модель, доступная только через веб-чат DeepSeek Chat и демонстрирует производительность, близкую, а в некоторых случаях и превосходящую, модель OpenAI o1-preview по результатам тестов AIME (American Invitational Mathematics Examination) и MATH.

R1-Lite-Preview использует метод «цепочки рассуждений», показывая пользователю этапы своего "мыслительного" процесса. Компания планирует в будущем выпустить R1 с открытым исходным кодом.

На данный момент подробной технической информации о модели пока нет, однако разработчики обещают вскоре опубликовать как веса модели, так и доступ к API. В настоящее время доступны лишь показатели производительности и графики масштабируемости. Как и в случае с OpenAI, эффективность работы DeepSeek увеличивается пропорционально длине цепочки логических выводов. Кроме того, в отличие от o1, в чате отображаются полные цепочки рассуждений без со

venturebeat.com

⚡️ Прими участие в хакатоне Т1 2024 в Москве и поборись за призовой фонд в 1 200 000 рублей!

Когда: 26-29 ноября 2024
Формат: гибридный
Призовой фонд: 1 200 000 рублей

🔥 Хакатон Т1 2024 создан для тебя, если ты:

– Выпускник вуза или молодой специалист;
– Студент старших курсов технических вузов;
– Специалист по frontend или backend-разработке, системный аналитик, AI-специалист.

❗️На хакатоне тебе будут предложены 2 кейса:

1. Хаб: объединение данных пользователя в золотую запись. Создайте методику, которая поможет найти "золотую запись" в большом наборе данных, используя признаки актуальности, частоты и полноты.
2. Окно знаний: цифровой ассистент базы знаний. Создайте платформу, которая позволит пользователям разрабатывать окна взаимодействия с ассистентом, интегрируя собственные базы знаний.

▶️ Регистрация открыта! Успей зарегистрироваться до 24 ноября, 23:59 МСК по ссылке.

🔥 Крутая шпаргалка по машинному обучению!

В этой шпаргалке представлен весь мир машинного обучения. На ней выделены следующие ключевые направления:

⭐ Регрессия: OLS, SVM, Random Forest
⭐ Классификация: Naive Bayes, Decision Tree, нейронные сети
⭐ Кластеризация: K-Means, DBSCAN
⭐ Компьютерное зрение: CNN, YOLO, GANs
⭐ NLP/LLM: GPT, BERT, Word2Vec
⭐ Рекомендательные системы, прогнозирование

С каждым днём мы всё ближе к RLT.Conf 🎉

29 ноября конференция Росэлторг.Университета — «В IТ с головой» — соберёт экспертов в сфере IT и маркетинга, преподавателей вузов, руководителей проектов и многих других в одном месте.

🥳 Прежде чем эксперты поделятся с участниками мероприятия своими кейсами, новейшими гипотезами, разработками и практиками из разных индустрий, мы вас с ними познакомим!

Листайте карточки, чтобы ничего и никого не упустить! 

🔗 Узнать спикеров поближе и зарегистрировать своё участие можно на сайте.

Когда? 29 ноября 2024.
Где? Москва, Согласие Холл, пр-т Мира, д. 36 стр. 1.

💼 PhySO | DL-регрессия для подбора функции

Инструмент, который использует глубокое обучение с подкреплением для подбора наиболее подходящей функции, описывающей заданные данные.

📌 Репозиторий

@data_math

Умножаем любовь к математике, чтобы разделить ее с вами

ИТ-специалисты, слышали, скоро День математика?

1 декабря пройдут главные онлайн-события мероприятия: доклады от профессоров математики из МФТИ, ВШЭ и ЦУ и математический диктант. Хорошая возможность пообщаться с единомышленниками и просто классно провести время.

А пока ждете праздника, банк подготовил активности на весь месяц. Будут лекции и многое другое. Выбирайте на сайте, что нравится больше. И регистрируйтесь, чтобы ничего не пропустить

✔️ ЛИНЕЙНАЯ АЛГЕБРА АНАЛИТИЧЕСКАЯ ГЕОМЕТРИЯ
А. М. ИВЛЕВА, П. И. ПРИЛУЦКАЯ, И. Д. ЧЕРНЫХ (2014)

В пособии подобраны задачи по курсу линейной алгебры и аналитической геометрии, читаемому на I курсе всех факультетов НГТУ.

Теоретический материал пособия и приведенные решения типовых задач способствуют лучшему усвоению материала, самостоятельной работе и приобретению навыков решения задач, необходимых для успешной подготовки к экзамену.

Авторы не претендуют на абсолютно корректное из- изложение теоретического материала, упростив его для улучшения понимания.


@data_math

Обработка естественного языка

1. Введение в обработку естественного языка
2. Решаем задачи NLP с помощью Hugging Face
3. Выбор модели в Hugging Face
4. Что внутри пайплайна обработки текста?
5. Почему обрабатывать текст сложно?
6. Графематический анализ
7. Как разбить русский текст на токены
8. Морфологический анализ
9. Библиотеки морфологического анализа
10. Синтаксический анализ

#video

https://www.youtube.com/watch?v=55Iyei3bkKk&list=PLtPJ9lKvJ4ohZpMV9Ml-DPtMSXPFNl6Sz

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:

МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
Devops: t.me/DevOPSitsec
Data Science: t.me/datascienceiot
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/javatg
Базы данных: t.me/sqlhub
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
Разработка игр: https://t.me/gamedev

💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: https://t.me/addlist/mzMMG3RPZhY2M2Iy

😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy

👨‍🎓 Конспекты лекций от Стэнфорда по теории вероятностей (уровень кандидата наук)

https://web.stanford.edu/class/stats310a/lnotes.pdf

@data_math

✔️ FrontierMath: набор тестов по математике, который ставит в тупик модели ИИ и кандидатов наук.

Epoch AI представила FrontierMath, математический тест, который содержит сотни задач экспертного уровня. Claude 3.5 Sonnet, GPT-4o, o1-preview и Gemini 1.5 Pro показали крайне низкие результаты - менее 2%, а для решения задач теста математикам-специалистам обычно требуются часы или дни.

Набор задач в FrontierMath остается закрытым и неопубликованным, чтобы предотвратить загрязнение данных. Задачи охватывают несколько математических дисциплин, от вычислительной теории чисел до абстрактной алгебраической геометрии.
Epoch AI планирует проводить регулярную оценку моделей ИИ с помощью теста, одновременно расширяя набор задач.

📌 epoch.ai

@data_math

🖥 Мечтаете о карьере в IT, но не хотите программировать? Хорошая новость: это возможно!

Если стать аналитиком данных — IT-специалистом, который собирает и анализирует данные, чтобы строить прогнозы для бизнеса. Аналитики данных востребованы во многих сферах: IT, маркетинг, ритейл, банкинг и т. д.

Обучение подойдет, если вы:
🟣новичок без опыта в IT
🟣бухгалтер, финансист или экономист
🟣уже работаете с аналитикой и хотите углубить знания для роста в карьере

На курсе вы получите навыки, которые реально нужны работодателям, и овладеете самыми популярными инструментами: Python, Pandas, NumPy, Jupyter Notebook, SQL, Power BI.

🔗 Начните работать аналитиком уже через 6 месяцев! Заполните заявку, чтобы получить бесплатный доступ к первым урокам.

⚡️ Курс: Прикладное машинное обучение - Cornell CS5785

"Начинается с самых основ, рассказывается обо всех наиболее важных алгоритмах ML и о том, как применять их на практике. Готовые ноутбук Jupyter (и в виде слайдов)".

80 видеороликов!!

▪Видео: https://youtube.com/playlist?list=PL2UML_KCiC0UlY7iCQDSiGDMovaupqc83
▪ Код: https://github.com/kuleshov/cornell-cs5785-2020-applied-ml

@data_math

📌Руководство по эффективному использованию промптов для LLM от разработчиков из GoogleDeepMind.

Туториал ориентируется на нетехническую аудиторию, которая имеет опыт взаимодействия с большими языковыми моделями.

В первой половине представлены ментальные конструкции природы посттренинга и промптов. Вторая половина содержит более конкретные предписания и высокоуровневую процедуру промпт-инжиниринга.

Авторы, Varun Godbole и Ellie Pavlick подчеркивают, что поиск «идеальной» подсказки — это итеративный процесс, аналогичный настройке модели, который в лучшем случае является эмпирическим, а в худшем - алхимическим.

▶️ Содержание:

🟢Для кого предназначен этот документ?
🟢Зачем нужно это руководство?
🟢Background трейна: предварительная и последующая подготовка
🟢Рекомендации по промптам
🟢Рудиментарное "руководство по стилю" для промптов
🟢Процедура итерации новых системных инструкций
🟢Некоторые мысли о том, когда полезна LLM
🟢Дополнительные ресурсы


📌Лицензирование: Creative Commons Attribution 4.0 International Public License.


🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #Prompt #Github #Tutorial

🤖Вы слышали о ChatGPT, но не знаете, как он работает? А как языковые модели меняют мир, в котором мы живём?

Если вы хотите разобраться в этом и узнать, как применять эти технологии в своих проектах, не пропустите наш бесплатный открытый урок 20 ноября в 18:00 мск!

⚡️На вебинаре:

-погрузимся в историю развития языковых моделей от базовых концепций до современных LLM (Large Language Models), таких как ChatGPT.

-Вы узнаете, какие методы и технологии стоят за этими интеллектуальными системами и как их можно использовать для решения задач Natural Language Processing (NLP).

Спикер Мария Тихонова – PhD Computer Science, Senior Data Scientist в SberDevices и преподаватель ВШЭ.

👉Регистрация: https://vk.cc/cE9ykE?erid=LjN8KC2yg 

Встречаемся в преддверии старта курса «Natural Language Processing (NLP)». Все участники вебинара получат специальную цену на обучение!

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

⚡️ Математические формулы с помощью Python

@data_math

🔥 Курс «Основы искусственного интеллекта» — Python, машинное обучение, глубокое обучение, наука о данных!

🕞 Продолжительность: 10:22:25

🔗 Ссылка: *клик*

#курс #ai #datascience #deeplearning

@data_math

🕓 Крутые часы для математика

@data_math

Теория и практика: A/B-тестирование для успешной аналитики ⭐
Бесплатный вебинар 6 ноября в 19:00 мск

Аналитик данных помогает бизнесу не ошибаться при принятии важных решений. А А/В-тесты - один из must-have инструментов, которые в этом помогают.

Если вы хотите разобраться в основах проведения экспериментов и научиться правильно проводить А/В-тесты, ждём вас на бесплатном вебинаре.

На реальных кейсах узнаем:
— Что такое A/B-тестирование
— Как выбрать гипотезу для тестирования
— Как определить метрики успешности
— Когда тест можно считать завершенным
и др.

🚶 Переходите и регистрируйтесь на бесплатный вебинар.

⚡️ ЛУЧШЕЕ ДОКАЗАТЕЛЬСТВО теоремы Синусов

📌 источник

@data_math

🌟 Llama-3.1-Centaur-70B: модель симуляции поведения человека.

Centaur - модель, которая способная предсказывать и симулировать поведение человека в любом психологическом эксперименте, который можно описать на естественном языке.

Это первая модель, соответствующая большинству критериев Ньюэлла для универсальной теории познания, включая способность действовать как почти произвольная функция окружающей среды и работать в реальном времени.

Centaur создана на основе Llama 3.1 70B и дообучена на наборе данных Psych-101, включающем данные 60 000 участников, давших суммарно 10 000 000 ответов в 160 психологических экспериментах.

Psych-101 охватывает широкий спектр областей когнитивной науки: игровые автоматы, принятие решений, память, обучение с учителем, процессы принятия решений Маркова и др.

Centaur дообучалась методом QLoRA: к каждому слою базовой Llama 3.1 70B были добавлены низкоранговые адаптеры, при этом параметры базовой модели остались неизменными.

Обучение проводилось на всем наборе данных с использованием стандартной функции потерь кросс-энтропии. Потери маскировались для всех токенов, не соответствующих ответам людей, чтобы итоговая модель фокусировалась на моделировании поведения человека.

В большинстве проведенных экспериментов Centaur превосходит как базовую модель Llama, так и специализированные когнитивные модели, разработанные для конкретных областей психологии.

Кроме того, Centaur обобщает знания на "незнакомые" ситуации, которые не входили в датасет обучения: точно предсказывает поведение при измененных формулировках задач, структурах проблем и даже в совершенно новых областях.

Важный результат экспериментального тестирования - соответствия внутренних представлений Centaur нейронной активности человека.

Это открытие было подтверждено 2 исследованиями, в которых внутренние представления модели использовались для предсказания активности мозга. Centaur продемонстрировала улучшенную декодируемость по сравнению с Llama в задачах, связанных с чтением предложений и выполнением двухэтапных задач.

⚠️ Centaur обучена на наборе данных, в котором выбор человека выражается символами "<<" и ">>".
Для оптимальной работы рекомендуется соответствующим образом настроить промпты.

⚠️ Модель запускается на 80 GB GPU.


📌Лицензирование: Llama 3.1 Community License.

📌Лицензирование датасета : Apache 2.0 License.


🟡Модель
🟡Техотчет
🟡Датасет


@ai_machinelearning_big_data

#AI #ML #LLM #Centaur

Как нужно укомплектовать команду ML для решения задачи?

🔹Расскажем на открытом уроке «Структура и построение ML команды» про композицию ML команды, различные роли в ней и их зоны ответственности

✅ Поговорим о том, зачем нужны ролы Data Scientist, Data Analyst, BI Analyst, ML Engineer, Data Engineer. Как организовать работу команды и взаимодействие внутри нее.

Урок приурочен новому курсу «ML Team Lead» от Otus.

👉 Регистрация и подробности:
https://otus.pw/Fbl8/?erid=LjN8KSdHR

#реклама
О рекламодателе

🛜 Находим пароль от Wi-fi из известного мема, с помощью Grok и Chatgpt.

GPT решил задачу численно, а Grok понял, что интеграл можно разбить на 2 части: первая - интеграл от нечетной функции по [-a,a] (которая равна 0), а вторая - площадь круга!

@data_math

Прокачивайте скилы на релевантных бизнес-задачах с помощью Яндекс Практикума. Наставники из Яндекса и других крупных компаний помогут со сложными темами, а ревьюеры дадут обратную связь.

Как всё устроено:
1️⃣ Учитесь где и когда удобно
Обучение разбито на спринты по несколько недель, а график позволяет совмещать учёбу с другими делами.

2️⃣ Практика с первого дня
Учимся на примерах из работы и используем популярные рабочие инструменты.

3️⃣ Задачи из реальных сфер
На курсе будут проекты из разных сфер бизнеса, чтобы вы набрались опыта и сразу же применяли новые знания.

Прежде чем платить, любой курс можно попробовать и убедиться, что он вам подходит.

Вот несколько наших курсов:
✅ Инженер данных
✅ Инженер машинного обучения
✅ SQL для работы с данными и аналитики
✅ SQL для разработки

Получите скидку 20% после прохождения первой темы любого курса. Она бесплатная🔥

🔥 Видео от университета Стэнфорда о создании больших языковых моделей!

💡 Это видео — краткий обзор создания модели, подобной ChatGPT, охватывающий как предварительное обучение модели, так и последующее обучение (SFT/RLHF).

В видео рассматриваются общие практики сбора данных, алгоритмы и методы оценки модели.

🕞 Продолжительность: 1:44:30

🔗 Ссылка: *клик*

@data_analysis_ml

Обучаем IT-специалистов и берём в команду ⚡️

Лучшим участникам предложим оффер в Т1 — крупнейшую по выручке ИТ-компанию страны по версии RAEX и CNews Analytics 2023🔝.

Зачем участвовать?

🔹 Уникальный рыночный опыт. Т1 одни из первых на рынке, кто внедряет технологии для управления данными. 

🔹 Попасть в число лучших. Проекты Т1 ежегодно получают лучшие награды на ИТ-конкурсах: Global CIO, Национальная банковская премия и др.

🔹 Поддержка. Тебя ждёт команда опытных профессионалов, которые помогут расти и развиваться.

Выбирай:
📁 аналитик платформы данных (DWH) 
🖥  разработчик платформы данных (DWH) 

От тебя нужен только опыт работы от 6 месяцев в проектах разработки хранилищ данных и желание попасть в команду Т1.

⏰ Быстрое обучение: 1 месяц
📱 Гибкий формат: онлайн по вечерам (от 8 часов в неделю на вебинары и практику)

Подавай заявку до 5 ноября! 

#реклама
О рекламодателе

🖥 kalmangrad — это Python-библиотека для вычисления гладких производных произвольного порядка для временных рядов с нерегулярными интервалами. Она использует байесовскую фильтрацию, что делает её устойчивой к шумам по сравнению с классическими методами численного дифференцирования

⭐️ Библиотека полезна для оценки производных в таких областях, как обработка сигналов и системы управления, и поддерживает вычисление производных вплоть до заданного порядка

🖥 GitHub

@data_math

🤙 Число Грэма на пальцах

Как только ребенок (а это происходит где–то года в три–четыре) понимает, что все числа делятся на три группы "один, два и много", он тут же пытается выяснить: насколько много бывает много, чем много отличается от очень много, и может ли оказаться так много, что больше не бывает. Наверняка вы играли с родителями в интересную (для того возраста) игру, кто назовет самое большее число, и если предок был не глупее пятиклассника, то он всегда выигрывал, на каждый "миллион" отвечая "два миллиона", а на "миллиард" — "два миллиарда" или "миллиард плюс один".

Уже к первому классу школы каждый знает — чисел бесконечное множество, они никогда не заканчиваются и самого большого числа не бывает. К любому миллиону триллионов миллиардов всегда можно сказать "плюс один" и остаться в выигрыше. А чуточку позже приходит (должно прийти!) понимание, что длинные строки цифр сами по себе ничего не значат. Все эти триллионы миллиардов только тогда имеют смысл, когда служат представлением какого–то количества предметов или же описывают некое явление. Выдумать длиннющее число, которое ничего из себя не представляет, кроме набора долгозвучащих цифр, нет никакого труда, их итак бесконечное количество. Наука, в какой–то образной мере, занимается тем, что выискивает в этой необозримой бездне совершенно конкретные комбинации цифр, присовокупляя к некому физическому явлению, например скорости света, числу Авогадро или постоянной Планка.

Представьте, насколько огромными могут быть числа! Вот несколько примеров невероятно больших чисел:

10^51 — это количество атомов на Земле.

10^80 — примерно столько существует элементарных частиц во всей видимой Вселенной.

10^90 — примерно столько существует фотонов во всей видимой Вселенной. Это число превышает количество элементарных частиц почти в 10 миллиардов раз.

10^100 — это гугол. Хотя это число не имеет физического смысла, оно звучит красиво и кругло. В 1998 году компания, которая поставила перед собой шутливую цель проиндексировать гугол ссылок, назвалась Google.

10^122 — это количество протонов, необходимое для заполнения всей видимой Вселенной до предела.

10^185 — это объем видимой Вселенной в планковских объемах. Планковский объем — это куб размером 10^-35 метров, наименьший известный науке размер. Скорее всего, как и у Вселенной, существуют еще более мелкие объекты, но ученые пока не нашли для них внятных формул, ограничиваясь лишь предположениями.

Но даже эти числа далеко не предел. Настоящие гиганты, такие как число Грэма, все еще ждут своего часа.

⭐️ Читать подробнее

@data_math

Яндекс Игры пришли к нам с запросом:

SELECT * 
FROM subscribers 
WHERE channel_name = 'data_math'
AND technical_skills IN ('SQL', 'Airflow', 'MapReduce', 'DataLens') 
AND data_driven_approach = true 
AND analytical_mindset = true 
AND years_of_experience >= 2 
AND fit = true;

Ребята ищут аналитика в свою команду. Яндекс Игры посещают более 40 млн пользователей в месяц, поэтому можно проверять кучу гипотез на крупных выборках и экспериментировать.

ВАЖНО. Проверенные гипотезы не пойдут «в стол», а будут помогать команде принимать взвешенные решения и влиять на развитие продукта.

Если у тебя есть опыт работы с продуктами, аналитический склад ума и необходимые навыки, — это отличный шанс быстро вырасти и прокачаться на интересных задачах.

Описание вакансии здесь, но лучше сразу пишите рекрутеру и договаривайтесь о собеседовании: @danny_md1

Linear Algebra Done Right

📓 Книга

@data_math

🌟 SegVLAD: метод визуального распознавания мест.

SegVLAD - метод для решения задач визуального распознавания мест (VPR) в условиях значительных изменений ракурса. SegVLAD использует сегментацию изображений, разделяя их на значимые объекты ("вещи"). Вместо того, чтобы кодировать все изображение целиком, как это делают традиционные методы VPR, SegVLAD кодирует и ищет соответствия на уровне отдельных сегментов.

Основа архитектуры SegVLAD - набор перекрывающихся подграфов сегментов SuperSegments. Подграфы создаются путем расширения окрестности каждого сегмента, учитывая информацию о соседних сегментах, полученную с помощью триангуляции Делоне.

Для каждого SuperSegment вычисляется дескриптор с использованием метода VLAD (Vector of Locally Aggregated Descriptors).

VLAD агрегирует локальные дескрипторы пикселей, полученные с помощью предварительно обученного DINOv2, который способен извлекать высокоуровневые признаки, инвариантные к различным условиям съемки.

SegVLAD обучался на наборах данных, включающих как уличные, так и внутренние среды: Pitts30k, AmsterTime, Mapillary Street Level Sequences (MSLS), SF-XL, Revisted Oxford5K, Revisited Paris6k, Baidu Mall, 17Places, InsideOut и VPAir.

Тесты SegVLAD показали, что метод превосходит современные VPR, особенно на датасетах с большими изменениями точки обзора. SegVLAD является универсальным и может быть использован с различными методами сегментации изображений и кодировщиками признаков.

Проект программной реализации метода SegVLAD - Revisit Anything.

▶️Локальный запуск с набором данных 17 places из датасета AnyLock (~ 32GB) и моделями SAM+DINO:

⚠️ Перед запуском подготовьте данные датасета согласно структуре и укажите путь к данным в place_rec_global_config.py/

# Шаг1 - выбор метода (DINO/SAM):
python place_rec_SAM_DINO.py --dataset <> --method DINO/SAM

# Шаг2 - генерация VLAD cluster center (опционально):
python vlad_c_centers_pt_gen.py --dataset <>

# Шаг 3 - извлечение PCA:
place_rec_global_any_dataset_pca_extraction.py --dataset <> --experiment <> --vocab-vlad <domain/map>

# Шаг 4 - запуск SegVLAD: 
place_rec_main.py --dataset <> --experiment <> --vocab-vlad <domain/map> --save_results <True/False>

📌Лицензирование : BSD-3-Clause license.


🟡Страница проекта
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #SAM #DINO #VPR #SegVLAD

👩‍💻 tensor.h — представляет собой минималистичную библиотеку для работы с тензорами на языке C. Основной задачей является выполнение математических операций с многомерными массивами без сложных зависимостей.

Те́нзор (от лат. tensus, «напряжённый») — объект линейной алгебры, линейно преобразующий элементы одного линейного пространства в элементы другого. Частными случаями тензоров являются скаляры, векторы, билинейные формы и т. п.

💡 В README содержится подробное руководство, где описаны примеры использования и базовые операции с тензорами, что облегчает начальную настройку и работу с библиотекой. Это делает её удобной для численных вычислений и задач машинного обучения.

▪️Github

@data_math

⚡️ Объясняем математику простым способом

@data_math

RamdaJS

1. Функциональное программирование с RamdaJS. Основы и блок Математики
2. Обработка строк в RamdaJS и поток вызова функций
3. Методы объектов в RamdaJS и пара полезных функций
4. Логические операции в RamdaJS
5. Функции первой необходимости в RamdaJS
6. Трансдюсеры в RamdaJS - скидка на дорогие операции
7. Линзы в RamdaJS как абстракция по работе со структурами данных

#video #js

https://www.youtube.com/watch?v=XkNynJBruKY&list=PLiZoB8JBsdzkqsILPvz5jw2-OJ5rw6ukH

Бесплатный вебинар по созданию отчётов в Power BI

Многие аналитики сталкиваются с проблемой создания отчётов ради отчётов. В результате: неверные выводы и, как следствие, потери для бизнеса

На вебинаре вы превратите плохой отчёт в наглядный и полезный для бизнеса с помощью Power BI — топового инструмента для визуализации данных

Спикер Мария Гришина, ведущий BI-аналитик в ООО Салаир (РЖД) и автор тг-канала «Power BI Design», расскажет о том, как:

▶️ упростить читабельность дашборда и сократить время на его чтение
▶️ правильно разбить информацию на блоки и выстроить архитектуру UX/UI-отчета
▶️ применять передовые практики дизайна дашбордов

Кому будет полезно?

✔️ Новичкам, которые хотят углубиться в аналитику
✔️ Начинающим аналитикам, которые хотят подсмотреть классные фишки

Начало 15 октября 19:00 по Мск

Регистрируйтесь по ссылке

🌟 OpenMathInstruct-2: математический датасет и набор моделей от NVIDIA.

OpenMathInstruct-2 состоит из 14 млн. пар "вопрос-решение" (примерно 600 тысяч уникальных вопросов) и является одним из крупнейших общедоступных наборов данных для обучения LLM в математике.

Набор данных создан на основе Llama-3.1-405B-Instruct путем синтеза решений для существующих вопросов из наборов данных MATH и GSM8K и генерации новых задач и решений.

Результаты абляционных экспериментов, которые проводились для поиска оптимальных параметров синтеза, показали, что:

🟢формат решения имеет значение, причем чрезмерно подробные решения негативно сказываются на производительности модели;

🟢данные, сгенерированные сильной моделью-учителем, превосходят по качеству данные, полученные от более слабой модели;

🟢процесс обучения устойчив к наличию до 20% решений низкого качества;

🟢разнообразие вопросов имеет решающее значение для масштабирования данных.

Итоговые данные, включенные в датасет прошли тщательную деконтаминацию с использованием конвейера lm-sys и ручной проверки на поиск дубликатов с тестовыми наборами данных.

OpenMathInstruct-2 показал высокую эффективность при обучении LLM.

Модель Llama3.1-8B-Base, обученная на OpenMathInstruct-2, превзошла Llama3.1-8B-Instruct на 15,9% по точности на наборе данных MATH, а OpenMath2-Llama3.1-70B обошла Llama3.1-70B-Instruct на 3,9%.

Датасет выпущен в 3-х размерностях: полный набор (примерно 7.5 GB) и уменьшенные версии train_1M (640 Mb), train_2M (1.3 Gb) и train_5M (3.1 Gb).

▶️ Модели, дообученные на этом датасете:

🟠OpenMath2-Llama3.1-70B, в формате Nemo, квантованные версии GGUF (от 3-bit до 8-bit);

🟠OpenMath2-Llama3.1-8B, в формате Nemo, квантованные версии GGUF (от 2-bit до 8-bit).


📌Лицензирование датасета : CC-BY-4.0 License.

📌Лицензирование моделей: Llama 3.1 Community License.


🟡Набор моделей
🟡Arxiv
🟡Датасет


@ai_machinelearning_big_data

#AI #ML #LLM #MATH #NVIDIA #Dataset

👩‍💻 Great Great Numbers (GGN) — это простая библиотека на C для работы с целыми числами произвольной длины. Она поддерживает арифметические операции (сложение, вычитание, умножение и деление) над числами, которые превышают стандартные типы данных.

🌟 GGN позволяет работать со знаковыми числами, выполнять инициализацию больших чисел с помощью строк и предоставляет утилиты для вывода и сравнения. Библиотека ориентирована на разработчиков, которым необходима работа с большими числами в приложениях на C

🔐 Лицензия: MIT

▪️GitHub

@data_math

Теория вероятностей Учеб. для вузов. - 3-е изд.
А.В. Печинкин, О.И. Тескин, Г.М. Цветкова и др. (2004)

Несмотря на большое количество учебных руководств по теории вероятностей, в том числе появившихся и в последние годы, в настоящее время отсутствует учебник, предназначенный для технических университетов с усиленной математической подготовкой. Отличительной особенностью данной книги является взвешенное сочетание математической строгости изложения основ теории вероятностей с прикладной направленностью задач и примеров, иллюстрирующих теоретические положения. Каждую главу книги завершает набор большого числа контрольных вопросов, типовых примеров и задач для самостоятельного решения.
Содержание учебника соответствует курсу лекций, который авторы читают в МГТУ им. Н.Э.Баумана.
Для студентов технических университетов. Может быть полезен преподавателям и аспирантам.

@data_math

DBT – мессия, блажь или реальность дата-инженера?

8 октября приглашаем вас на бесплатный вебинар от учебного центра Слёрм! Встретимся с опытными специалистами из мира big data, чтобы обсудить:

👉🏻 Как управлять жизненным циклом данных в мире победившего Modern Data Stack?
👉🏻 Могут ли современные инструменты преобразить процесс Data Governance и сделать его простым и быстрым?
👉🏻 Как разные компании и команды применяют dbt для решения задач Data Governance?

Эксперты встречи:
— Евгений Ермаков, руководитель платформы данных Tоlоkа.аi
— Николай Марков, Data Platform Lead в Altenar, спикер курсов Слёрма и ментор проекта «Где дата, Коль?»

📌 Когда: 8 октября в 19:00 мск
📌 Занять место на вебинаре — через бота. 

erid: LjN8KG3v9

♠️ Бесплатный курс от MIT: Теория и Аналитика покера

В этом курсе от MIT подробно рассматривается теория покера, математика покера и применение покерной аналитики в управлении инвестициями и трейдинге.

▪️Материалы Курса

@data_analysis_ml

⚡️ Полезные шпаргалки по математике

- Шпаргалки по ТРИГОНОМЕТРИИ
- Шпаргалки по ТЕОРИИ ВЕРОЯТНОСТЕЙ
- Шпаргалки по ПРОИЗВОДНОЙ
- Шпаргалки по ГЕОМЕТРИИ
- Шпаргалки по ТЕКСТОВЫМ ЗАДАЧАМ

@data_math