TensorFlow

⚡️ Введение в тензорные сети

📌 Видео
📌 Урок 1 / Урок2 / Урок3 / Урок4 / Урок5
📌 Colab

@tensorflowblog

🔥 Курс Математика Машинного обучения: Что такое тензоры.

📌 Видео
📌Colab с кодом

@tensorflowblog

🌟SALSA: Стабильная адаптация линейного поиска Armijo.

SALSA (Stable Armijo Line Search Adaptation) — метод, разработанный для оптимизации Learning Rate (LR) во время обучения.
Основная концепция метода построена вокруг выполнения линейного поиска для определения наилучшего возможного LR для каждого шага обучения, что дает быструю сходимость и улучшенное обобщение.

Чтобы уменьшить вычислительную нагрузку, Salsa предлагает пошаговый миниатюрный линейный поиск. В нем LR постепенно увеличивается с каждым шагом, а критерий линейного поиска постоянно переоценивается.
Дополнительно, Salsa включает экспоненциальное сглаживание в процесс линейного поиска и устанавливает два экспоненциальных скользящих средних для скорости обучения. Это помогает стабилизировать оптимизацию и уменьшить нестабильность от мини-пакетирования.

Экспериментальные результаты показывают, что Salsa превосходит другие методы оптимизации: 50% сокращение final loss и 1,25 average rank в языковых и графических задачах.
Вычислительные издержки Salsa всего на 3% выше, чем у базового LR метода, что можно воспринимать как незначительным увеличением, учитывая показатели производительности. Salsa достаточно универсален, чтобы использоваться с различными оптимизаторами, и особенно эффективен при обучении современных архитектур, которые чувствительны к скорости обучения.

▶️Локальный запуск:

# Clone repository:
git clone https://github.com/TheMody/No-learning-rates-needed-Introducing-SALSA-Stable-Armijo-Line-Search-Adaptation.git

# Create & activate env:
conda env create -f environment.yml
conda activate sls3

# Install dependencies:
pip install pytorch numpy transformers datasets tensorflow-datasets wandb

# NOTE: custom optimizer is in \salsa\SaLSA.py,comparison version are in \salsa\adam_sls.py:
from salsa.SaLSA import SaLSA
self.optimizer = SaLSA(model.parameters())

# NOTE: typical pytorch forward pass needs to be changed to:
def closure(backwards = False):
    y_pred = model(x)
    loss = criterion(y_pred, y)
    if backwards: loss.backward()
    return loss
optimizer.zero_grad()
loss = optimizer.step(closure = closure)

📌Лицензирование :  MIT License


🟡Arxiv
🟡Датасет Cifar-10
🟡Youtube video
🖥Github [ Stars: 11 | Issues: 0 | Forks: 0]


@ai_machinelearning_big_data

#AI #LLM #ML #Train #SALSA

💨 Scaling hierarchical agglomerative clustering to trillion-edge graphs

Кластеризация графов объединяет похожие элементы в группы, что помогает лучшему понять взаимосвязи в данных.

В этой статье инженеры Google рассказывают о ключевых методах, которые позволили им построить мощнейший алгоритм, позволяющий группировать графы с триллионами ребер.

https://research.google/blog/scaling-hierarchical-agglomerative-clustering-to-trillion-edge-graphs/

@data_analysis_ml

https://blog.tensorflow.org/2024/04/faster-dynamically-quantized-inference-with-xnnpack.html

@tensorflowblog

⚡️ AutoBNN: Probabilistic time series forecasting with compositional bayesian neural networks

Autobahn сочетает интерпретируемость традиционных вероятностных подходов с масштабируемостью и гибкостью нейронных сетей для построения сложных моделей прогнозирования временных рядов с использованием сложных данных.

Узнайте больше и попробуйте готовый код → https://blog.research.google/2024/03/autobnn-probabilistic-time-series.html

@tensorflowblog

SOTA lowbit LLM quantization INT8FP8INT4FP4NF4 sparsity leading model compression techniques on TensorFlow PyTorch and ONNX Runtime

View on Github.com

https://blog.tensorflow.org/2024/03/whats-new-in-tensorflow-216.html

@tensorflowblog

🍎 PJRT упрощает интеграцию Apple silicon и ML framework.

Узнайте все о том, как Apple использует порт для ускорения моделей JAX на графических процессорах Apple silicon и AMD, и как вы можете начать работу с PJRT уже сегодня

👉 https://opensource.googleblog.com/2024/03/pjrt-plugin-to-accelerate-machine-learning.html

@bigdatai

https://blog.tensorflow.org/2024/02/graph-neural-networks-in-tensorflow.html

@tensorflowblog

🔥 Графовые нейронные сети (ГНС) стали мощным методом работы с уникальными и разнородными данными из графов.

Google объявили о выпуске TensorFlow GNN 1.0 (TF-GNN), проверенной на практике библиотеки для построения GNN в масштабе.

▪Анонс: https://blog.research.google/2024/02/graph-neural-networks-in-tensorflow.html

▪Colab: https://colab.research.google.com/github/tensorflow/gnn/blob/master/examples/notebooks/ogbn_mag_e2e.ipynb

▪Github: https://github.com/tensorflow/gnn

@data_analysis_ml

TimesFM is a forecasting model, pre-trained on a large time-series corpus of 100 billion real world time-points

https://blog.research.google/2024/02/a-decoder-only-foundation-model-for.html

🖥 Introducing ASPIRE for selective prediction in LLMs

Google представили ASPIRE - фреймворк, который расширяет возможности предсказания больших языковых моделей, позволяя им выдавать ответ в паре с оценкой уверенности.

Узнайте, почему он превосходит современные методы на различных наборах данных QA.

https://blog.research.google/2024/01/introducing-aspire-for-selective.html

@ai_machinelearning_big_data

https://blog.tensorflow.org/2023/12/tensorflow-215-update-hot-fix-linux-installation-issue.html

@tensorflowblog

https://blog.tensorflow.org/2023/11/half-precision-inference-doubles-on-device-inference-performance.html

@tensorflowblog

https://blog.tensorflow.org/2023/11/whats-new-in-tensorflow-2-15.html

@tensorflowblog

https://blog.tensorflow.org/2023/10/simulated-spotify-listening-experiences-reinforcement-learning-tensorflow-tf-agents.html

@tensorflowblog

🔥 Google представили новый алгоритм кластеризации, эффективно сочетающий преимущества масштабируемости моделей эмбедингов и качества моделей кросс-внимания для повышения эффективности и качества операций кластеризации. Посмотреть. →https://blog.research.google/2023/11/best-of-both-worlds-achieving.html

@data_analysis_ml