TensorFlow @tensorflowblog Channel on Telegram

TensorFlow

@tensorflowblog


TensorFlow channel

По всем вопросам- @haarrp

questions to admin - @haarrp

@pythonl - Our Python channel

@ai_machinelearning_big_data - machine learning

@ArtificialIntelligencedl - AI

@datascienceiot - ml books

TensorFlow Telegram Channel (English)

Are you interested in diving deep into the world of machine learning and artificial intelligence? Look no further! The TensorFlow Telegram channel, with the username @tensorflowblog, is your go-to source for all things related to TensorFlow, Python, machine learning, AI, and more. With a community of like-minded individuals, this channel provides valuable resources, tips, tutorials, and discussions to help you stay updated and enhance your knowledge in the field. Whether you're a beginner looking to get started or an experienced professional seeking to expand your skills, this channel has something for everyone. Don't miss out on the opportunity to join the conversation and be part of this insightful community. For any questions or queries, feel free to reach out to the admin at @haarrp. You can also check out our affiliated channels like @pythonl for Python-related content, @ai_machinelearning_big_data for machine learning resources, @ArtificialIntelligencedl for AI updates, and @datascienceiot for insightful ML books. Join the TensorFlow Telegram channel today and take your knowledge to new heights!

TensorFlow

11 Sep, 19:01


🌟SALSA: Стабильная адаптация линейного поиска Armijo.

SALSA (Stable Armijo Line Search Adaptation) — метод, разработанный для оптимизации Learning Rate (LR) во время обучения.
Основная концепция метода построена вокруг выполнения линейного поиска для определения наилучшего возможного LR для каждого шага обучения, что дает быструю сходимость и улучшенное обобщение.

Чтобы уменьшить вычислительную нагрузку, Salsa предлагает пошаговый миниатюрный линейный поиск. В нем LR постепенно увеличивается с каждым шагом, а критерий линейного поиска постоянно переоценивается.
Дополнительно, Salsa включает экспоненциальное сглаживание в процесс линейного поиска и устанавливает два экспоненциальных скользящих средних для скорости обучения. Это помогает стабилизировать оптимизацию и уменьшить нестабильность от мини-пакетирования.

Экспериментальные результаты показывают, что Salsa превосходит другие методы оптимизации: 50% сокращение final loss и 1,25 average rank в языковых и графических задачах.
Вычислительные издержки Salsa всего на 3% выше, чем у базового LR метода, что можно воспринимать как незначительным увеличением, учитывая показатели производительности. Salsa достаточно универсален, чтобы использоваться с различными оптимизаторами, и особенно эффективен при обучении современных архитектур, которые чувствительны к скорости обучения.

▶️Локальный запуск:

# Clone repository:
git clone https://github.com/TheMody/No-learning-rates-needed-Introducing-SALSA-Stable-Armijo-Line-Search-Adaptation.git

# Create & activate env:
conda env create -f environment.yml
conda activate sls3

# Install dependencies:
pip install pytorch numpy transformers datasets tensorflow-datasets wandb

# NOTE: custom optimizer is in \salsa\SaLSA.py,comparison version are in \salsa\adam_sls.py:
from salsa.SaLSA import SaLSA
self.optimizer = SaLSA(model.parameters())

# NOTE: typical pytorch forward pass needs to be changed to:
def closure(backwards = False):
y_pred = model(x)
loss = criterion(y_pred, y)
if backwards: loss.backward()
return loss
optimizer.zero_grad()
loss = optimizer.step(closure = closure)



📌Лицензирование :  MIT License


🟡Arxiv
🟡Датасет Cifar-10
🟡Youtube video
🖥Github [ Stars: 11 | Issues: 0 | Forks: 0]


@ai_machinelearning_big_data

#AI #LLM #ML #Train #SALSA

TensorFlow

02 May, 06:49


💨 Scaling hierarchical agglomerative clustering to trillion-edge graphs

Кластеризация графов объединяет похожие элементы в группы, что помогает лучшему понять взаимосвязи в данных.

В этой статье инженеры Google рассказывают о ключевых методах, которые позволили им построить мощнейший алгоритм, позволяющий группировать графы с триллионами ребер.

https://research.google/blog/scaling-hierarchical-agglomerative-clustering-to-trillion-edge-graphs/

@data_analysis_ml

TensorFlow

09 Apr, 16:58


https://blog.tensorflow.org/2024/04/faster-dynamically-quantized-inference-with-xnnpack.html

@tensorflowblog

TensorFlow

29 Mar, 08:03


⚡️ AutoBNN: Probabilistic time series forecasting with compositional bayesian neural networks

Autobahn сочетает интерпретируемость традиционных вероятностных подходов с масштабируемостью и гибкостью нейронных сетей для построения сложных моделей прогнозирования временных рядов с использованием сложных данных.

Узнайте больше и попробуйте готовый код → https://blog.research.google/2024/03/autobnn-probabilistic-time-series.html

@tensorflowblog

TensorFlow

16 Mar, 09:27


SOTA lowbit LLM quantization INT8FP8INT4FP4NF4 sparsity leading model compression techniques on TensorFlow PyTorch and ONNX Runtime

View on Github.com

TensorFlow

14 Mar, 10:04


https://blog.tensorflow.org/2024/03/whats-new-in-tensorflow-216.html

@tensorflowblog

TensorFlow

14 Mar, 09:49


🍎 PJRT упрощает интеграцию Apple silicon и ML framework.

Узнайте все о том, как Apple использует порт для ускорения моделей JAX на графических процессорах Apple silicon и AMD, и как вы можете начать работу с PJRT уже сегодня

👉 https://opensource.googleblog.com/2024/03/pjrt-plugin-to-accelerate-machine-learning.html

@bigdatai

TensorFlow

13 Feb, 18:19


https://blog.tensorflow.org/2024/02/graph-neural-networks-in-tensorflow.html

@tensorflowblog

TensorFlow

07 Feb, 11:42


🔥 Графовые нейронные сети (ГНС) стали мощным методом работы с уникальными и разнородными данными из графов.

Google объявили о выпуске TensorFlow GNN 1.0 (TF-GNN), проверенной на практике библиотеки для построения GNN в масштабе.

Анонс: https://blog.research.google/2024/02/graph-neural-networks-in-tensorflow.html

Colab: https://colab.research.google.com/github/tensorflow/gnn/blob/master/examples/notebooks/ogbn_mag_e2e.ipynb

Github: https://github.com/tensorflow/gnn

@data_analysis_ml

TensorFlow

03 Feb, 07:00


TimesFM is a forecasting model, pre-trained on a large time-series corpus of 100 billion real world time-points

https://blog.research.google/2024/02/a-decoder-only-foundation-model-for.html

TensorFlow

19 Jan, 04:58


🖥 Introducing ASPIRE for selective prediction in LLMs

Google представили ASPIRE - фреймворк, который расширяет возможности предсказания больших языковых моделей, позволяя им выдавать ответ в паре с оценкой уверенности.

Узнайте, почему он превосходит современные методы на различных наборах данных QA.

https://blog.research.google/2024/01/introducing-aspire-for-selective.html

@ai_machinelearning_big_data

TensorFlow

06 Dec, 03:51


https://blog.tensorflow.org/2023/12/tensorflow-215-update-hot-fix-linux-installation-issue.html

@tensorflowblog

TensorFlow

03 Dec, 02:14


https://blog.tensorflow.org/2023/11/half-precision-inference-doubles-on-device-inference-performance.html

@tensorflowblog

TensorFlow

17 Nov, 19:48


https://blog.tensorflow.org/2023/11/whats-new-in-tensorflow-2-15.html

@tensorflowblog

TensorFlow

10 Nov, 21:27


https://blog.tensorflow.org/2023/10/simulated-spotify-listening-experiences-reinforcement-learning-tensorflow-tf-agents.html

@tensorflowblog

TensorFlow

04 Nov, 12:21


🔥 Google представили новый алгоритм кластеризации, эффективно сочетающий преимущества масштабируемости моделей эмбедингов и качества моделей кросс-внимания для повышения эффективности и качества операций кластеризации. Посмотреть. →https://blog.research.google/2023/11/best-of-both-worlds-achieving.html

@data_analysis_ml