Вокруг Kubernetes в VK

Дайджест полезных статей

Привет! Собрали для вас ссылки на интересные статьи про DevOps и Kubernetes за последнее время. Хороших выходных!

Статьи с Хабра:

📗 Создание кастомного балансировщика нагрузки на Go для gRPC с приоритизацией адресов

📗 Как работают Kubernetes Services: управление трафиком с помощью iptables / Хабр

📗 Mattermost + Jitsi + k8s

Англоязычные источники:

📘 Automating Docker Image Scans for Vulnerabilities in Jenkins Pipelines

📘 How to Perform Canary Deployments with Kubernetes

📘 Expand/Collapse a container image

📘 10 Powerful Bash Scripts to Automate Your DevOps Tasks in the Cloud

📘 Managing threat intelligence in Falco

Приятного чтения на выходных!

👉🏻 Подписаться на телеграм-канал «Вокруг Kubernetes в VK»

#vktech #kubernetes

​Дайджест новостей и полезных статей

Привет! Сегодня в дайджесте две части. Первая – обновления нашего сервиса Cloud Containers. Вторая — традиционная подборка материалов.

➡️ Обновили Kubernetes до версии 1.29

Кластер с Kubernetes 1.29 можно создать через личный кабинет, API и Terraform. В новой версии обновляются версии CNI, CoreDNS и других компонентов. Версия 1.24.x исключается из списка доступных версий для создания кластера, но возможность обновления старых кластеров до версии 1.24.x сохраняется.

Подробнее про обновление

➡️ Региональные кластеры Kubernetes с повышенной отказоустойчивостью

В сервисе Cloud Containers теперь можно создавать кластеры Kubernetes с 3 или 5 master-узлами, размещенными в разных зонах доступности одного региона. Такие кластеры хорошо подходят для приложений с высокими требованиями к отказоустойчивости.

Подробнее

➡️ Материалы про DevOps и Kubernetes за последнее время

Статьи с Хабра:

📗 Как мы докатились до Kubernetes и чем он заслужил любовь бизнеса

📗 Как мы строили платформу на базе Kubernetes и старались не скатиться в «Кубер с аутентификацией»

📗 Обновления Deckhouse Kubernetes Platform 1.61-1.64: переход на Grafana 10, отказоустойчивость с Fencing, CLI для Windows

Англоязычные источники:

📘 How to Deploy a Three-Tier Application on GKE: A Step-by-Step Guide | DevOps.dev

📘 Mastering Argo CD image updater with Helm: a complete configuration guide | CNCF

📘 WSO2 API managers manage AI APIs | InfoWorld

Приятного чтения на выходных!

👉🏻 Подписаться на телеграм-канал «Вокруг Kubernetes в VK»

#vktech #kubernetes

Привет! Собрали для вас ссылки на интересные статьи про DevOps и Kubernetes за последнее время. Хороших выходных!

➡️ В этот раз одна статья с Хабра:

📗 Новая аутентификация в Kubernetes: зачем переходить на Structured Authentication Config

➡️ И пять — в англоязычных источниках:

📘 Why We Need Continuous Integration/Continuous Deployment | by Rehmanabdul | Medium | DevOps.dev

📘 Deployment of Two-Tier Web Application with Docker-Compose | by Ali Hamza | Medium | DevOps.dev

📘 Containerized Browser Testing with Playwright on Kubernetes | by th@n@n | DevOps.dev

📘 How to Add PostgreSQL, A High-Availability Database to Your Kubernetes Cluster | by Rehmanabdul

📘 Cultivating a successful engineering culture with Platform Engineering | CNCF

Приятного чтения на выходных!

👉🏻 Подписаться на телеграм-канал «Вокруг Kubernetes в VK»

#vktech #kubernetes

Привет! Собрали для вас ссылки на интересные статьи про DevOps и Kubernetes за последнее время. Хороших выходных!

➡️ На Хабре рекомендуем читать:

📗 Корректное завершение работы подов в Kubernetes

📗 Создание кастомного Kubernetes Scheduler для StatefulSet

📗 Автоматизация управления ресурсами окружений в Dev Platform

📗 Как сделать простые метрики для оценки полосы пропускания сети?

И в англоязычном сегменте сети тоже:

📘 7 Best Open Source Storage Solutions for Kubernetes | by Usama Malik | Medium | DevOps.dev

📘 How to Deploy Microservices with Helm and ArgoCD in Kubernetes | by Rehmanabdul | Medium | DevOps.dev

📘 How to Scale Kubernetes Deployment Based on RabbitMQ Queue Size with Keda | by Rehmanabdul | Medium | DevOps.dev

📘 How to Generate, Transform, and Patch Kubernetes Configuration with Kustomize | by Usama Malik | Medium | DevOps.dev

Приятного чтения на выходных!

👉🏻 Подписаться на телеграм-канал «Вокруг Kubernetes в VK»

#vktech #kubernetes

​Привет! Собрали для вас ссылки на интересные статьи про DevOps и Kubernetes за последнее время.

На Хабре рекомендуем читать:

📗 Цифровая трансформация в России: роль DevOps в новой реальности

📗 Три распространенных ошибки с метриками Kubernetes в PromQL

📗 Keycloak. Мапинг учеток через mTLS c двойной проверкой сертификатов в kubernetes

📗 Связка KVM и OpenStack

📗 Лучший способ создания нескольких окружений для Spring Boot приложения с помощью Docker Compose

📗 Функциональное тестирование Kubernetes Operators с Kubebuilder

И в англоязычном сегменте сети тоже:

📘 Why Kubernetes is removing in-tree cloud-provider integration support in v1.31, and how it can affect you | CNCF

📘 Kubernetes CI/CD Pipelines: GitHub Actions with Devtron

Приятного чтения на выходных!

👉🏻 Подписаться на телеграм-канал «Вокруг Kubernetes в VK»

#vktech #kubernetes

​Привет. На Хабре статья по мотивам выступления Александра Сербула из «Битрикс24» на VK Cloud «Как мы построили BI-систему, изменили процессы разработки и создали 25 000 подов клиентов в Kubernetes». Очень рекомендуем, если вы пропустили его выступление.

👉 И конечно, мы собрали для вас дайджест. На Хабре вышло много интересных статей:

📗 Типы проб в Kubernetes: проверяем работоспособность систем

📗 Установка Kubernetes через MicroK8s и настройка деплоя NestJS и Angular приложений

📗 Доступ к сайту на NestJS и Angular по доменному имени c SSL — сертификатом в Kubernetes через Ingress

📗 Как установить и использовать кластер Kubernetes при помощи утилиты kind

📗 Rolling Updates: как обновлять без простоев и стресса

📗 Руководство от ненавистника Kubernetes: как использовать эту технологию

📗 Путь в GitOps или как мы перевели кластер Kubernetes под управление Argo CD

И в англоязычном сегменте сети тоже:

📘 Virtual Clusters for Kubernetes

📘 Kubernetes CRD generation pitfalls

📘 Setting-up Complete Observability for Your Application with Kops.dev

Приятного чтения на выходных!

👉🏻 Подписаться на телеграм-канал «Вокруг Kubernetes в VK»

#vktech #kubernetes

Как ускорить бизнес и сделать его более безопасным?

На вебинаре «Как в одном облаке VK Cloud найти решения для всех клиентов Voximplant и почему это безопасно» эксперты из Voximplant и VK Cloud обсудят предпосылки и сценарии переезда в облако, расскажут, как облачные технологии улучшают результаты бизнеса, повышают его скорость и безопасность.

На примере кейсов клиентов Voximplant из различных отраслей спикеры продемонстрируют готовые решения, построенные с использованием K8S в VK Cloud. Например, для запуска облачных функций в продукте Voximplant Kit.

Когда: 19 сентября в 15:00 по Казахстану (13:00 МСК)

Где: онлайн

Регистрация

Спикеры:

🔹 Тимур Айткалиев, менеджер по развитию бизнеса VK Cloud в Казахстане;

🔹 Наиля Валеева, руководитель направления по развитию бизнеса Voximplant в СНГ;

🔹 Владимир Самуков, руководитель отдела внедрения Voximplant.

Вебинар бесплатный, требуется регистрация.

​Всем привет! Собрали для ссылки на интересные статьи про DevOps и Kubernetes за две недели. Хороших выходных!

На Хабре рекомендуем читать:

📗 Автоскейлинг микросервисов с HPA в Kubernetes

📗 Рецензия на книгу “Docker. Вводный курс. 3 издание"

📗 Безопасность контейнерных сред: как отбить атаки киберпиратов

📗 Безопасность контейнеров на новом уровне: Погружение в Trivy

В англоязычном сегменте сети вышли вот эти интересные статьи:

📘 Kubernetes vs Docker: Which Container Solution Fits Your Needs Best? | by Usama Malik | Medium | DevOps.dev

📘 Common Kubernetes Errors. Pods, deployments, and services are… | by Karthik Seenuvasan | Aug, 2024 | DevOps.dev

📘 A detailed guide to cron jobs | Razorops

📘 Preemptible Pods: Optimizing Kubernetes Node Utilization

А в другой нашей группе «Данные на стероидах» вышел дайджест про Apache Airflow. Там есть и интересные статьи про K8s:

📕 Airflow в Kubernetes (часть 1) и Airflow в Kubernetes (часть 2)
📕 Опыт эксплуатации Airflow в Kubernetes

Приятного чтения на выходных!

👉🏻 Подписаться на телеграм-канал «Вокруг Kubernetes в VK»

​Привет. На этой неделе мы рассказали на Хабре, как направить расходы при работе с Kubernetes в правильное русло. Ловите наш полезный чек-лист.

И конечно, собрали для вас дайджест. На Хабре рекомендуем читать:

📗 Безопасность контейнеров на новом уровне: Погружение в Trivy / Хабр

📗 Использование СХД Qsan в среде управления контейнерами Kubernetes

📗 K8s best practices, или Что будет, если их не соблюдать

А в англоязычном сегменте сети вышли вот эти интересные статьи:

📘 Cutting the High Cost of Testing Microservices — The New Stack

📘 Slack Develops Bedrock Operator for Kubernetes StatefulSets — InfoQ

📘 How to Containerize Machine Learning Models with Docker and Kubernetes | by Rehmanabdul | Medium | DevOps.dev

📘 Kubernetes 1.31: VolumeAttributesClass for Volume Modification Beta

📘 We Can Resize Pods without Restarts! Or Can't We? | PerfectScale

📘 Introducing Feature Gates to Client-Go: Enhancing Flexibility and Control | Kubernetes

Приятного чтения на выходных!

👉🏻 Подписаться на телеграм-канал «Вокруг Kubernetes в VK»

K8s в онлайн-школе Data Science

karpov.courses — онлайн-школа для тех, кто хочет стать специалистом в области ML и Data Science.

Инструменты для обучения студентов, выполнения домашних заданий, аналитики и тестирования ML-моделей размещаются в Kubernetes.

Стабильность сервисов критически зависит от автоскейлинга K8s, потому что нагрузка кратно возрастает в часы, когда начинаются занятия. Чтобы студенты сразу приступили к учебе, необходимо быстро выделять ресурсы.

Почитайте, как устроена инфраструктура школы.

📗 Читать историю

Привет. Олег Вознесенский, исполнительный директор по разработке в Газпромбанк, на VK Kubernetes Conf 2024 выступал с докладом про историю изменения подходов к эксплуатации Kubernetes Airflow. А сегодня у него вышла статья на Хабре на эту же тему. Смотрите запись, читайте доклад, стройте свои удобные, гибкие и безопасные платформы на K8S.

➡️ Обязательно читайте!

👉🏻 Подписаться на телеграм-канал «Вокруг Kubernetes в VK»

​Привет. Собрали для вас самые интересные материалы про DevOps и Kubernetes за две недели. Хороших выходных!

Начнём с Хабра:

➡️ Сетевые плагины (CNI) в Kubernetes

➡️ Продираемся сквозь сети в Kubernetes: Load-Balance, BGP, IPVS и все такое прочее

И англоязычные ресурсы не забываем:

📗 How to Use Docker Without Docker Desktop on MacOS | by Rehmanabdul | Medium | DevOps.dev

📗 The technical complexities of decoupled authorization | CNCF

📗 Installing multiple helm charts in one go [Approach 3 - using simple bash utility] - DEV Community

📗 Everything you need to pass the Certified Kubernetes Application Developer (CKAD) Exam | by headintheclouds | Jul, 2024 | Dev Genius

📗 Integrating Kubernetes with ArgoCD: A Step-by-Step Implementation Guide | by Zain Hafeez | Jul, 2024

📗 Docker vs Podman: Enhancing Security in Container Orchestration | by Rehmanabdul | Medium | DevOps.dev

📗 Advanced Usage of Pods in Kubernetes | by ByteCook | Jul, 2024 | DevOps.dev

📗 Docker Use Cases: 7 Effective Ways to Use Docker | by Rehmanabdul | Medium | DevOps.dev

👉🏻 Подписаться на телеграм-канал «Вокруг Kubernetes в VK»

Привет. Недавно у нас прошёл вебинар «Как работать с Kubernetes и не тратить лишнего?», на котором Алексей Волков не успел ответить на вопрос, что можно сделать для ускорения реакции Horizontal Pod Autoscaler (HPA) на резко возрастающий трафик в кластере Kubernetes (k8s).

Отвечаем! В Cloud Containers можно применить следующие стратегии:

1. Настройте параметры HPA:

🔹 Уменьшите параметр --horizontal-pod-autoscaler-downscale-stabilization (по умолчанию 5 минут). Это сократит время ожидания перед уменьшением количества реплик.

🔹 Уменьшите параметр --horizontal-pod-autoscaler-initial-readiness-delay для более быстрой реакции на первоначальную готовность подов.

🔹 Настройте --horizontal-pod-autoscaler-cpu-initialization-period для более быстрой инициализации метрик CPU.

2. Используйте пользовательские метрики. Вместо стандартных метрик CPU/Memory используйте пользовательские метрики, которые быстрее реагируют на изменение нагрузки (например, количество запросов в секунду).

3. Убедитесь, что Cluster Autoscaler настроен правильно для быстрого добавления новых узлов при необходимости.

4. Оптимизируйте развертывание подов:

🔹 Используйте легковесные образы контейнеров для ускорения запуска.

🔹 Оптимизируйте проверки готовности и живучести для более быстрого перехода подов в рабочее состояние.

5. Предварительное масштабирование. Если возможно предсказать пики нагрузки, используйте Kubernetes CronJobs для предварительного масштабирования.

6. Используйте буферные поды. Держите небольшое количество «горячих» подов в режиме ожидания для мгновенной обработки возрастающей нагрузки.

7. Настройте политики масштабирования. Используйте агрессивную политику масштабирования для быстрого реагирования на пики нагрузки. Пример конфигурации HPA с более быстрой реакцией:

yaml
apiVersion: autoscaling/v2beta1
kind: HorizontalPodAutoscaler
metadata:
name: fast-reaction-hpa
spec:
scaleTargetRef:
apiVersion: apps/v1
kind: Deployment
name: your-deployment
minReplicas: 2
maxReplicas: 10
metrics:
- type: Resource
resource:
name: cpu
targetAverageUtilization: 50
behavior:
scaleDown:
stabilizationWindowSeconds: 60
policies:
- type: Percent
value: 100
periodSeconds: 15
scaleUp:
stabilizationWindowSeconds: 0
policies:
- type: Percent
value: 100
periodSeconds: 15
- type: Pods
value: 4
periodSeconds: 15
selectPolicy: Max

Эта конфигурация устанавливает более короткое окно стабилизации для масштабирования вниз и агрессивную политику масштабирования вверх. Важно помнить, что слишком агрессивное масштабирование может привести к нестабильности системы и повышенным затратам. Рекомендуется тщательно тестировать настройки в среде, близкой к производственной, перед применением в реальных условиях.

👉🏻 Подписаться на телеграм-канал «Вокруг Kubernetes в VK»

​Привет. Каких фич не хватает K8s? По мнению пользователей юзеров Reddit, это:

🔹 упрощение процесса обновления / семантическое версионирование K8s и компонентов;

🔹 более продолжительная поддержка версий (LTS);

🔹 дополнительные возможности по отладке;

🔹 больше встроенных стратегий развертывания;

🔹 настоящая федерация кластеров.

➡️ Подробнее читайте в статье наших коллег из компании «Флант». И пишите в комментариях, каких возможностей не хватает вам.

✅ И конечно, мы собрали для вас самые интересные материалы про DevOps и Kubernetes за две недели. Хороших выходных!

📗 Dockerized PostgreSQL database backup | by H5Game Developer | DevOps.dev

📗 Terraform Olympics: building Gold-Medal Cloud infrastructure | by Chichi P Osasah | DevOps.dev

📗 Building a zero CVE strategy I CNCF

📗 Lessons from CrowdStrike’s buggy update: the critical importance of robust release processes | CNCF

📗 Python Pickle Module Tutorial: save and load data with ease | Codemagnet

📗 Why memory mapped files aren’t as good as you think they are | by Josh Weinstein | Dev Genius

📗 Building Scalable Web Applications with Symfony and Docker | Medium

📗 Kubernetes Networking-02-Kubernetes ingress controller comparison (Ingress-Nginx, Contour, HAProxy Ingress) | by Amber Liu | DevOps.dev

📗 Unlocking the Power of Ephemeral Environments with Devtron | CNCF

👉🏻 Подписаться на телеграм-канал «Вокруг Kubernetes в VK»

Начался вебинар «Как работать с Kubernetes и не тратить лишнего».

Присоединяйтесь на VK и YouTube.

Вебинар «Как работать с Kubernetes и не тратить лишнего»

25 июля поговорим про затраты на K8s. Поделимся опытом того, как сократить их, если вы уже работаете с оркестратором. И как настроить экономичную работу с самого начала.

Программа

🔹 «Золотой» стандарт The Twelve-Factor App — разбираем принципы создания «идеального» современного приложения.

🔹 Контроль расходов на уровне K8s — экономим с помощью квот и рассчитываем оптимальные значения реквестов и лимитов.

🔹 Мониторинг — отслеживаем затраты прямо во время работы.

🔹 Автомасштабирование — оптимизируем затраты на уровне архитектуры самого приложения.

Регистрируйтесь на вебинар — мы пришлем ссылку на трансляцию в день мероприятия, а после вышлем запись.

Зарегистрироваться

Привет. Собрали для вас самые интересные материалы про DevOps и Kubernetes за две недели. Хороших выходных!

📗 Kubernetes: Node Affinity, Taints and Tolerations | DevOps.dev

📗 How To Solve the Issue of Network Latency Jitters Caused by a Massive Number of IPVS Rules in Container Networks

📗 Mastering Helm Charts Management - by Amber Liu

📗 RabbitMQ: Part 3: Building Event-Driven Microservices with RabbitMQ and MassTransit - Implementing the Saga Choreography Pattern | by Darshana Mihiran Edirisinghe

📗 Do Containers Really Need Privileged Permissions? | by ByteCook

📗 How WebAssembly components extend the frontiers of Kubernetes to multi-cloud, edge, and beyond | CNCF

📗 Your Guide to Observability Engineering in 2024 | Logz.io

📗 From Tip to Base: Exploring Snowflake Iceberg and Its Impact on Data Management | by vinoth kumar

📗 10 ways to optimize iterative processing in Spark | by Mohit Daxini

📗 Speaking a Ubiquitous Language. Can you quickly grasp a codebase's… | by Luís Soares


👉🏻 Подписаться на телеграм-канал «Вокруг Kubernetes в VK»

Аддон Fluent Bit для сбора логов в собственное хранилище

В нашем сервисе Cloud Containers появился аддон для обработки логов и метрик. С ним можно собирать логи из разных источников и отправлять в собственную систему хранения. А значит, быстрее просматривать и анализировать их на ошибки.

Возможности Fluent Bit

🔹 Сбор, изменение, преобразование и объединение текстовых данных.

🔹 Выгрузка логов, которые генерируются в кластере Kubernetes, в том числе на уровне подов.

🔹 Отправка логов из кластера в вашу систему сбора и обработки логов.

Аддон можно самостоятельно установить через личный кабинет или Terraform. Инструкция по подключению — в документации.

​Привет!

Вчера на VK Cloud Conf Александр Сербул, руководитель направления AI и Big Data в «Битрикс24», выступил с кейсом про разработку продукта на Kubernetes. Очень рекомендуем посмотреть запись его доклада 📹 «Как мы построили BI-систему, изменили процессы разработки, создали 25 000 подов клиентов в Kubernetes».

А еще мы выкатили автомасштабирование флейворов в Cloud Containers. Оно сразу работает для новых кластеров, а для старых включается после обновления. Когда загрузка флейвора достигает 80%, сервис автоматически меняет флейвор master-узла на более производительный. В результате вы получаете стабильный и производительный кластер даже при растущих нагрузках.

➡️ Подробнее про масштабирование читайте в документации.

И конечно, мы собрали дайджест самых интересных и полезных статей из мира K8s:

📗 Scaling & securing a GitLab Runners fleet | by Stefano Tenuta | Jun, 2024 | DevOps.dev.

📗 Debugging HTTP Traffic in kubectl port-forward with KFtray | by Henrique Cavarsan | Jun, 2024 | DevOps.dev.

📗 Effortlessly Manage Your Kubernetes Manifests with Kustomize: A Step-by-Step Guide.

📗 Automated File Sync with Rsync on Linux: A Step-by-Step Guide | by Ashish Singh | DevOps.dev.

📗 Configuration Automation using Ansible Playbooks and Galaxy Roles 🌌 | by Jay Shenkar | Jun, 2024 | DevOps.dev.

📗 Mastering DevSecOps with Devtron: a strategic approach | CNCF.

📗 Why Embrace created span snapshots for mobile observability with OpenTelemetry | CNCF.

📗 Kubernetes overview: Operate cluster data on the frontend.

📗 25 новых проектов в песочнице CNCF: мегаобзор.


👉🏻 Подписаться на телеграм-канал «Вокруг Kubernetes в VK»

Привет. Подключайтесь к большой облачной конференции VK Cloud Conf 2024!

Сейчас руководитель направления AI и Big Data в «Битрикс24» Александр Сербул расскажет, как создать 25 000 подов клиентов в Kubernetes, как масштабировать кластеры, когда количество пользователей кратно выросло, и какие новые технологические процессы для разработки, QA, ИБ необходимо внедрить в работу.

🎥 VK
🎥 YouTube