Вокруг Kubernetes в VK

👉 Дайджест полезных статей

Привет! Собрали для вас ссылки на интересные статьи про DevOps и Kubernetes за последнее время.

Хабр

📗 Kubernetes в джунглях агротех: как мы спасаем банановые кластеры

📗 Сканируем кластер Kubernetes без лишних сущностей

📗 Управление данными в Deckhouse стало проще: интеграция с TATLIN.UNIFIED

📗 Kubernetes Garbage Collector. Как он работает

Еще увидели статью от автора книги «Kubernetes для разработчиков» (внутри статьи — ссылки на саму книгу).

📙 «Kubernetes для разработчиков»

Англоязычные источники

📘 5 Game-Changing Trends for 2025: Kubernetes Leads the Way - The New Stack

📘 Why we need a unified approach to Kubernetes environments

📘 11 Promising Kubernetes Tools in 2025

Приятного чтения на выходных!

👉🏻 Подписаться на телеграм-канал «Вокруг Kubernetes в VK»

#vktech #kubernetes

​World of Warcraft, Counter-Strike, Fortnite — эти и другие многопользовательские игры изменили современное IT

Привет! Продолжаем вести заметки облачного Стаса. Итак, сегодня про игры.

Для их разработки инженерам нужно было:

🔹 минимизировать хопы в сетевых соединениях;

🔹 обеспечить автоматическое масштабирование серверов;

🔹 снизить время отклика за счет распределенных кластеров.

В поиске решения инженеры двигали вперед и игры, и сами технологии. Началось все с IaaS (Infrastructure as a Service) — для развертывания игровых серверов использовались виртуальные машины (ВМ). Ресурсы масштабировались, однако с ними выросли и усилия по управлению и настройке.

С появлением Kubernetes все изменилось: теперь кластерные облачные решения с Kubernetes управляют игровыми backend-инфраструктурами. А еще, автоматизируют процессы развертывания, масштабирования и отказоустойчивости.

То, что когда-то создавалось для развлечений, теперь лежит в основе современной IT-инфраструктуры. Жизнь разработчиков и операторов становится проще, а системы — надежней и гибче. 🚀🎮

Удобнейший инструмент работы с Kubernetes — сценарии в YAML. Про принцип их использования рассказали в нашем блоге и статье на Хабре.

#ЗапискиОблачногоСтаса

🗒 Дайджест полезных статей

Привет! Собрали для вас ссылки на интересные статьи про DevOps и Kubernetes за последнее время.

Хабр

📗 «База» по метрикам в Prometheus

📗 Неиспользуемые остатки образов в Docker: как удалить зомби-слои и защитить секреты

📗 Разворачиваем Langfuse в Kubernetes: open-source альтернатива Langsmith

📗 Как автоматизировать оборону города с помощью Kubernetes CI/CD Pipeline: защита от зомби через автоматические обновления

Англоязычные источники

📘 Leveraging Kubernetes Volume Snapshots for efficient backup and restoration

📘 Demystifying the OpenTelemetry Operator: Observing Kubernetes applications without writing code

📘 Understanding Seccomp — A Comprehensive Guide

Приятного чтения на выходных!

👉🏻 Подписаться на телеграм-канал «Вокруг Kubernetes в VK»

#vktech #kubernetes

Безопасность кластеров и данных в Kubernetes

Kubernetes — мощная платформа для оркестрации контейнеров, но без должного внимания к безопасности она может стать слабым звеном в инфраструктуре.

Для обеспечения ИБ необходимо настроить аутентификацию и авторизацию через RBAC, чтобы минимизировать риски несанкционированного доступа. Шифрование данных должно быть обязательным и в состоянии покоя (например, с использованием etcd с включенным шифрованием), и в процессе передачи (TLS для API-сервера и межподовых коммуникаций). Также важно регулярно обновлять кластер и его компоненты, чтобы устранять уязвимости, и использовать политики безопасности для ограничения привилегий контейнеров. Без этих мер Kubernetes может превратиться не в инструмент для эффективного управления, а в источник угроз, где утечки данных и несанкционированный доступ станут неприятной реальностью.

Отчёт RedHat показал, что 67% компаний пришлось отложить или замедлить развертывание приложений в K8s, т.к. они не смогли решить вопрос с безопасностью. После реализации проектов в K8s 46% респондентов столкнулись с утечкой данных и, следовательно, клиентов.

В 2022 был сформирован перечень основных уязвимостей OWASP Kubernetes Top 10. Суть проекта в том, что он показывает нам ключевые аспекты безопасности Kubernetes, которые необходимо учитывать для защиты кластера и данных.

Например:

Неправильная настройка RBAC (Role-Based Access Control)
Недостаточно строгие настройки ролей и разрешений могут привести к несанкционированному доступу к ресурсам кластера.

Уязвимости в контейнерах
Использование образов контейнеров с известными уязвимостями или отсутствие регулярного сканирования на уязвимости повышает риски эксплуатации.

Небезопасная конфигурация сети
Отсутствие ограничений на сетевые политики (Network Policies) может позволить злоумышленникам перемещаться между подами и нодами.

Некорректное управление секретами (Secrets)
Хранение чувствительных данных, таких как пароли или токены, в незашифрованном виде или с недостаточными ограничениями доступа.

Отсутствие аудита и мониторинга
Недостаточное логирование и мониторинг действий в кластере затрудняют обнаружение и расследование инцидентов.

Неправильная настройка политик безопасности подов (Pod Security Policies)
Отсутствие ограничений на привилегии контейнеров может привести к эскалации привилегий или компрометации узлов.

Устаревшие или уязвимые версии Kubernetes
Использование старых версий Kubernetes, содержащих известные уязвимости, повышает риск атак.

Небезопасная конфигурация API-сервера
Открытый доступ к API-серверу без аутентификации или с недостаточными ограничениями может привести к компрометации кластера.

Некорректное управление ресурсами
Отсутствие лимитов на использование ресурсов (CPU, память) может привести к атакам типа «отказ в обслуживании» (DoS).

Недостаточная изоляция мультитенантных сред
Неправильная настройка изоляции между пользователями или командами в одном кластере может привести к утечке данных или нарушению работы.

Читайте подробнее на странице проекта

Разработка в Kubernetes требует постоянного внимания к безопасности. Настройте RBAC, шифруйте данные, ограничивайте привилегии контейнеров и обновляйте кластер. Безопасность — это не разовая задача, а процесс. Помните: даже мощный инструмент уязвим без базовой защиты. Держите фокус на ИБ, и ваш кластер будет надежным.

С днем защиты персональных данных!

Привет!

На связи Стас Погоржельский — технологический евангелист в VK Cloud. И это моя рубрика «Записки облачного Стаса». В ней я даю комментарий, соглашаюсь, не соглашаюсь и всячески высказываюсь на разные темы. Сегодня — про статью на тему CI/CD, которую мы приводили в дайджесте выше.

А вы знаете, что использование доступного CI/CD инструментария повышает успех в личной жизни? :) Ведь что может быть привлекательнее, чем безошибочная разработка и успешный деплой в продакшн без конфликтов? Когда ваш процесс жизни автоматизирован, а каждое изменение проходит через тщательное код-ревью, вы неизбежно становитесь Суперкрутым Айтишником.

Представьте: на митингах вы с легкостью рассказываете, как ваши разработки проходят все этапы — от сборки до продакшена — без единого фейла, а ваш подход к жизни так же надежен, как ваш CI/CD сервис. Коллеги, видя вашу способность грамотно управлять конфигурациями и быстро откатывать неудачные релизы, понимают, что с вами любые жизненные баги будут фикситься мгновенно.

Даниил, в своей статье «Из 2024 в 2025: вспоминаем лучшие практики CI/CD» описывает лучшие и эффективные практики внедрения и использования CI/CD в компании, а также дает классные советы с практическими примерами. Например, использование инструмента Kaniko для реализации безопасности контейнеров-образов внутри Kubernetes. Создание репозитория с шаблонами CI. Это критично, когда в компании много проектов и нужно быстро управлять инфраструктурой.

Читать статью

#ЗапискиОблачногоСтаса

Минидайджест полезных статей

Привет! Собрали немного ссылок на интересные статьи про DevOps и Kubernetes. Какая рабочая неделя, такой и дайджест)

👉 Подборка статей с Хабра

📗 Из 2024 в 2025: вспоминаем лучшие практики CI/CD

📗 Simple Spring (полный фарш)

📗 Как организовать безопасное хранение секретов в Docker: лучшие практики

Приятного чтения на выходных!

👉🏻 Подписаться на телеграм-канал «Вокруг Kubernetes в VK»

#vktech #kubernetes

Опыт настройки и эксплуатации Apache Airflow

А вы обратили внимание, что нас в перечне приложений, которые разворачиваются в k8s, есть ETL-шедулер инструмент для автоматизации процессов?

Мы про Apache Airflow. Данное решение извлекает данные из различных источников для преобразования в нужный вам формат и загрузку в целевые системы (например, хранилища данных). Он управляет расписанием задач, их зависимостями, мониторингом выполнения и уведомлениями в случае ошибок.

Почему мы даем доступ именно в k8s? Эффективное управление процессами требует мощного оборудования или облачных решений с возможностью масштабирования, т.к. связанно с обработкой больших объёмов данных.

Основные причины, когда вам нужно будет учесть наличие масштабируемых вычислительных ресурсов.

1. Извлечение данных. Подключение к нескольким источникам (базы данных, API) может требовать значительной сетевой пропускной способности и обработки запросов.

2. Преобразование данных. Комплексные преобразования (агрегация, очистка, фильтрация) требуют высокой мощности ЦПУ и памяти, особенно для больших и сложных наборов данных.

3. Параллельная обработка. Чтобы ускорить выполнение, задачи выполняются параллельно, что увеличивает нагрузку на ресурсы.

4. Мониторинг и логи. Постоянное отслеживание задач и запись логов также потребляют ресурсы.

Подробнее про настройку и эксплуатацию Airflow мы написали в статье «Наш опыт эксплуатации Airflow в Kubernetes».

Восстановление подов Kubernetes в случае ошибки

Рекомендуем обратить внимание на подход Reconciliation Loop (цикл согласования). Это механизм, с помощью которого контроллеры обеспечивают соответствие текущего состояния объектов желаемому. Каждый контроллер постоянно отслеживает изменения в кластере, сравнивает текущее состояние ресурсов (подов, сервисов) с заданным в манифестах и предпринимает действия для устранения расхождений.

Этот процесс позволяет автоматически поддерживать в Kubernetes целевую конфигурацию при сбоях. Например, если под завершил работу из-за ошибки, контроллер создаст новый под, чтобы восстановить заданное количество реплик. Reconciliation Loop делает Kubernetes устойчивым и автоматизированным, минимизируя ручное вмешательство.

Рекомендуем почитать статью, которая описывает встраивание процесса Reconciliation Loop.

Мы тоже используем этот подход. Подробно описали его в статье «Зачем делать прожорливый софт: принципы reconciliation loop (Привет, K8s!)».

Как автоматизировать хранение конфигураций кластеров Kubernetes?

Как вариант, можно использовать GitOps. Это подход, при котором все конфигурации кластера и приложений хранятся в системе контроля версий (например, Git), а управление ими осуществляется через автоматизированные процессы. Все изменения в инфраструктуре выполняются путем обновления репозитория Git, что обеспечивает полное версионирование, отслеживаемость изменений и возможность отката. Специальные инструменты (например, ArgoCD, Flux) синхронизируют состояние репозитория с Kubernetes-кластером, автоматически применяя изменения.

Этот подход решает задачи автоматизации, повышения стабильности и упрощения управления Kubernetes.

GitOps обеспечивает:

🔹 прозрачность — вся конфигурация хранится в одном месте, доступном для команд разработки и операций;

🔹 безопасность и контроль — изменения проходят код-ревью и CI/CD, минимизируя риски ошибок;

🔹 стабильность — позволяет легко откатываться к предыдущим состояниям в случае сбоев;

🔹 скорость — автоматическая синхронизация сокращает время развертывания и упрощает управление инфраструктурой.

Концепция GitOps была впервые предложена компанией Weaveworks. Они разработали подход, при котором Git используется как единый источник для управления инфраструктурой и приложениями, обеспечивая автоматизацию и контроль изменений.

Рекомендуем посмотреть описание подхода, чтобы начать его использовать. А если интересно, кто его уже использует, читайте в нашем блоге статью с описанием подхода применения GitOps в K8s — «От простого ИТ-ландшафта к единой платформе разработки: эволюция ИТ в Тинькофф».

Сбор логов в Kubernetes

С увеличением количества микросервисов растет и сложность в архитектуре, а также появляется потребность в мониторинге и диагностике.

Каждое приложение в Kubernetes генерирует огромный объем телеметрических данных: метрики о производительности, трейсы для отслеживания запросов между сервисами и логи для диагностики. Эти данные жизненно важны для:

🔹 поиска узких мест в системе,

🔹 обнаружения ошибок и аномалий,

🔹 поддержания высокой доступности сервисов.

Для решения этой задачи рекомендуем обратить внимание на решения OpenTelemetry Collector и Vector.

Очень важно при выборе приложения сбора событий учесть защищенность приложения и открытость коммьюнити в отчетности по реализованным CVE. Например, вот статья, в которой OpenTelemetry активно делится своими достижениями в области ИБ.

В нашем блоге мы тоже делимся полезными гайдами. Например, статья «Сбор логов в Kubernetes с помощью Vector: преимущества, архитектура, реальные кейсы», в которой мы подробно описали, как приложение в нашей облачной среде.

​Привет! В наш последний рабочий день декабря собрали все статьи про работу с Kubernetes, которые мы выпустили на Хабре в этом году. Приятного вам чтения, хороших выходных и праздников!

📗 Запуск проекта в Kubernetes за 60 минут: инструменты, GitLab, Terraform

📘 Сбор логов в Kubernetes с помощью Vector: преимущества, архитектура, реальные кейсы

📗 От простого ИТ-ландшафта к единой платформе разработки: эволюция ИТ в Тинькофф

📘 Как мы сделали свой mini-k8s на go с helm шаблонизатором

📗 Зачем делать прожорливый софт: принципы reconciliation loop (Привет, K8s!)

📘 Миграция в облако быстро и без ошибок. Миграция кластера Kubernetes (а также, миграция виртуальных машин и миграция баз данных и объектных хранилищ S3)

📗 Технологии, с которыми работает VK: Kubernetes и не только

📘 Наш опыт эксплуатации Airflow в Kubernetes

📗 Полезный чек-лист: способы сокращения расходов при работе с Kubernetes

📘 Как мы построили BI-систему, изменили процессы разработки и создали 25 000 подов клиентов в Kubernetes

📗 Три распространенных ошибки с метриками Kubernetes в PromQL

📘 Обзор готовых решений для построения портала IDP и когда они не подходят: анализ на примере кейса компании Evrone

👉🏻 Подписаться на телеграм-канал «Вокруг Kubernetes в VK»

#vktech #kubernetes

Дайджест полезных статей

Привет! Собрали для вас ссылки на интересные статьи про DevOps и Kubernetes за последнее время.

➡️ Подборка статей с Хабра

📗 Подключаем удалённую samba-шару в качестве PersistentStorage в Kubernetes

📗 Мониторинг бизнес-процессов с помощью OpenTelemetry

📗 Отход от Airflow: почему Dagster — это оркестратор данных следующего поколения

📗 Удобные дашборды для быстрой диагностики

📗 Руководство по современным сетевым политикам Kubernetes


➡️ Статья с сайта Support Tools

📘 How Kubernetes Uses VXLAN for Overlay Networking

Приятного чтения на выходных!

👉🏻 Подписаться на телеграм-канал «Вокруг Kubernetes в VK»

#vktech #kubernetes

Дайджест полезных статей

Привет! Собрали для вас ссылки на интересные статьи про DevOps и Kubernetes за последнее время.

➡️ Подборка статей с Хабра

📗 Envoy — как писать чистый бизнес код для микросервисной архитектуры

📗 Просто о сложном: зачем нужны Kube-Audit логи и как с ними подружиться

📗 Как искать и эксплуатировать уязвимости в контейнеризированных средах. Часть 1

📗 Как искать и эксплуатировать уязвимости в контейнеризированных средах. Часть 2

➡️ Англоязычные источники

📘 Топ-6 тенденций в области облачных вычислений на 2025 год

Приятного чтения на выходных!

👉🏻 Подписаться на телеграм-канал «Вокруг Kubernetes в VK»

#vktech #kubernetes

​Дайджест полезных статей

Привет! Собрали для вас ссылки на интересные статьи про DevOps и Kubernetes за последнее время. Хороших выходных!

➡️ Сегодня — подборка статей с Хабра:

📗 День, когда Земля остановилась

📗 Apache Airflow: нестандартное применение

📗 Модель зрелости инфраструктуры как кода

📗 Асинхронная обработка Stripe событий с помощью Scala

📗 Как мы создавали динамический Kubernetes API server для API Aggregation Layer в Cozystack

📗 Препарируем слои образов Docker

Приятного чтения на выходных!

👉🏻 Подписаться на телеграм-канал «Вокруг Kubernetes в VK»

#vktech #kubernetes

​UX-исследование и полезные статьи

Привет! Традиционно высылаем подборку интересных статей. И приглашаем принять участие в UX-исследовании!

👉 Поделитесь идеями в интервью

Мы разрабатываем новый визард для создания кластеров Kubernetes и хотим сделать его максимально удобным и понятным. Ваши идеи и опыт помогут улучшить платформу. Участники получат 5000 бонусов в личном кабинете VK Cloud.

Кого мы ждем на интервью?

🔹 Пользователей, имеющих опыт создания кластеров Kubernetes (в VK Cloud или других продуктах).

🔹 DevOps-инженеров, Site Reliability инженеров, тимлидов разработки или ведущих разработчиков.

Заполняйте заявку. Наш специалист свяжется с вами, уточнит детали и мы проведем встречу в Zoom в удобное время. После вы получите бонусы.

➡️ Статьи с Хабра

📗 CI/CD Kubernetes платформа Gitorion. Highly Available исполнение

📗 Готовим Gitea со вкусом werf CI/CD и Dex-авторизации в кластере Deckhouse Kubernetes Platform. Часть 1

📗 Готовим Gitea со вкусом werf CI/CD и Dex-авторизации в кластере Deckhouse Kubernetes Platform. Часть 2

📗 Авторизация в Docker Private Registry


➡️ Англоязычные источники

📘 Creating Scalable Microservices with Kubernetes and Istio

📘 Building a Secure Multi-Container Application with Docker and Nginx

📘 How to Manage Configurations and Secrets in Kubernetes

📘 Complete Guide to External State Stores: Implementation and Best Practices

Приятного чтения на выходных!

👉🏻 Подписаться на телеграм-канал «Вокруг Kubernetes в VK»

#vktech #kubernetes

Дайджест полезных статей

Привет! Собрали для вас ссылки на интересные статьи про DevOps и Kubernetes за последнее время. Хороших выходных!

Статьи с Хабра:

📗 Создание кастомного балансировщика нагрузки на Go для gRPC с приоритизацией адресов

📗 Как работают Kubernetes Services: управление трафиком с помощью iptables / Хабр

📗 Mattermost + Jitsi + k8s

Англоязычные источники:

📘 Automating Docker Image Scans for Vulnerabilities in Jenkins Pipelines

📘 How to Perform Canary Deployments with Kubernetes

📘 Expand/Collapse a container image

📘 10 Powerful Bash Scripts to Automate Your DevOps Tasks in the Cloud

📘 Managing threat intelligence in Falco

Приятного чтения на выходных!

👉🏻 Подписаться на телеграм-канал «Вокруг Kubernetes в VK»

#vktech #kubernetes

​Дайджест новостей и полезных статей

Привет! Сегодня в дайджесте две части. Первая – обновления нашего сервиса Cloud Containers. Вторая — традиционная подборка материалов.

➡️ Обновили Kubernetes до версии 1.29

Кластер с Kubernetes 1.29 можно создать через личный кабинет, API и Terraform. В новой версии обновляются версии CNI, CoreDNS и других компонентов. Версия 1.24.x исключается из списка доступных версий для создания кластера, но возможность обновления старых кластеров до версии 1.24.x сохраняется.

Подробнее про обновление

➡️ Региональные кластеры Kubernetes с повышенной отказоустойчивостью

В сервисе Cloud Containers теперь можно создавать кластеры Kubernetes с 3 или 5 master-узлами, размещенными в разных зонах доступности одного региона. Такие кластеры хорошо подходят для приложений с высокими требованиями к отказоустойчивости.

Подробнее

➡️ Материалы про DevOps и Kubernetes за последнее время

Статьи с Хабра:

📗 Как мы докатились до Kubernetes и чем он заслужил любовь бизнеса

📗 Как мы строили платформу на базе Kubernetes и старались не скатиться в «Кубер с аутентификацией»

📗 Обновления Deckhouse Kubernetes Platform 1.61-1.64: переход на Grafana 10, отказоустойчивость с Fencing, CLI для Windows

Англоязычные источники:

📘 How to Deploy a Three-Tier Application on GKE: A Step-by-Step Guide | DevOps.dev

📘 Mastering Argo CD image updater with Helm: a complete configuration guide | CNCF

📘 WSO2 API managers manage AI APIs | InfoWorld

Приятного чтения на выходных!

👉🏻 Подписаться на телеграм-канал «Вокруг Kubernetes в VK»

#vktech #kubernetes

Привет! Собрали для вас ссылки на интересные статьи про DevOps и Kubernetes за последнее время. Хороших выходных!

➡️ В этот раз одна статья с Хабра:

📗 Новая аутентификация в Kubernetes: зачем переходить на Structured Authentication Config

➡️ И пять — в англоязычных источниках:

📘 Why We Need Continuous Integration/Continuous Deployment | by Rehmanabdul | Medium | DevOps.dev

📘 Deployment of Two-Tier Web Application with Docker-Compose | by Ali Hamza | Medium | DevOps.dev

📘 Containerized Browser Testing with Playwright on Kubernetes | by th@n@n | DevOps.dev

📘 How to Add PostgreSQL, A High-Availability Database to Your Kubernetes Cluster | by Rehmanabdul

📘 Cultivating a successful engineering culture with Platform Engineering | CNCF

Приятного чтения на выходных!

👉🏻 Подписаться на телеграм-канал «Вокруг Kubernetes в VK»

#vktech #kubernetes

Привет! Собрали для вас ссылки на интересные статьи про DevOps и Kubernetes за последнее время. Хороших выходных!

➡️ На Хабре рекомендуем читать:

📗 Корректное завершение работы подов в Kubernetes

📗 Создание кастомного Kubernetes Scheduler для StatefulSet

📗 Автоматизация управления ресурсами окружений в Dev Platform

📗 Как сделать простые метрики для оценки полосы пропускания сети?

И в англоязычном сегменте сети тоже:

📘 7 Best Open Source Storage Solutions for Kubernetes | by Usama Malik | Medium | DevOps.dev

📘 How to Deploy Microservices with Helm and ArgoCD in Kubernetes | by Rehmanabdul | Medium | DevOps.dev

📘 How to Scale Kubernetes Deployment Based on RabbitMQ Queue Size with Keda | by Rehmanabdul | Medium | DevOps.dev

📘 How to Generate, Transform, and Patch Kubernetes Configuration with Kustomize | by Usama Malik | Medium | DevOps.dev

Приятного чтения на выходных!

👉🏻 Подписаться на телеграм-канал «Вокруг Kubernetes в VK»

#vktech #kubernetes

​Привет! Собрали для вас ссылки на интересные статьи про DevOps и Kubernetes за последнее время.

На Хабре рекомендуем читать:

📗 Цифровая трансформация в России: роль DevOps в новой реальности

📗 Три распространенных ошибки с метриками Kubernetes в PromQL

📗 Keycloak. Мапинг учеток через mTLS c двойной проверкой сертификатов в kubernetes

📗 Связка KVM и OpenStack

📗 Лучший способ создания нескольких окружений для Spring Boot приложения с помощью Docker Compose

📗 Функциональное тестирование Kubernetes Operators с Kubebuilder

И в англоязычном сегменте сети тоже:

📘 Why Kubernetes is removing in-tree cloud-provider integration support in v1.31, and how it can affect you | CNCF

📘 Kubernetes CI/CD Pipelines: GitHub Actions with Devtron

Приятного чтения на выходных!

👉🏻 Подписаться на телеграм-канал «Вокруг Kubernetes в VK»

#vktech #kubernetes

​Привет. На Хабре статья по мотивам выступления Александра Сербула из «Битрикс24» на VK Cloud «Как мы построили BI-систему, изменили процессы разработки и создали 25 000 подов клиентов в Kubernetes». Очень рекомендуем, если вы пропустили его выступление.

👉 И конечно, мы собрали для вас дайджест. На Хабре вышло много интересных статей:

📗 Типы проб в Kubernetes: проверяем работоспособность систем

📗 Установка Kubernetes через MicroK8s и настройка деплоя NestJS и Angular приложений

📗 Доступ к сайту на NestJS и Angular по доменному имени c SSL — сертификатом в Kubernetes через Ingress

📗 Как установить и использовать кластер Kubernetes при помощи утилиты kind

📗 Rolling Updates: как обновлять без простоев и стресса

📗 Руководство от ненавистника Kubernetes: как использовать эту технологию

📗 Путь в GitOps или как мы перевели кластер Kubernetes под управление Argo CD

И в англоязычном сегменте сети тоже:

📘 Virtual Clusters for Kubernetes

📘 Kubernetes CRD generation pitfalls

📘 Setting-up Complete Observability for Your Application with Kops.dev

Приятного чтения на выходных!

👉🏻 Подписаться на телеграм-канал «Вокруг Kubernetes в VK»

#vktech #kubernetes

Как ускорить бизнес и сделать его более безопасным?

На вебинаре «Как в одном облаке VK Cloud найти решения для всех клиентов Voximplant и почему это безопасно» эксперты из Voximplant и VK Cloud обсудят предпосылки и сценарии переезда в облако, расскажут, как облачные технологии улучшают результаты бизнеса, повышают его скорость и безопасность.

На примере кейсов клиентов Voximplant из различных отраслей спикеры продемонстрируют готовые решения, построенные с использованием K8S в VK Cloud. Например, для запуска облачных функций в продукте Voximplant Kit.

Когда: 19 сентября в 15:00 по Казахстану (13:00 МСК)

Где: онлайн

Регистрация

Спикеры:

🔹 Тимур Айткалиев, менеджер по развитию бизнеса VK Cloud в Казахстане;

🔹 Наиля Валеева, руководитель направления по развитию бизнеса Voximplant в СНГ;

🔹 Владимир Самуков, руководитель отдела внедрения Voximplant.

Вебинар бесплатный, требуется регистрация.

​Всем привет! Собрали для ссылки на интересные статьи про DevOps и Kubernetes за две недели. Хороших выходных!

На Хабре рекомендуем читать:

📗 Автоскейлинг микросервисов с HPA в Kubernetes

📗 Рецензия на книгу “Docker. Вводный курс. 3 издание"

📗 Безопасность контейнерных сред: как отбить атаки киберпиратов

📗 Безопасность контейнеров на новом уровне: Погружение в Trivy

В англоязычном сегменте сети вышли вот эти интересные статьи:

📘 Kubernetes vs Docker: Which Container Solution Fits Your Needs Best? | by Usama Malik | Medium | DevOps.dev

📘 Common Kubernetes Errors. Pods, deployments, and services are… | by Karthik Seenuvasan | Aug, 2024 | DevOps.dev

📘 A detailed guide to cron jobs | Razorops

📘 Preemptible Pods: Optimizing Kubernetes Node Utilization

А в другой нашей группе «Данные на стероидах» вышел дайджест про Apache Airflow. Там есть и интересные статьи про K8s:

📕 Airflow в Kubernetes (часть 1) и Airflow в Kubernetes (часть 2)
📕 Опыт эксплуатации Airflow в Kubernetes

Приятного чтения на выходных!

👉🏻 Подписаться на телеграм-канал «Вокруг Kubernetes в VK»

​Привет. На этой неделе мы рассказали на Хабре, как направить расходы при работе с Kubernetes в правильное русло. Ловите наш полезный чек-лист.

И конечно, собрали для вас дайджест. На Хабре рекомендуем читать:

📗 Безопасность контейнеров на новом уровне: Погружение в Trivy / Хабр

📗 Использование СХД Qsan в среде управления контейнерами Kubernetes

📗 K8s best practices, или Что будет, если их не соблюдать

А в англоязычном сегменте сети вышли вот эти интересные статьи:

📘 Cutting the High Cost of Testing Microservices — The New Stack

📘 Slack Develops Bedrock Operator for Kubernetes StatefulSets — InfoQ

📘 How to Containerize Machine Learning Models with Docker and Kubernetes | by Rehmanabdul | Medium | DevOps.dev

📘 Kubernetes 1.31: VolumeAttributesClass for Volume Modification Beta

📘 We Can Resize Pods without Restarts! Or Can't We? | PerfectScale

📘 Introducing Feature Gates to Client-Go: Enhancing Flexibility and Control | Kubernetes

Приятного чтения на выходных!

👉🏻 Подписаться на телеграм-канал «Вокруг Kubernetes в VK»

K8s в онлайн-школе Data Science

karpov.courses — онлайн-школа для тех, кто хочет стать специалистом в области ML и Data Science.

Инструменты для обучения студентов, выполнения домашних заданий, аналитики и тестирования ML-моделей размещаются в Kubernetes.

Стабильность сервисов критически зависит от автоскейлинга K8s, потому что нагрузка кратно возрастает в часы, когда начинаются занятия. Чтобы студенты сразу приступили к учебе, необходимо быстро выделять ресурсы.

Почитайте, как устроена инфраструктура школы.

📗 Читать историю

Привет. Олег Вознесенский, исполнительный директор по разработке в Газпромбанк, на VK Kubernetes Conf 2024 выступал с докладом про историю изменения подходов к эксплуатации Kubernetes Airflow. А сегодня у него вышла статья на Хабре на эту же тему. Смотрите запись, читайте доклад, стройте свои удобные, гибкие и безопасные платформы на K8S.

➡️ Обязательно читайте!

👉🏻 Подписаться на телеграм-канал «Вокруг Kubernetes в VK»

​Привет. Собрали для вас самые интересные материалы про DevOps и Kubernetes за две недели. Хороших выходных!

Начнём с Хабра:

➡️ Сетевые плагины (CNI) в Kubernetes

➡️ Продираемся сквозь сети в Kubernetes: Load-Balance, BGP, IPVS и все такое прочее

И англоязычные ресурсы не забываем:

📗 How to Use Docker Without Docker Desktop on MacOS | by Rehmanabdul | Medium | DevOps.dev

📗 The technical complexities of decoupled authorization | CNCF

📗 Installing multiple helm charts in one go [Approach 3 - using simple bash utility] - DEV Community

📗 Everything you need to pass the Certified Kubernetes Application Developer (CKAD) Exam | by headintheclouds | Jul, 2024 | Dev Genius

📗 Integrating Kubernetes with ArgoCD: A Step-by-Step Implementation Guide | by Zain Hafeez | Jul, 2024

📗 Docker vs Podman: Enhancing Security in Container Orchestration | by Rehmanabdul | Medium | DevOps.dev

📗 Advanced Usage of Pods in Kubernetes | by ByteCook | Jul, 2024 | DevOps.dev

📗 Docker Use Cases: 7 Effective Ways to Use Docker | by Rehmanabdul | Medium | DevOps.dev

👉🏻 Подписаться на телеграм-канал «Вокруг Kubernetes в VK»

Привет. Недавно у нас прошёл вебинар «Как работать с Kubernetes и не тратить лишнего?», на котором Алексей Волков не успел ответить на вопрос, что можно сделать для ускорения реакции Horizontal Pod Autoscaler (HPA) на резко возрастающий трафик в кластере Kubernetes (k8s).

Отвечаем! В Cloud Containers можно применить следующие стратегии:

1. Настройте параметры HPA:

🔹 Уменьшите параметр --horizontal-pod-autoscaler-downscale-stabilization (по умолчанию 5 минут). Это сократит время ожидания перед уменьшением количества реплик.

🔹 Уменьшите параметр --horizontal-pod-autoscaler-initial-readiness-delay для более быстрой реакции на первоначальную готовность подов.

🔹 Настройте --horizontal-pod-autoscaler-cpu-initialization-period для более быстрой инициализации метрик CPU.

2. Используйте пользовательские метрики. Вместо стандартных метрик CPU/Memory используйте пользовательские метрики, которые быстрее реагируют на изменение нагрузки (например, количество запросов в секунду).

3. Убедитесь, что Cluster Autoscaler настроен правильно для быстрого добавления новых узлов при необходимости.

4. Оптимизируйте развертывание подов:

🔹 Используйте легковесные образы контейнеров для ускорения запуска.

🔹 Оптимизируйте проверки готовности и живучести для более быстрого перехода подов в рабочее состояние.

5. Предварительное масштабирование. Если возможно предсказать пики нагрузки, используйте Kubernetes CronJobs для предварительного масштабирования.

6. Используйте буферные поды. Держите небольшое количество «горячих» подов в режиме ожидания для мгновенной обработки возрастающей нагрузки.

7. Настройте политики масштабирования. Используйте агрессивную политику масштабирования для быстрого реагирования на пики нагрузки. Пример конфигурации HPA с более быстрой реакцией:

yaml
apiVersion: autoscaling/v2beta1
kind: HorizontalPodAutoscaler
metadata:
name: fast-reaction-hpa
spec:
scaleTargetRef:
apiVersion: apps/v1
kind: Deployment
name: your-deployment
minReplicas: 2
maxReplicas: 10
metrics:
- type: Resource
resource:
name: cpu
targetAverageUtilization: 50
behavior:
scaleDown:
stabilizationWindowSeconds: 60
policies:
- type: Percent
value: 100
periodSeconds: 15
scaleUp:
stabilizationWindowSeconds: 0
policies:
- type: Percent
value: 100
periodSeconds: 15
- type: Pods
value: 4
periodSeconds: 15
selectPolicy: Max

Эта конфигурация устанавливает более короткое окно стабилизации для масштабирования вниз и агрессивную политику масштабирования вверх. Важно помнить, что слишком агрессивное масштабирование может привести к нестабильности системы и повышенным затратам. Рекомендуется тщательно тестировать настройки в среде, близкой к производственной, перед применением в реальных условиях.

👉🏻 Подписаться на телеграм-канал «Вокруг Kubernetes в VK»

​Привет. Каких фич не хватает K8s? По мнению пользователей юзеров Reddit, это:

🔹 упрощение процесса обновления / семантическое версионирование K8s и компонентов;

🔹 более продолжительная поддержка версий (LTS);

🔹 дополнительные возможности по отладке;

🔹 больше встроенных стратегий развертывания;

🔹 настоящая федерация кластеров.

➡️ Подробнее читайте в статье наших коллег из компании «Флант». И пишите в комментариях, каких возможностей не хватает вам.

✅ И конечно, мы собрали для вас самые интересные материалы про DevOps и Kubernetes за две недели. Хороших выходных!

📗 Dockerized PostgreSQL database backup | by H5Game Developer | DevOps.dev

📗 Terraform Olympics: building Gold-Medal Cloud infrastructure | by Chichi P Osasah | DevOps.dev

📗 Building a zero CVE strategy I CNCF

📗 Lessons from CrowdStrike’s buggy update: the critical importance of robust release processes | CNCF

📗 Python Pickle Module Tutorial: save and load data with ease | Codemagnet

📗 Why memory mapped files aren’t as good as you think they are | by Josh Weinstein | Dev Genius

📗 Building Scalable Web Applications with Symfony and Docker | Medium

📗 Kubernetes Networking-02-Kubernetes ingress controller comparison (Ingress-Nginx, Contour, HAProxy Ingress) | by Amber Liu | DevOps.dev

📗 Unlocking the Power of Ephemeral Environments with Devtron | CNCF

👉🏻 Подписаться на телеграм-канал «Вокруг Kubernetes в VK»

Начался вебинар «Как работать с Kubernetes и не тратить лишнего».

Присоединяйтесь на VK и YouTube.

Вебинар «Как работать с Kubernetes и не тратить лишнего»

25 июля поговорим про затраты на K8s. Поделимся опытом того, как сократить их, если вы уже работаете с оркестратором. И как настроить экономичную работу с самого начала.

Программа

🔹 «Золотой» стандарт The Twelve-Factor App — разбираем принципы создания «идеального» современного приложения.

🔹 Контроль расходов на уровне K8s — экономим с помощью квот и рассчитываем оптимальные значения реквестов и лимитов.

🔹 Мониторинг — отслеживаем затраты прямо во время работы.

🔹 Автомасштабирование — оптимизируем затраты на уровне архитектуры самого приложения.

Регистрируйтесь на вебинар — мы пришлем ссылку на трансляцию в день мероприятия, а после вышлем запись.

Зарегистрироваться

Привет. Собрали для вас самые интересные материалы про DevOps и Kubernetes за две недели. Хороших выходных!

📗 Kubernetes: Node Affinity, Taints and Tolerations | DevOps.dev

📗 How To Solve the Issue of Network Latency Jitters Caused by a Massive Number of IPVS Rules in Container Networks

📗 Mastering Helm Charts Management - by Amber Liu

📗 RabbitMQ: Part 3: Building Event-Driven Microservices with RabbitMQ and MassTransit - Implementing the Saga Choreography Pattern | by Darshana Mihiran Edirisinghe

📗 Do Containers Really Need Privileged Permissions? | by ByteCook

📗 How WebAssembly components extend the frontiers of Kubernetes to multi-cloud, edge, and beyond | CNCF

📗 Your Guide to Observability Engineering in 2024 | Logz.io

📗 From Tip to Base: Exploring Snowflake Iceberg and Its Impact on Data Management | by vinoth kumar

📗 10 ways to optimize iterative processing in Spark | by Mohit Daxini

📗 Speaking a Ubiquitous Language. Can you quickly grasp a codebase's… | by Luís Soares


👉🏻 Подписаться на телеграм-канал «Вокруг Kubernetes в VK»

Аддон Fluent Bit для сбора логов в собственное хранилище

В нашем сервисе Cloud Containers появился аддон для обработки логов и метрик. С ним можно собирать логи из разных источников и отправлять в собственную систему хранения. А значит, быстрее просматривать и анализировать их на ошибки.

Возможности Fluent Bit

🔹 Сбор, изменение, преобразование и объединение текстовых данных.

🔹 Выгрузка логов, которые генерируются в кластере Kubernetes, в том числе на уровне подов.

🔹 Отправка логов из кластера в вашу систему сбора и обработки логов.

Аддон можно самостоятельно установить через личный кабинет или Terraform. Инструкция по подключению — в документации.

​Привет!

Вчера на VK Cloud Conf Александр Сербул, руководитель направления AI и Big Data в «Битрикс24», выступил с кейсом про разработку продукта на Kubernetes. Очень рекомендуем посмотреть запись его доклада 📹 «Как мы построили BI-систему, изменили процессы разработки, создали 25 000 подов клиентов в Kubernetes».

А еще мы выкатили автомасштабирование флейворов в Cloud Containers. Оно сразу работает для новых кластеров, а для старых включается после обновления. Когда загрузка флейвора достигает 80%, сервис автоматически меняет флейвор master-узла на более производительный. В результате вы получаете стабильный и производительный кластер даже при растущих нагрузках.

➡️ Подробнее про масштабирование читайте в документации.

И конечно, мы собрали дайджест самых интересных и полезных статей из мира K8s:

📗 Scaling & securing a GitLab Runners fleet | by Stefano Tenuta | Jun, 2024 | DevOps.dev.

📗 Debugging HTTP Traffic in kubectl port-forward with KFtray | by Henrique Cavarsan | Jun, 2024 | DevOps.dev.

📗 Effortlessly Manage Your Kubernetes Manifests with Kustomize: A Step-by-Step Guide.

📗 Automated File Sync with Rsync on Linux: A Step-by-Step Guide | by Ashish Singh | DevOps.dev.

📗 Configuration Automation using Ansible Playbooks and Galaxy Roles 🌌 | by Jay Shenkar | Jun, 2024 | DevOps.dev.

📗 Mastering DevSecOps with Devtron: a strategic approach | CNCF.

📗 Why Embrace created span snapshots for mobile observability with OpenTelemetry | CNCF.

📗 Kubernetes overview: Operate cluster data on the frontend.

📗 25 новых проектов в песочнице CNCF: мегаобзор.


👉🏻 Подписаться на телеграм-канал «Вокруг Kubernetes в VK»

Привет. Подключайтесь к большой облачной конференции VK Cloud Conf 2024!

Сейчас руководитель направления AI и Big Data в «Битрикс24» Александр Сербул расскажет, как создать 25 000 подов клиентов в Kubernetes, как масштабировать кластеры, когда количество пользователей кратно выросло, и какие новые технологические процессы для разработки, QA, ИБ необходимо внедрить в работу.

🎥 VK
🎥 YouTube

​VK Cloud запускает Dev Platform — решение для построения внутренних платформ разработки ПО

Dev Platform обеспечивает централизацию инструментов разработки, позволяет оптимизировать процессы на всех этапах: от идеи и проектирования до написания и проверки кода, тестирования и запуска в эксплуатацию.

С ее помощью можно:

🔹 отслеживать утилизацию ресурсов;

🔹 управлять инструментами и доступами;

🔹 оптимизировать процессы создания ИТ-решений;

🔹 быстрее запускать продукты и снижать затраты, в том числе на адаптацию новых сотрудников;

🔹 обеспечивать обмен знаниями и опытом.

Dev Platform построена на базе инфраструктуры и сервисов VK Cloud, а также продуктов российских разработчиков. Для обеспечения надежности продуктов в Dev Platform предусмотрена интеграция с инструментами безопасной разработки DevSecOps.

Платформу можно развернуть в ИТ-инфраструктуре, в том числе в рамках Private Cloud, или в публичном облаке VK Cloud.

Подробности

На Хабре вышла статья о том, как мы пришли к необходимости создания своего mini-k8s для Kubernetes и всего вокруг.

При построении своей реализации mini-k8s мы вдохновлялись отдельными функциями и возможностями, заложенными в основу Kubernetes. Помимо этого, мы заимствовали декларативную систему управления через манифесты и шаблонизацию через helm, который подключили как библиотеку в нашем сервисе. Такое комбинирование потенциально позволяло бы нам полностью решить проблему с непредсказуемым data plane.

А дальше читайте на Хабре

​Всем привет. Уже в следующий четверг пройдет наша большая облачная конференция VK Cloud Conf 2024, часть которой будет посвящена теме Kubernetes и безопасности.

Наши коллеги из «Битрикс24» расскажут про свой опыт внедрения технологий контейнеризации: на базе Managed Kubernetes, Apache Superset и Trino они создали международный сервис «BI Конструктор». Для этого им пришлось поднять 25 000 подов клиентов в Kubernetes.

➡️ Успейте зарегистрироваться на офлайн в Москве, мест осталось немного. Там вы сможете задать вопросы нашим архитекторам. Или смотрите онлайн, вопросы можно будет задавать в канале VK Cloud.

Также мы не оставили вас и без чтения на выходные — собрали дайджест самых интересных и полезных статей из мира K8s:

📗 Encrypting secret data at rest in Kubernetes | by Mohammed Farhan Sayed | Jun, 2024 | DevOps.dev

📗 Use this built-in feature to cleanup your unused resources | by The kube guy | May, 2024 | DevOps.dev

📗 Multi cluster deployment with GitOps | by Jagadeesh Murru | Jun, 2024 | DevOps.dev

📗 Generative AI for Kubernetes: Meet K8sGPT Open Source Project

📗 What's new in dbt Cloud | June 2024

📗 The role of monitoring as code in continuous deployment | by Supratip Banerjee | Jun, 2024 | DevOps.dev

📗 DevSecOps: Ensuring software security with dependency check | by Ridae hamdani | Jun, 2024 | DevOps.dev

📗 Kubernetes security unleashed: Top 3 CLI tools you can’t miss in CI/CD pipeline | by Sivagandhan Jeyakkodi | Jun, 2024 | DevOps.dev

📗 The voice of Kubernetes experts report 2024: the data trends driving the future of the enterprise | CNCF

📗 Update multiple Kubernetes objects/configmaps in one go! | CNCF


👉🏻 Подписаться на телеграм-канал «Вокруг Kubernetes в VK»

Всем привет. Главная новость этой недели — уход из России Docker Hub. Мы попросили Стаса Старкова, руководителя отдела Presale VK Cloud, прокомментировать эту ситуацию:

403 Forbidden — к таким статусам от http-серверов за последние пару лет мы уже привыкли и, как инженеры, регулярно находим способы для продолжения работы. Уже сейчас есть огромное количество различных зеркал и настроенных прокси для Docker Hub.

Мы подготовили инструкцию по использованию общедоступного зеркала для скачивания образов — https://mirror.gcr.io — для всех уже созданных Pod'ов в Kubernetes-кластерах на платформе VK Cloud. И делаем собственное зеркало.

Осталось напомнить о важности поставки артефактов в ваши пайплайны, как, конечно, и о необходимости своевременных бэкапов. И дать ссылки на самые интересные статьи по K8S этой недели:

🔹 GitHub and JFrog Partner to Unify Code and Binaries for DevSecOps | by Usama Malik | Medium | DevOps.dev

🔹 Injecting External Secrets in a Kubernetes Cluster | by Ali Nadir | May, 2024 | DevOps.dev

🔹 Autoscaling consumers in event driven architectures | CNCF

🔹 Is testing in production even possible? | CNCF

🔹 Creating a News Notification System with Kafka and Spring Boot | by Pratiyush Prakash | Apr, 2024 | Dev Genius

👉🏻 Подписаться на телеграм-канал «Вокруг Kubernetes в VK»