Вокруг Kubernetes в VK

⚡️Автоскейлер Netflix сокращал потребление ресурсов на 25–45%. Для сложных Flink-задач этого оказалось недостаточно. Перевели для вас этот кейс.

Изначально Netflix использовал собственный автоскейлер. Он смотрел на CPU, сеть, Kafka lag и другие внешние метрики и менял общее число TaskManager, поэтому все операторы задачи масштабировались вместе. С ростом числа stateful-задач Netflix перешел на Apache Flink Autoscaler: он оценивает пропускную способность отдельных операторов и меняет параллелизм для конкретных вершин графа.

📃 В статье разобрали оба подхода, доработки Flink Autoscaler для масштаба Netflix и результаты перехода.

Полную версию читайте по ссылке 👈

📬 Мы в MAX

В Managed Containers второго поколения PV можно перенести из сервисного проекта в пользовательский. После этого диск станет обычным ресурсом проекта: его можно подключить к виртуальной машине, создать снимок или использовать для дальнейшей работы с данными.

Такой перенос пригодится в четырех случаях:

🔵пересоздание кластера
🔵миграция между кластерами второго поколения
🔵разбор инцидента в изоляции
🔵хранение архива по требованию регулятора.

Разобрали сам перенос, подключение диска к новому кластеру и ограничения, которые стоит учесть заранее.

📃 Читать статью →

📬 Мы в MAX

Во втором поколении Managed Containers меняется граница ответственности между пользователем и платформой.

Системный слой размещается в сервисном проекте и обслуживается VK Cloud. Пользователь управляет приложениями и данными, обновляет версию Kubernetes и аддоны.

➡️ Подготовили разбор архитектуры второго поколения, встроенных сервисов, доступных инструментов и порядка миграции с первого поколения на второе.

Главное собрали на карточках. Подробнее — в статье VK Cloud.

📬 Мы в MAX

⚡️ Высокая загрузка CPU сама по себе — еще не сигнал для Cluster Autoscaler.

Автоскейлер реагирует на ситуацию, когда планировщик Kubernetes не может разместить поды и они остаются в Pending. Тогда Cluster Autoscaler проверяет, поможет ли добавление нового узла в одну из групп.

🧮 При расчете он смотрит на resources.requests: сколько CPU и памяти запросили поды, а не сколько ресурсов они потребляют прямо сейчас. Поэтому поды без корректно заданных requests могут не создать повода для масштабирования, даже если нагрузка на существующие узлы высокая.

⤵️ В обратную сторону работает похожая логика. Если нагрузка снизилась и поды можно разместить на меньшем числе узлов, автоскейлер расселяет недозагруженный узел и после периода простоя удаляет его. В Managed Containers от VK Cloud пустой узел должен оставаться таким пять минут.

При этом группа может не вырасти, даже если поды остаются в Pending. Например, если достигнут заданный максимум узлов, закончились квоты или требования nodeSelector, nodeAffinity и tolerations не позволяют разместить под на новом узле.

📃 В статье разобрали, как Cluster Autoscaler принимает решения о росте и сжатии группы, как выбирает узлы и с чего начинать диагностику, если автомасштабирование не сработало.

Читать статью →

📬 Мы в MAX

GPU в Kubernetes становятся гибче

Обычный device plugin работает с GPU как со счетчиком целых устройств: под запрашивает карту и получает ее целиком. DRA делает модель гибче: можно указать модель, поколение и объем видеопамяти, а планировщик подберет подходящее устройство.

Несколько подов можно привязать к одному ResourceClaim. Более гибкое деление GPU между независимыми нагрузками пока остается в beta, а отбор устройств по атрибутам стабилен с Kubernetes 1.34.

Подробнее о DRA и работе с GPU в Kubernetes — в статье.

📬 Мы в MAX

🤖 Для ИИ-задач часто нужны значительные ресурсы, но постоянно держать их занятыми не получается. Во время обучения модели мощностей требуется больше, между запусками — меньше. Поэтому важно уметь быстро перераспределять ресурсы между задачами и командами.

Kubernetes решает сразу две задачи: помогает эффективнее использовать GPU и упрощает управление инфраструктурой.

➡️ Подробнее о том, как Kubernetes используют для ИИ-задач и какую роль здесь играет Managed Kubernetes, читайте на Хабре.

📬 Мы в MAX

⚡️У АОТ появился первый экспертный совет

В него вошли девять ведущих практиков в области облачно-ориентированных технологий и Kubernetes. От VK Cloud в совете Алексей Волков, руководитель продуктовой команды Developer Productivity.

🤓 Эксперты будут определять технологическую стратегию ассоциации и подключаться к ее отраслевым инициативам.

Одна из первых задач — работа в программном комитете Kuber Conf 2026. Совет примет участие в отборе докладов для конференции и представит свой взгляд на развитие облачно-ориентиованных технологий.

Что именно будет делать совет и какие направления эксперты он объединяет — в карточках. Подробности — по ссылке.

📬 Мы в МАХ

💙 Ingress в Kubernetes: выбор контроллера, маршрутизация и TLS

Ingress кажется простой точкой входа в Kubernetes, пока не появляются дополнительные маршруты, TLS и настройки конкретного контроллера.

Разобрали три важных аспекта:
🔵как этот ресурс обрабатывает трафик
🔵что учитывать при маршрутизации и TLS
🔵откуда берется зависимость от контроллера.

👉 Подробнее — в нашем блоге

📬 Мы в MAX