k8s (in)security

Возможно вы еще не в курсе, но в России появилась некоммерческая организация «Ассоциации облачно-ориентированных технологий». И под ее эгидой в скором времени пройдет конференция Kuber Conf, которая впервые пройдет 4 декабря !

Сейчас идет приём заявок на выступление (CFP). Присылайте ваши любые доклады, связанные с Kubernetes и разработкой микросервисов, но будем особенно рады темам про:
— Новые инструменты и подходы при работе с K8s
— Безопасность в K8s
— Реальные примеры использования Gateway API
— K8s и AI/ML (большие модели на больших кластерах, MCP, GPU, распределение ресурсов)
— Мультитенатность (Capsule, vCluster, K8s в K8s)
— Мультикластеры
— Виртуальные машины в K8s
— Нетривиальные проблемы и ошибки в K8s, способы их решения
— Управление внешними ресурсами (Cluster API, федерация, Crossplane)
— Автоматизация дата-центра (Metal3, Tinkerbell)
— Kubernetes-ориентированные операционные системы (Talos, Flatcar, Bottlerocket)
— Сети: Multus, OVN, Telco, SR-IOV
— Системы хранения в Kubernetes (SDS)
— Оптимизация производительности
— Наблюдаемость и обнаружение аномалий

Наша команда входит в программный комитет и готова помочь с вопросом подачи, если у вас есть какие-то сомнения ;)
Заявки принимаются до 10 ноября 2025!

Сегодняшнюю неделю хотим начать со знакомства с проектом urunc – low level container runtime, который стремится стать runc для unikernels.

Концепция unikerls следующая – связать приложение с необходимыми библиотеками операционной системы и скомпилировать их в один бинарный файл. После этот бинарнь можно использовать для загрузки системы. Такой подход дает возможность специализировать функциональность ОС под нужды конкретного приложения.

Основное отличие urunc от других container runtime заключается в том, что вместо запуска простого процесса он использует Virtual Machine Monitor (VMM) или sandbox monitor для запуска unikernel. Важно отметить, что urunc не требует какого-либо специального ПО, работающего параллельно с пользовательским приложением внутри или вне Unikernel. Благодаря этому urunc может поддерживать любой фреймворк Unikernel или аналогичные технологии, обеспечивая при этом максимально низкие накладные расходы.

В заключении недели мы хотим поделиться нашей последней презентацией "1000 и 1 способ избавиться от уязвимостей в контейнерных приложениях" с CyberCamp 2025. Видео на сайте будет доступно позже, но уже сейчас можно найти выступление в трансляции мероприятия.

В презентации рассматривается 8 способов избавления от уязвимостей:
1) Честный патчинг ручками
2) Обфускация
3) Автоматизация с помощью AI
4) Золотой образ
5) Дополнительный слой образа
6) Минификация
7) Перегенерация / транспайлинг кода
8) Превентивный / проактивный подход

В комментариях расскажите как у вас обстоят дела с уязвимостями в образах и какие из этих способов вы используете (а можете даже предложите еще свой способ).

Сегодня хотим поделиться интересным проектом – k7. Он позволяет поднимать инфру на легковесных виртуальных машинах.

Под капотом:

- Kubernetes
- Kata
- Firecracker
- Devmapper Snapshotter

Также авторы запилили API и Python SDK для взаимодействия.

С точки зрения безопасности – дроп капабилити по умолчанию, allow_privilege_escalation в false и seccomp профиль в RuntimeDefault. Обещают в следующих релизах завести еще больше безопасных фич, включая интеграцию с AppArmor.

30 октября в 11:00 наша команда Luntry проведет вебинар "Kubernetes Audit Log на страже безопасности кластеров".

Kubernetes Audit Log является чрезвычайно важным источником данных о происходящем в кластере. И если вы его не используете и данные от него не анализируете, то вы много теряете (да и не знаете).

Целью данного вебинара является раскрыть все аспекты, касающиеся этого механизма. И также мы покажем, как Luntry помогает работать с Kubernetes Audit Log.

Как всегда, после вебинара всех участников ждут все материалы, включая специальный подарок - на этот раз это "Шпаргалку по Kubernetes Audit Log".

Зарегистрироваться на вебинар можно тут.

В официальном блоге CNCF вышла статья с интригующим названием "Applying RBAC to databases on Kubernetes: Practical, real-world examples" .

Я правда рассчитывал там увидеть как они создали кастомные ресурсы, кастомные глаголы и т.д. в классических кубовых Roles и ClusterRoles, но нет ...

Вчера вышла довольно интересная заметка в официальном блоге Kubernetes – "7 Common Kubernetes Pitfalls (and How I Learned to Avoid Them)". Как можно понять из названия, автор рассказывает про подводные камни в Kubernetes и как их можно избежать.

Один из подводных камней – Going too light on security and RBAC. Можно сказать, что Kubernetes не secure by default, однако имеет достаточно больше количество встроенных мощных механизмов, которые позволят его захарденить и сильно усложнить жизнь злоумышленникам.

В посте автор также отмечает важность контроля RBAC и использование Policy Engine механизмов.

23 октября в 10:15 (по Мск) в рамках IV практической онлайн-конференции по кибербезопасности CyberCamp наша команда Luntry в лице Дмитрия Евдокимова выступит с докладом "1000 и 1 способ избавиться от уязвимостей в контейнерных приложениях".

Если вы считаете, что от уязвимостей в приложениях можно избавляться только жесткой рукой, ставящей задачу на разработчика, то вы сильно ошибаетесь и контейнерные приложения сильно ломают этот стереотип.

Что будет в докладе:
• Почему к уязвимостям контейнерных приложений можно подходить по-разному
• Способы закрытия уязвимостей контейнерных приложений — суровая классика, новомодный AI, полный харденинг от определенного класса до 0-day и даже жульнические схемы
• Сравнение рассмотренных способов по ряду критериев

DepConfuse - инструмент для обнаружения потенциальных уязвимостей, связанных с dependency confusion, посредством сканирования SBOM или URL-адресов пакетов (PURL). Его ключевые особенности включают использование подхода, ориентированного на SBOM CycloneDX, поддержку более 20 реестров пакетов, таких как npm и PyPI, а также интеграцию с Ecosystems.ms для проверки имен.

В статье Enterprise Secret Management in MLOps: Kubernetes Security at Scale показано, как в MLOps на Kubernetes организовать безопасное управление секретами: использовать Sealed Secrets для шифрования, централизовать генерацию и ротацию секретов инфраструктурной командой и обеспечить автономность приложений через стандарты.

Основная идея: не плодить секреты для каждой службы, а поддерживать консолидированный секрет “ml-platform” с единым именованием для всех сред. Это позволяет хранить зашифрованные секреты в Git без риска, автоматизировать их доставку и избежать узких мест.

Видео докладов с конференции DEF CON 33 Cloud Village стали доступны, с ними можно ознакомиться в трех плейлистах – день первый, второй и третий.

Cloud Security:

Auths Gone Wild: When ‘Authenticated’ Means Anyone
- Wiz’s Danielle A. & Yaara Shriki

No IP, No Problem: Exfiltrating Data Behind Google’s Identity Aware Proxy
- Mitiga’s Ariel Kalman

Building the Cross-Cloud Kill Chain: A DE's Playbook for AWS, Azure & GCP Detections
- Meta’s Gowthamaraj Rajendran

whoAMI: Discovering and exploiting a large-scale AMI name confusion attack
- Datadog’s Seth Art

Weaponizing SSM: Practical Exploits and Hardening Techniques for AWS
- Clavis Security’s Rodrigo Montoro

Kubernetes:

Command and KubeCTL: Kubernetes Security for Pentesters and Defenders
- Chainguard’s Mark Manning

Spotter - Universal Kubernetes Security Engine
- Madhu Akula

Quickstart for a Breach! When Official Installations Expose Your K8 and Your Cloud
- Microsoft’s Michael Katchinskiy & Yossi Weizman

Don't trust Rufus, he's a mole - introducing KIEMPossible
- Palo Alto Networks Alto’s Golan Myers

Проект Blixt — это Kubernetes-балансировщик 4 уровня (и мог быть хорош!), использующий kube-rs в Control Plane и eBPF с aya для Data Plane. Сегодня репозиторий архивирован и больше не развивается — он остаётся скорее экспериментальной площадкой.

Несмотря на закрытие, в нём можно найти интересные идеи и наработки по интеграции eBPF в Kubernetes. Он был первым официальным проектом Kubernetes на Rust, хотя проекты такого рода не получили широкого распространения.

Если вам интересны эксперименты с eBPF и архитектура сетей в Kubernetes — стоит заглянуть в код.

На нашем сайте в разделе Исследований стали доступны видео и слайды выступления "Ретроспектива уязвимостей Kubernetes" с конференции Kubernetes Community Day.

В докладе мы рассмотрели следующие темы:

- K8s CVE feed, как он появился, как наполняется и как выглядит;
- Скоуп, какие таргеты в него входят и что может появится в итоговом фиде. Багбаунти программа Кубера и её особенности;
- Статистика по всем CVE за все время – колчество CVE по годам, по компонентам и распределение уязвимостей по критичности;
- Unpatchable уязвимости в Kubernetes.

В конце сентября вышла обновленная версия CIS Kubernetes Benchmark – 1.12. В документе представлены нормативные рекомендации по созданию безопасной конфигурации для Kubernetes версий 1.32 – 1.34.

Если сравнивать с предыдущей версией бенчмарка, то изменений не так много. А именно – в проверках, связанных с использованием стойких криптографических примитивах, в Control и Data Plane компонентах, были убран ряд некриптостойких шифров.

В остальном, это такой же CIS Kubernetes Benchmark, как и в предыдущих версиях. Ждать чего-то нового можно будет, только если это "новое" завезут в Kubernetes.

Очень крутые ребята позвали нас поучаствовать в создании образовательного курса "Linux Incident Response & Security", который представляет из себя практический курс по выявлению, анализу и реагированию на киберугрозы в GNU/Linux-системах.

Я думаю ни для кого из наших читателей не будет сюрпризом, что отвечать мы там будем за модуль связанный с контейнерами и Kubernetes =) И теорию расскажем и лабораторную работу дадим порешать. В общем, на чем специализируемся, то и рассказываем.

Для нас этот опыт новый, но точно можем сказать не последний ;)
Сейчас мы много работаем над различными проектами в обучающей сфере.

Сегодня хотим поделиться IAMhounddog — инструмент для визуализации связей IAM-ролей, политик и ресурсов в AWS. Он помогает выявлять «вторичные» пути эскалации привилегий, когда низкопривилегированный аккаунт цепочками операций получает доступ к административным ресурсам.

Инструмент экспортирует данные в формат, совместимый с BloodHound, что упрощает анализ attack path. Для работы требуется минимум прав — например, роль типа SecurityAudit или ReadOnlyAccess.

В этом году возвращается легендарная ZeroNights!

И еще осталось пару дней на то чтобы отправить свое исследование на CFP!
Наша команда туда уже заявку отправила и ждет результата. Конечно, тема связанна с безопасностью Kubernetes, а если быть более точным, то аккумуляцию нашего 5 летнего опыта атак на него в рамках аудитов и пентестов ;)

P.S. Ваш покорный слуга стоял у истоков данной конференции и занимался ей 10 лет и с трепетом ждем возвращения)

P.S.S. Забавный факт - в далеком 2021 наша команда Luntry выступала на ZeroNights (это последняя конфа на текущий момент) с темой "Container escapes: Kubernetes edition" и можно сказать, что практически с нее начался наш публичный путь выступлений на тему безопасности контейнеров!

Сегодня хотим рассказать про проект kps-zeroexposure – некую безопасную настройку вокруг kube-prometheus-stack. Сами авторы так объясняют зачем этот проект:

- Targets for etcd, scheduler, controller-manager, and kube-proxy are DOWN.
- The corresponding Kubernetes Services have ClusterIP: None or do not exist.
- Metrics are not reachable unless insecure flags or hostNetwork hacks are used.
- Changing the Kubernetes static pod manifests to bind to 0.0.0.0 is discouraged.

С момента, когда мы рассказывали о Security Profiles Operator в прошлый раз, прошло уже довольно много времени и в нём много что изменилось.

Так в последней версии 0.10.0 была добавлена JSON audit logging feature, позволяющая полностью отслеживать происходящее внутри контейнеров. Конечно же всё с помощью eBPF. Всё пишется в отдельный лог файл, где каждая строка содержит информацию о событии: временную метку, имя исполняемого файла, аргументы командной строки, идентификаторы пользователя и группы, а также системные вызовы.

Более подробно с новой фичей можно ознакомиться прочитав статью Auditing user activity in pods and nodes with the Security-Profiles-Operator.

Мировое сообщество Kubernetes Security обращается ко всем, кто интересуется безопасностью Kubernetes. Всё дело в том, что планируется обновить OWASP Kubernetes Top 10 в ближайшее время и сейчас они проводят опрос для сбора идей и отзывов.

В опроснике есть два новых пункта, которых нет в текущей версии:

1) Overly exposed Kubernetes Components - This looks at the risks of having Kubernetes components directly attached to the Internet, where they could be attacked.

2) Cluster-to-Cloud Lateral Movement - The risk that attackers might be able to leverage Kubernetes cluster access to expand to other cloud systems.

Опрос включает в себя ряд вариантов, которые могут быть включены в OWASP Kubernetes Top 10, и идея заключается в том, чтобы оценить их от 1 (не должно быть в Top 10) до 5 (обязательно должно быть в Top 10).