k8s (in)security

Сегодня хотим поделиться небольшой утилитой incert, которая позволяет в одну команду изменить docker image, добавить в него CA сертификат и запушить обновленный образ в registry. Например, так:

$ incert -image-url=mycompany/myimage:latest -ca-certs-file=/path/to/cacerts.pem -dest-image-url=myregistry/myimage:latest

Саму тулзу можно посмотреть здесь, а в видео Adding Certificates to Container Images with Incert | Chainguard можно посмотреть какие проблемы она решает и как работает.

Если вы не знаете, почему Kubernetes не управляет пользователями, то статья с одноименным названием "Why Kubernetes doesn’t manage users?" для вас.

В статье рассказывается о преимуществе такого подхода, а также как можно завести пользователей в кластер с помощью external connectors:

- OIDC
- LDAP
- Webhooks and Custom Auth Plugins

Как вы можете помнить, начиная c Kubernetes 1.26, появились Validating Admission Policies. По сути, это такая еще одна замена PolicyEngine, где правила описываются на языке CEL. Но главным преимуществом, по сравнению с классическими PolicyEngine, является то, что данные для валидации не отправляются на вебхук, а сразу обрабатываются под капотом у Kubernetes.

Вендоры PolicyEngine тоже не сидят сложа руки, и Gatekeeper, начиная с версии 1.13, и Kyverno, начиная с версии 1.11 начали поддерживать VAP. Так например, в крайнем релизе Kyverno 1.12, добавили поддержку PolicyReport для VAP.

Неплохое демо Managing Validating Admission Policies (VAP) через Gatekeeper можно посмотреть тут.

В статье "Authentication and Authorization with ISTIO and OPA on Kubernetes" рассказывается как можно накрутить Authentication и Authorization между сервисами, запущенными в Kubernetes кластере на базе Istio (с использованием RequestAuthentication и AuthorizationPolicy) и OPA.

К использованию OPA пришлось прибегнуть из-за некоторых ограничений Istio, выраженных в отсутствии поддержки regex as path rule.

P.S. – всем хороших выходных!

Для того чтобы блокировать операции над subresources, вроде pods/exec или pods/portforward, необходимо внести некоторые изменения в конфигруацию вебхуков PolicyEngine. А именно – добавить операцию CONNECT. По умолчанию этой операции нет, и если её не добавить соответствующая политика на запрет использования pods/exec или pods/portforward просто не будет работать.

Но есть и хорошие новости. Если вы используете Kyverno и применяете политику, где задействован такой subresource (для контроля которого нужна операция CONNECT), то Kyverno автоматически пропатчит конфиг своего вебхука и добавит туда нужную операцию.

Про необходимость использования операции CONNECT мы рассазывали тут.

Вышла третья статья из цикла Kubernetes Security Fundamentals и в этот раз про Authorization (первая была про API Security и о ней мы писали тут, а вторая про Authentication и почитать про неё можно тут).

Автор кратко разбирает как работают и в чем основные преимущества и недостатки Kubernetes authorization modules, а также рассказывает как устроена авторизация в других компонентах Kubernetes – Kubelet, Scheduler и Controller Manager.

Продолжим тему сетевой безопасности. И если вам интересно куда и как развивается механизм сетевого ограничения в Kubernetes, то вам определённо стоит ознакомится с двумя докладами от ребят что непосредственно работают над этим:
- "AdminNetworkPolicy: A New Kubernetes-Native API for Comprehensive Cluster-Wide Network Security" с Kubecon 2023
-"Network Policy: The Future of Network Policy with AdminNetworkPolicy" с Kubecon 2024

Вышла версия Cilium 1.16.0 и со стороны security там достаточно изменений:

- Поддержка диапазона портов в Network Policy
- Network Policy Validation Status. С помощью kubectl describe cnp можно узнать является ли сетевая политика Cilium валидной или нет
- Control Cilium Network Policy Default Deny behavior. Благодаря параметру EnableDefaultDeny можно управлять поведением стандартной запрещающей политики.
- Добавлена поддержка CiliumCIDRGroups в egress правилах в политиках.
- Load "default" Network Policies from Filesystem. Помимо привычной раскатки политик через kubectl apply, теперь их можно подсовывать напрямую из FS.
- Support to Select Nodes as Target of Cilium Network Policies. С помощью новых селекторов ToNodes/FromNodes трафик может быть разрешен или запрещен на основе лейблов target Node.

Полный changelog можно посмотреть тут.

Недавно, читая нововведения в Red Hat OpenShift 4.16, наше внимание привлекло "Secure OpenShift cluster networking with Admin Network Policy". Для тех кто ранее с этим не сталкивался то речь идет о ресурсе AdminNetworkPolicy (ранее известном как GlobalNetworkPolicy), который является нативной реализацией clusterwide вариации NetworkPolicy! В Calico для этого есть кастомнный ресурс GlobalNetworkPolicy, а в Cilium есть CiliumClusterwideNetworkPolicy и в Antrea это ClusterNetworkPolicy.

Так вот OpenShift на CNI OVN-Kubernetes стал первым поддерживать данный ресурс (обсуждение в Calico и тоже самое в Cilium и в kube-ovn пока просто идут)! Также поддержка (уже как год) этого ресурса есть в Antrea!

Напомним, что работа над этим ресурсом идет в рамках SIG Network, а именно Network Policy API Meeting в рамках KEP-2091: Add support for AdminNetworkPolicy resources.

И пока это все изучали наткнулись еще на один ресурс над которым идет работа - BaselineAdminNetworkPolicy. Его идея в следующем: "An BaselineAdminNetworkPolicy (BANP) resource will help the administrators set baseline security rules that describes default connectivity for cluster workloads, which CAN be overridden by developer owned NetworkPolicies if needed."

P.S. Еще в документах можно встретить TenancyNetworkPolicy ;)

P.S.S. А еще NetworkPolicy v2 =)

Классный исследователь безопасности и по совместительству подписчик нашего телеграм канала Luis Toro Puig совсем недавно выступил на конференции EuskalHack с воркшопом Kubernetes Security Fundamentals. Доклад затронул, наверное, все самые базовые темы в направлении Kubernetes Security.

100 must-have слайдов можно найти тут.

Авито в поиске талантливого специалиста, который возьмёт на себя лидерство в направлении безопасности Kubernetes.

В компании выстроен зрелый процесс безопасной разработки, включающий в себя статический и динамический анализ приложений, поиск секретов и персональных данных, анализ зависимостей и множество других решений для максимально быстрого и точного обнаружения проблем.

Уже собралась крутая команда, состоящая из AppSec, Security BP, команды разработки и для полного счастья нужен инженер по безопасности k8s.

Что предстоит делать?

⭐️ Строить основные процессы безопасности Kubernetes
⭐️ Разрабатывать и внедрять механизмы защиты от основных угроз для контейнерных сред (OWASP TOP 10 Kubernetes/Docker)
⭐️ Консультировать и обучать DevOps и администраторов по настройкам безопасности

Почему Авито?

🔥 Классифайд №1 в мире по версии сервиса SimilarWeb
🔥 Огромная распределённая инфраструктура
🔥 Можно работать как в комфортных офисах в Москве, Санкт-Петербурге, Самаре, Казани или в коворкинге в Ереване, так и полностью удалённо
🔥 Достойная заработная плата (до 500 000 руб)
🔥 Дико флексим на team-get-together

Откликайтесь

Крутой лонгрид "Attacking Pipeline". 8 типов атак с различными сценариями представлены по шагам с рекомендациями по обеспечению безопасности (и все это с понятными примерами)!

Рассмотренные атаки:
- Control of common registry
- Direct PPE (d-PPE)
- Indirect PPE (i-PPE)
- Public PPE
- Changes in repository
- Inject in Artifacts
- User/Services credentials
- Typosquatting docker registry image

Как-то мы спрашивали Вас про ваше отношение к публикации на данном канале вакансий связанных чисто с Kubernetes security. И большинство высказалось положительно на этот счет.

Мы хорошо понимаем актуальность данной темы, высокий спрос на данных специалистов и все сложности поиска специалистов данного направления. В контексте этого настоятельно рекомендуем ознакомиться со слайдами и видеозаписью доклада "Почему защитой k8s должно заниматься целое подразделение?" от Артема Мерец с прошедшего БеКон 2024.

При этом у нас тут собрана как раз та самая целевая аудитория: кто-то только начинает делать первые шаги в данной области, кто-то уже давно защищает кластера в своих компаниях, кто-то давно занимается разворачиваем и сопровождением K8s и хочется заняться ИБ, кто-то давно работает в SOC и хочет немного сменить фокус и т.д.

Мы решили помочь компаниям в поисках таких специалистов и публиковать вакансии, направленные на специалистов по безопасности Kubernetes (это строгое ограничение). По всем вопросам можно писать контакту указанному в профиле.

SAPwned: SAP AI vulnerabilities expose customers’ cloud environments and private AI artifacts – интересная статья от исследователей из WIZ, в которой они описывают полную цепочку захвата Kubernetes кластера.

Интересно, что изначально пользователи SAP AI могли создавать собственные нагрузки, используя Argo Workflow, но они были строго ограничены по securityContext и сети с помощью Istio.

Но простой трюк со сменой UID на 1337 (об этом мы рассказывали тут) позволил ресерчерам обойти сетевые ограничения, насканить сеть, найти AWS token, получить пользовательские данные из S3 хранилища и захватить кластер целиком через Unauthenticated Helm Tiller.

k8s (in)security pinned a photo

Все слайды и видеозаписи докладов с конференции БеКон 2024!

Изучайте, учитесь и делайте свои контейнерные инфраструктуре безопаснее вместе с нами!

В одной из последних версий проекта Sigmа, обновился набор правил касающихся Kubernetes - теперь их там стало 15. Для тех кто не в курсе что такое Sigma, то рассказываем - это Generic Signature Format for SIEM Systems со своей библиотекой правил! Можно использовать проект как по прямому назначению, так и просто подсматривая правила ;)

В общем на заметку специалистам SOC.

Если у вас Kubernetes кластер на Windows (ну мало ли), то поспешите обновиться, ведь вышла новая CVE-2024-5321: Incorrect permissions on Windows containers logs с оценкой по CVSS – 6.1 (Medium).

Уязвимость позволяет BULTIN\Users читать логи контейнеров, а NT AUTHORITY\Authenticated Users модифицировать логи контейнеров.

Бага затрагивает версии kubelet <= 1.27.15, 1.28.11, 1.29.6, 1.30.3. Необходимые патчи уже выпущены.

В блоге BugHunters компании Google вышла статья "Securing the Container World with Policies: acjs and ctrdac", где они представляют общественности два своих инструмента:
1) acjs - PolicyEngine для Kubernetes с возможностью мутационных и валидационных политик на JavaScript.
2) ctrdac - адаптер для первого проекта, чтобы можно было его использовать за пределами Kubernetes c чистыми Docker/containerd.

Первый проект по сути аналог JSPolicy.
Второй проект это по сути OPA с интеграцией с Docker (с containerd не встречали) .

В связи с существующими PolicyEngine для Kubernetes, в сценарий использования этих инструментов там не особо верится, а вот в сценарий вне Kubernetes вполне возможно!

На нашем сайте в разделе Исследования уже стали доступны и слайды, и видеозапись вебинара "Ловим злоумышленников и собираем улики в контейнерах Kubernetes", который мы проводили вчера. Так что если вы вчера не смогли присутствовать online, то уже есть возможность все изучить в записи!

Там мы рассмотрели:
- способы обнаружения злоумышленника в контейнерных окружениях
- какие подходы смогут эффективно помочь в расследовании и реагировании инцидентов
- возможности Luntry, необходимые для Incident Response

И отдельный таймкод на последнюю часть с live demo.

Как всегда если есть вопросы, то пишите в комментариях.