DevOps для ДевоПсов

K8s 1.35: почему под не рестартнулся после обновления конфига

Обновили ConfigMap, Secret или Istio, а приложение всё ещё видит старое? kubelet следит только за pod spec, и без смены spec'а контейнер не перезапустится.

Проверяйте UID пода, а не только restart count: новый UID — под пересоздали и счётчик сбросился, старый UID с растущим restart count — CrashLoop в том же объекте.

В K8s 1.35 CPU resize контейнер не трогает, память перезапускает только при политике RestartContainer; иначе JVM сохранит старый heap. envFrom из ConfigMap заморозит значения до kubectl rollout restart, volume mount обновится атомарно.

Что делать: подключите Reloader с reloader.watchGlobally=true и аннотацией reloader.stakater.com/auto: "true", или вручную вызывайте kubectl rollout restart deployment/app. Матрица и команды в гайде.

Cloudflare ускорила security-сканы с 10 до 120+ в секунду без новых партиций

Security Insights сканировала аккаунты раз в 1–2 недели, а бесплатные часто не попадали в очередь. Цель — ~10→100 сканов/с, но консьюмеры лагали, API таймаутился и процессы падали.

В разборе инженеры пишут, что распараллелили обработку сообщений внутри партиции, разделили «медленные» и «быстрые» потоки и убрали блокировку головы очереди. Вставки в Postgres по одной строке заменили на гибридный bulk-insert, API перевели в active-passive у основной БД.

Шедулер — под adaptive rate limiter: зоны считают отдельно, стартовые временные метки размазали, лимит пересчитывается каждые полчаса. Итог: производительность выросла >10× и достигла 120+ сканов/с.

Прежде чем добавлять партиции или железо, смотрите метрики, SQL, логи и код.

Severity во время инцидента может мешать больше, чем помогать

Dan Slimmon в спорной заметке критикует SEV-шкалы. Не потому что классификация совсем не нужна, а потому что в начале инцидента команда часто тратит силы на спор «это SEV-1 или SEV-2», когда важнее понять blast radius, назначить lead и двигать расследование.

Для SRE-практики полезный угол такой: severity хороша для отчётности, коммуникации и post-incident анализа, но плохо заменяет operational questions. Что сломано? Кто координирует? Какой next action? Когда следующий update?

Если ваш incident template начинается с выбора SEV, стоит проверить, не прячутся ли за ним реальные шаги управления инцидентом.

SELECT в Postgres тоже может выглядеть как запись

Dan Slimmon разбирает странный инцидент: в Postgres появлялись пики WALWrite, хотя нагрузка была read-only. Виновником оказался не внезапный write-запрос, а hint bits и full page writes.

Для SRE это хороший пример, почему «чтения не пишут» в базах не всегда безопасное упрощение. Первый SELECT после изменений может пометить tuple metadata, а если страница ещё не была записана после checkpoint, Postgres отправит full page image в WAL.

Практический вывод: когда видите write spikes на read-heavy workload, не останавливайтесь на поиске INSERT/UPDATE. Смотрите checkpoints, hint bits, buffer dirties и то, что реально происходит на уровне storage.

CoreDNS в Kubernetes можно патчить Terraform'ом, не через kubectl edit

Jérôme Petazzoni разбирает практичную боль: кластер сам создал CoreDNS ConfigMap, но править Corefile руками не хочется, потому что потом это невозможно нормально повторить и проверить в IaC.

Решение строится вокруг Terraform/OpenTofu: прочитать существующий ConfigMap, применить patch к нужному фрагменту и оставить изменение в коде, а не в истории команд администратора. Это особенно полезно, если нужно добавить upstream, rewrite, cache-настройки или внутренние DNS-правила.

Материал стоит открыть тем, у кого в кластере ещё есть «один раз поправили руками». CoreDNS обычно как раз из таких мест, где ручная правка потом всплывает в самый неудобный момент.

Linux page cache для тех, кто смотрит на память в проде

У Viacheslav Biriukov есть большой разбор page cache для SRE. Это материал про ту самую память, которая в top выглядит занятой, но не всегда означает утечку в приложении.

Внутри: как Linux кэширует страницы файлов, что меняется с cgroup v2, как читать smaps, где помогают mincore, mmap, fsync, vmtouch, perf и strace. Практический фокус хороший: не «ядро сложное», а как не ошибиться при разборе memory pressure.

Если у вас были алерты вида «RAM почти кончилась», а потом всё само проходило, этот текст стоит сохранить в runbook по Linux diagnostics.

Self-hosting дома, где ломается всё самое сетевое

В авторском разборе блог хостится дома, но с обычными бытовыми ограничениями: динамический IPv4, меняющийся IPv6 prefix, OpenWRT, DNS-обновления и WireGuard как связка для доступа извне.

Материал полезен не как рецепт «делайте прод дома», а как компактная лаборатория по сети. Тут сразу видно, где заканчивается красивый self-hosting и начинается реальность провайдера: prefix delegation, firewall rules, DDNS, туннели и восстановление после смены адресов.

Хорошее чтение для тех, кто хочет руками потрогать networking без облачного abstraction layer. После такого проще понимать, что именно скрывают managed load balancer и static IP.

Нагрузочный тест лучше собирать не из фантазии, а из telemetry

Grafana показывает подход, где сценарий для k6 строится из production telemetry. Вместо «давайте поставим 100 virtual users» берутся реальные RPS, p95/p99, распределение endpoint'ов и форма трафика из Grafana Cloud.

Это полезно для SRE-команд, которые уже хранят метрики в Prometheus/Mimir, но нагрузочные тесты всё ещё пишут вручную. Такой тест ближе к боевому профилю: он проверяет не абстрактную пропускную способность, а конкретные пики и маршруты, которые уже видны в проде.

Хороший кандидат для следующего performance review: взять неделю нормального трафика и превратить её в k6-сценарий.

GKE standby buffers: запас capacity без постоянного overprovisioning

Google Cloud показал standby buffers для GKE. Идея в том, чтобы держать подготовленные, но suspended-ноды: они уже прошли init, DaemonSet'ы и preload, но не жгут полный compute как обычный запас.

Для кластеров со всплесками это замена balloon pods и ручному overprovisioning. Standby-ноды возобновляются в 2-3 раза быстрее, чем создаётся свежая нода, а buffer описывается через CapacityBuffer. В статье есть YAML-пример и проверка через kubectl get nodes с condition Suspended.

Если у вас latency SLO страдает именно на scale-up, это стоит тестировать на отдельном node pool.

В большинстве компаний 1С и облачная инфраструктура живут в параллельных мирах: DevOps смотрит в Grafana, финдиректор — в 1С, а когда падает оплата, все смотрят друг на друга. На самом деле подружить 1С с современными инструментами мониторинга вполне реально всего за один спринт. В блоге Centicore рассказали, как это сделать.

В статье разбирается, как вытащить метрики из 1С через OData без единой строчки кода, написать Prometheus Exporter на Python и собрать бизнес- и технические метрики на одном дашборде. А заодно — где интеграция обычно ломается и как это пережить.

Сервис должен уметь сказать, какая версия сейчас запущена

Michael Stapelberg в заметке формулирует простое правило: все программы должны репортить свою версию. Не «мы вроде деплоили коммит утром», а конкретный build id, commit, timestamp или package version, которые можно получить из бинаря или runtime.

Для incident response это не косметика. Когда алерт горит, команда должна быстро понять, какие инстансы уже на новом билде, где остался старый артефакт и какой образ реально крутится в pod'е или systemd unit.

Практический шаг: проверьте свои CLI, сервисы и health/debug endpoints. Если версия не достаётся одной командой, расследование уже начинается с лишней неопределённости.

Контейнерный supply chain стоит проверять не только на этапе registry

Docker собрал чеклист по безопасности цепочки поставки для контейнеров. Там не про один волшебный сканер, а про всю дорогу образа: base image, зависимости, secrets в CI, SBOM, provenance, подписи и runtime monitoring.

Хороший минимум для своей платформы: закрепить digest вместо плавающих тегов, генерировать SBOM на сборке, ограничить scope секретов в pipeline, проверять provenance перед deploy и не считать successful build доказательством безопасности.

Материал удобно открыть рядом с CI/CD и registry-настройками. Не как теорию, а как список мест, где обычно тихо накапливается риск.

Golden images теперь можно держать на поводке в HCP Packer

Если образы собирают разные команды, security baseline быстро начинает жить на честном слове: где-то забыли агент мониторинга, где-то не включили hardening, где-то compliance-шаг остался в локальном пайплайне.

HashiCorp добавила enforced provisioners в HCP Packer. Platform-команда задаёт обязательные provisioning-шаги централизованно, а отдельные сборки уже не могут их отключить. Это касается AMI, VM, Docker-образов и других golden images.

Практический смысл простой: если у вас Packer разъехался по командам, стоит вынести обязательные security/compliance шаги из локальных шаблонов в enforced policy.

CodeQL быстрее сканирует Go и C/C++ в pull request'ах

GitHub включил инкрементальный анализ для CodeQL по Go и C/C++. Вместо полного прохода по репозиторию скан смотрит на изменения и переиспользует предыдущий результат. Для больших монореп это как раз та разница, из-за которой security job перестаёт быть самым долгим этапом CI.

На github.com фича включена по умолчанию для проектов с build mode none в default setup и advanced setup. Для сторонних CI нужен CodeQL CLI 2.25.5 или новее.

Если CodeQL у вас давно «временно» вынесен из обязательных checks из-за скорости, есть повод вернуть его в pipeline и сравнить время прогона.

AIOps в мониторинге: почему ML чаще галлюцинирует, чем помогает

Вендоры продают AIOps как «подключи телеметрию — ИИ сам найдёт причину инцидента». На деле под капотом обычно движок правил в обёртке, а LLM сверху собирает правдоподобный, но не всегда верный RCA: финальный вывод о причине сбоя всё равно приходится сверять с трассировками, метриками и событиями деплоя.

Разбор Centicore Group на Tproger: как реально устроен ML в мониторинге (сбор, нормализация, группировка, корреляция), три причины деградации в проде (нет истории по новому типу сбоя, дрейф данных, выдумки LLM), где он всё-таки полезен (шумоподавление и ускорение triage) и чек-лист вопросов вендору про cold start и переобучение.

https://tproger.ru/articles/aiops-eto-novaya-chernaya-magiya-pochemu-ml-v-monitoringe-chashhe-gal

317 npm-пакетов скомпрометированы через взломанный аккаунт atool

19 мая за 22 минуты опубликовано 637 вредоносных версий 317 пакетов с десятками млн загрузок/мес. Под ударом echarts-for-react, size-sensor, 250+ пакетов @antv.

Полезная нагрузка Mini Shai-Hulud: кража AWS-ключей, GitHub PAT, npm-токенов, SSH-ключей, секретов 1Password/Bitwarden, токенов Kubernetes/Vault. Эксфильтрация через зашифрованные Git-объекты и HTTPS под видом OpenTelemetry-трейсов.

Тег latest не переставлен, но npm берёт наибольший semver — зависимость ^3.0.6 подтянет вредоносную 3.2.7. Запуск через preinstall.

Что делать: проверить lock-файлы, заблокировать диапазоны версий затронутых пакетов, аудировать секреты в CI.

AI-генерированный код проходит CI и роняет прод под нагрузкой

AI-агент написал модуль скоринга транзакций за 15 минут: 400 строк, тесты зелёные, ревью прошло. Через три месяца аудит нашёл race condition при параллельной обработке транзакций одного клиента — вторая транзакция не видела результат первой, оборот занижался, подозрительные паттерны не детектировались.

Корень проблемы: разработчик не разобрался в модели параллелизма, ревью провёл другой агент с теми же слепыми зонами. CI проверил синтаксис и покрытие unit-тестами — но race condition под нагрузкой ловится только concurrent-сценарием или инженером, который понимает модель.

Для SRE это означает конкретное требование к пайплайну: AI-генерированный код в нагруженных сервисах нуждается в ручном ревью модели параллелизма и нагрузочных тестах до деплоя в prod. Разбор на Tproger — про то, как выстраивать контроль.

Kubernetes: от kubectl до полного стека из 10+ инструментов

K9s → Argo CD → KEDA → Karpenter → Network Policies → Istio → Secrets Store CSI → Kyverno → Prometheus → Jaeger...

Почему каждый из них появился и какую проблему решает: https://tprg.ru/XcMT

Как сделать развертывание в Kubernetes умным

Helm, Kustomize, Argo CD работают, пока ваше приложение простой stateless-сервис. А если нужен строгий порядок запуска, готовая база данных, последовательный пайплайн?

Тут либо приходится писать своего оператора (дорого, сложно, долго), либо надеяться на итоговую согласованность и молиться.

Есть и третий путь. Yoke + Air Traffic Controller (ATC) предлагают логику приложения как код, скомпилированный в WASM.

Вот что вы узнаете из перевода статьи Дэвида Демаре-Мишо:
— как построить пайплайн из трёх задач, где каждая следующая стартует только после успешного завершения предыдущей.
— как организовать координацию с внешними ресурсами.

Если вы еще не знакомы с Yoke и Air Traffic Controller самое время познакомиться.

Постоянный доступ в Kubernetes: как атакующие закрепляются в кластере и остаются незамеченными

Вы думаете, что если злоумышленник получил доступ к ноутбуку администратора на пять минут — это не страшно? А зря.

Чтобы изменить мнение, советуем почитать перевод статьи Рори Маккьюна «Beyond the Surface» — детальный разбор одного реального вектора атаки на Kubernetes. Автор показывает, как с помощью встроенных механизмов (kubectl debug, containerd, статические манифесты, CSR API, Token Request API) можно:
— получить root-доступ к узлу;
— запустить скрытый контейнер в обход API;
— организовать удалённое управление через Tailscale;
— создать вечные учётные данные, которые невозможно отозвать без ротации корневого сертификата.

В статье — не только техники атак, но и чёткие признаки обнаружения, а главное — меры защиты: изоляция API-сервера от интернета, минимальные привилегии RBAC, централизованные логи узлов.

Полный текст: https://tprg.ru/gfJ6