DevOps FM

Серия статей "Out-of-memory (OOM) in Kubernetes"

Подробно рассматривается, что происходит, когда Kubernetes сталкивается с ситуациями нехватки памяти и как он на них реагирует. Концепции, работа механизмов, метрики памяти, инструменты, используемые для их сбора, обобщающие диаграммы — рассказано про всё.

Детальное содержание каждой статьи — в первой части.

Часть 2 — "The OOM killer and application runtime implications"

Часть 3 — "Memory metrics sources and tools to collect them"

Часть 4 — "Pod evictions, OOM scenarios and flows leading to them"

P. S. Вспомнили про эту серию благодаря отличной статье на Хабре "Коварство метрик памяти Kubernetes (и cgroups)".

#статьи #Хабр

Всем DevOps! 🖖

Думаем, нет необходимости объяснять, почему open source ПО — это круто и важно.

TODO Group и Linux Foundation проводят опрос — The 2023 Open Source Program Office (OSPO) Survey. Это исследование поможет оценить, как используются open source решения в разных организациях, как решается вопрос баланса между открытостью и безопасностью при работе с open source решениями, насколько активно компании разрабатывают собственные open source инструменты и т.д.

Заявленное время прохождения опроса 15 минут, за участие обещают код на 25% скидку на любой курс или экзамен Linux Foundation.

Всем DevOps! 🖖

В пятницу предлагаем почитать легкий и ненапряжный (всего 47 минут) лонгрид с обзором инструментов хаос-инжиниринга для Kubernetes.

В обзоре участвовало 4 open-source инструмента: Chaos Toolkit , Pumba, Litmus, Chaos Mesh. Оценивали по критериям: установка и управление, разнообразие экспериментов, безопасность и Observability.

В дополнение — серия статей про хаос-инжиниринг в целом: часть 1, часть 2, часть 3.

Хороших выходных :)

#статьи

Бесплатные (ну почти) курсы по DevSecOps и Security от Yandex Cloud.

Само обучение действительно бесплатное, но нужно оплатить ресурсы облачной платформы для выполнения практических заданий.

1) «Защита облачной инфраструктуры» — работа над инфраструктурой интернет-магазина, научитесь настраивать группы безопасности и защищать инфраструктуру от DDoS-атак.

2) «DevSecOps в облачном CI/CD» — научитесь настраивать DevSecOps-пайплайны, использовать облачные средства безопасности, управлять секретами с помощью сервиса Yandex Lockbox и управлять ключами в KMS.

3) «Аутентификация и управление доступами» — настроите систему единого входа SSO*, научитесь управлять ресурсами и настраивать права доступа в облачной инфраструктуре.

Список всех курсов, опубликованных и будущих, здесь.

* Полезная статья про SSO :)

#видео

Релиз Nginx 1.25.0

Добавлен модуль ngx_http_v3 с экспериментальной поддержкой протокола HTTP/3, появилась возможность перезаписи входящих URI в процессе маршрутизации запроса, добавили функцию вывода в лог диагностических сообщений приложений и отладочных данных о маршрутизации запросов.

Подробнее об изменениях можно почитать на Хабре.

P.S. У российской версии Nginx — Angie — тоже новость: этот веб-сервер добавили в реестр отечественного ПО. Про историю появления Angie писали здесь.

#новости

В начале мая были опубликованы доклады с KubeCon + CloudNativeCon Europe 2023, делимся несколькими запомнившимися.

• Доклад «The Hacker's Guide to Kubernetes» — взлом Kubernetes в прямом эфире. Разумеется, чтобы рассказать про распространенные уязвимости Kubernetes и лучшие методы защиты. Доклад поможет познакомиться с различными рисками безопасности Kubernetes из списка OWASP Kubernetes Top 10.

• Доклад «Love, Death and Robots - with Wasm & K8s» — познавательное из сферы роботостроения. Разработчики Boston Dynamics Spot (желтый робот-собака — их рук дело) рассказывают, можно ли запустить Kubernetes в этом роботе, зачем это делать и что получится.

• Доклад «How to Blow up a Kubernetes Cluster» — об управлении ресурсами в Kubernetes. История от разработчика, который думал, что разобрался с Kubernetes: лимитами и запросами, но увы, не всё так просто — по итогу кластер вышел из строя. Выступление поможет разобраться, как Kubernetes обрабатывает ограниченные ресурсы, и не повторить ошибки докладчика.

Смотрели доклады? Порекомендуйте лучшие 😎

Всем DevOps! 🖖

#видео

Статья "Как улучшить дашборды логов с помощью Grafana и Grafana Loki".

❓Grafana — open-source инструмент для визуализации данных из различных систем сбора статистики и мониторинга.

❓Grafana Loki — система агрегации логов, предназначенная для хранения и поиска логов всех ваших приложений и инфраструктуры.

6 способов как сделать дашборд немного лучше, избавиться от необходимости чтения множества строк лог-файла и поиска по нему.

• А здесь — общие мысли на тему "каким должен быть хороший дашборд"

#статьи

Yandex Cloud открыла доступ к обновленной версии Yandex DataSphere.

Yandex DataSphere — это сервис для полного цикла разработки машинного обучения.

Какие обновления?

▪️ Добавлен новый режим работы: Yandex DataSphere Dedicated. Дает возможность зарезервировать виртуальную машину в облаке под свой проект и работать с ней столько, сколько потребуется.

▪️ Появилась новая версия Jupyter Notebook — редактора кода для ML-разработки. Стало удобнее настраивать среду разработки => можно быстрее обучать модели => быстрее выводить их в продакшн.

P.S. К слову про ML — забавная статья, в которой автор доказывает, что машина может отличить чихуахуа от маффинов. А здесь — статья про MLOps: что это, какие модели существуют, что нужно для работы с этой технологией.

Всем... DevOps MLOps? 🤔

#новости #статьи

Быть или не быть CTO — дело каждого, но знать больше о позиции технического директора полезно.

▪️Классическая подборка Awecome-CTO-List — список ресурсов для CTO (с упором на стартапы).

▪️Статья "Потерять хорошего тимлида, приобрести плохого директора" — будет интересно тем, кто собирается сделать такой карьерный шаг, а также новоиспечённым СТО, viceCTO, техдирам и прочим Е-level технарям.

▪️Выступление с HighLoad++ 2021 "Что такое CTO от стартапа до IPO" — доклад, скорее, про различные управленческие уровни в организациях. Про трансформацию компании от стартапа до гиганта и трансформации роли сотрудника от разработчика до CTO.

▪️Статья "Что бы я хотел знать до того, как стать CTO".

Может быть, вы и сами CTO? Расскажите о своем опыте! Или вы мечтаете стать CTO? Поделитесь — почему 😉

#статьи

Монолиты VS микросервисы — бесконечная тема. У каждого решения есть свои плюсы и минусы. Небольшая подборка материалов про эти подходы 📝

▪️Перевод очень подробной статьи "Архитектура микросервисов" — как говорится, "от и до": что такое микросервисы, зачем они нужны, как декомпозировать монолит.

▪️Кейс Prime Video от Amazon — о переходе от архитектуры распределенных микросервисов к монолитному приложению и о том, как это решение помогло добиться большей масштабируемости, отказоустойчивости и снизить затраты. Статья вышла недавно и спровоцировала новый виток обсуждений.

▪️Видео "На пути к микросервисам" — практические рекомендации: как выбрать подходящую для проекта архитектуру, как провести трансформацию, перенести проект на современные рельсы, навести порядок в инфраструктуре, сделать человеческое разделение на среды, построить новые удобные технологические процессы разработки и настроить деплой «по кнопке»?

▪️Статья "Модули, монолиты и микросервисы" — обзор разных способов архитектуры приложений. Говорится о преимуществах и недостатках монолитов и микросервисов, есть рекомендации по внедрению микросервисной архитектуры.

▪️Мнение "Вам не нужны микросервисы" — позиция автора понятна из названия, но рациональное зерно здесь есть.

Список можно дополнить в комментариях ⬇️

Всем DevOps и хорошей недели (с микросервисами или без)! 🖖

#видео #статьи

Разобраться в Kubernetes — задача непростая.
Может помочь серия статей об основах и базовых концепциях Kubernetes, написано очень подробно и со схемами. Оригинал — на Medium (по подписке), чтобы не ходить в браузер, залили в Телеграф.

⚙️ Введение в Kubernetes — эволюция способов развертывания приложений на серверах, а также с концепциями, компонентами и принципами работы Kubernetes.

⚙️ Создание кластерной среды — ничего неожиданного, гайд "как создать кластер"

⚙️ Управление ресурсами — синтаксис yaml + основы управления ресурсами

⚙️ Как задеплоить Nginx в кластер Kubernetes — туториал с углублением в детали и принципы работы задействованных ресурсов.

⚙️ Детальное объяснение подов (часть 1, часть 2) — подробно описана конфигурация (YAML) и принципы работы с ресурсами Pod. Заявленное время прочтения 2 частей 35 минут.

⚙️ Погружение в тему контроллеров — 25 минут про использование различных контроллеров Pod.

⚙️ Подробное объяснение сервисов — про компоненты нагрузки трафика Kubernetes: Service и Ingress.

⚙️ Хранилище данных — про Volume.

#статьи

Всем DevOps! 🖖

У Kubernetes есть свой подкаст. Обсуждают новости мира облачных технологий, общаются с представителями сообщества Kubernetes и Cloud Native в целом.

Последний выпуск посвящен Kubernetes v1.27. Лид релиза Ксандер Гживински (Xander Grzywinski) рассказал про основные обновления и про работу релизной команды.

Подкаст на английском, но у каждого выпуска есть полная текстовая расшифровка (и всякие полезные ссылки)

Про другие подкасты писали здесь и здесь. Если слушаете что-то еще — делитесь в комментариях 🦾

#подкаст

Продолжаем тему безопасности и рисков 🦠

Docker — очень популярный инструмент, наверняка и вы с ним работаете. А значит статья Романа, DevOps-инженера компании Nixys, 100 % будет вам полезна.

«Докер в опасности, или как искать уязвимости в образах контейнеров»

Вы узнаете какие уязвимости бывают, как их искать и какой сканер уязвимостей лучше выбрать. Бонус: поучительный кейс о том, как делать не надо.

➡️ Читать статью

#статья_Nixys

Среда — маленькая пятница 😎
Собрали интересных статей, можно сделать небольшой перерыв и почитать.

▪️ Отличная статья (на русском) о том, как настроить мониторинг SSL сертификатов в Zabbix. Автор обещает в будущем написать варианты для Prometheus и Grafana.

▪️ Неожиданный рассказ про внутрянку Tinder — Tinder API Gateway. Зачем нужен, как устроен и т.д.

▪️ Как работает связь между подами в Kubernetes — подробное объяснение на самом низком уровне. Со схемами.

▪️Статья про 15 ловушек Kubernetes (доступна с VPN 🙁). Автор рассказывает о распространенных подводных камнях Kubernetes, о том, к чему они могут привести и как их исправить.

▪️ Увлекательная полемика: "не используйте CPU-лимиты" (доступ с VPN) VS "используйте CPU-лимиты". Как говорится, думайте сами, решайте сами (но сначала почитайте обе статьи)

Всем DevOps! 🖖

#статьи

Всем DevOps! 🖖

Рекомендуем серию статей, посвященную Helm.

❓Helm — это пакетный менеджер, который позволяет работать с приложениями в K8s, помогает доставлять одно и то же приложение в разные окружения с различными параметрами, позволяет легко и удобно управлять жизненным циклом приложения.

🔥 Бонус: Статья про универсальный Helm чарт.

Helm - From basic to advanced

▪️"In Action" — объясняется принцип работы Helm и его преимущества + пошаговое руководство по установке и использованию Helm для управления приложениями Kubernetes.

▪️"Advanced Commands" — объясняются более сложные команды Helm, связанные с обновлением, откатом, удалением чартов и т.д.

▪️"Create Your First Chart" — гайд по созданию простого чарта Helm для веб-приложения.

▪️"Template Actions, Functions and Pipelines" — приводятся примеры использования шаблонных действий, функций и пайплайнов для создания более сложных и динамичных чартов.

▪️"Flow Control" — разные способы контроля flow.

▪️"Variables" — как использовать переменные для упрощения кода и более эффективного использования with и range.

▪️"Named Templates" — глубокое погружение в тему именованных шаблонов.

▪️"Dependencies" — не менее глубокое погружение в тему зависимостей.

▪️"Data Sharing Between Parent and Child Chart" — о том, как происходит обмен данными между родительским и дочерним чартами.

▪️"Chart Hooks and Test" — объяснение хуков (с примерами) - функций, которые выполняются в определенные моменты жизненного цикла чарта.

▪️"Create a Private Repository Using Apache Webserver" — гайд по созданию частного репозитория Helm с помощью веб-сервера Apache.

Необычная, но очень полезная шпаргалка (да, мы решили поделиться всеми шпаргалками из запасов 😎)

Во-первых, она доступна как в браузере, так и в редакторах кода. Во-вторых, используется curl. В-третьих, есть стелс-режим и можно пользоваться шпаргалкой даже без рук без клавиатуры... Думаем, стоит просто взглянуть.

Охватывает 56 языков программирования, несколько СУБД и более 1000 важнейших команд UNIX/Linux. Дает доступ к лучшим репозиториям шпаргалок.

▪️ Ссылка на браузерную версию

▪️ Ссылка на репозиторий

ChatGPT пора подвинуться — вышел Bard. Новая нейронка от Google уже доступна и во многом сильнее и удобнее ChatGPT:

1. Bard по умолчанию умеет в поиск. ChatGPT отрезана от сети без специальных плагинов, а её развитие остановилось в 2021-м.
2. Bard умеет в голосовой ввод. Печатать руками больше не нужно.
3. Чат-бот от Google позволяет сразу же экспортировать сгенерированный текст в Gmail или Google Docs.
4. Bard сделает выжимку с любого сайта. Просто попросите её об этом и приложите ссылку.
5. Нейронка сама генерирует три версии одного и того же ответа на ваш запрос.
6. Тоже умеет объяснять код и делать с ним массу полезных операций.
7. Чат-бот прикладывает ссылки, которые тематически близки к вашему запросу.
8. С доступом в интернет, Bard легко спланирует даже ваше путешествие.

Попробовать можно с VPN — тут.

Всем DevOps! 🖖

Небольшое исследование масштабируемости Argo CD.

▪️ 1 часть "Синхронизируем 10 000 приложений Argo CD" — авторы провели эксперимент: сколько приложений Argo CD может поддерживаться с приемлемой производительностью.

Они обнаружили, что при наличии тысяч приложений Argo CD CPU становится узким местом в производительности. Чтобы решить эту проблему, изучили несколько подходов, включая снижение требований к вычислениям, предоставление большей вычислительной мощности и т.д.

В итоге авторам удалось синхронизировать 10 000 приложений Argo CD за 35 минут.

▪️ 2 часть "Как самостоятельно синхронизировать 10 000 приложений Argo CD за один раз" — в этой статье описываются конкретные шаги, по которым можно повторить эксперимент.

Docker подробнее рассказали про бета-функцию docker init — команду, которая упрощает докеризацию проекта.

docker init автоматизирует создание Dockerfiles, Compose files и .dockerignore. Для использования команды нужно обновить Docker Desktop до версии 4.18 (или более поздней).

🔹 Видео с демонстрацией работы docker init

🔹 Ссылка на пункт в документации

📌 Ссылка на Awesome Docker List — список полезных материалов и инструментов для работы с Docker

#новости

Не репозиторий, а репозиторище очень полезная база знаний

Backend cheats — шпаргалка по основным темам в области Backend. Весь материал разбит на главы, по разным темам. Доступны два языка: русский и английский. Есть дополнительные материалы к разделам.

В общем, полезно как начинающим специалистам, так и вспоминающим (например, для подготовки к собеседованиям).

Иллюстрации заслуживают отдельного респекта 🔥

Ссылка на репозиторий