Библиотека девопса | DevOps, SRE, Sysadmin

🐳 Новая версия Docker Desktop

Docker выпустил версию Docker Desktop 4.38, представив ряд новых функций и улучшений.

Ключевые обновления:

➖ Интеграция с AI Agent: теперь разработчики могут использовать AI Agent непосредственно в Docker Desktop.

➖ Многоузловой Kubernetes: добавлена поддержка развертывания и управления многоузловыми кластерами Kubernetes.

➖ Bake в GA: функция Bake достигла статуса General Availability.

🖇 Подробнее в блоге Docker

🐸Библиотека devops'a

🏗 Разбираем Prometheus

Prometheus позволяет управлять мониторингом без сложных конфигураций. Давайте разберёмся, какие компоненты обеспечивают его работу и как они взаимодействуют.

Компоненты Prometheus

➖ Prometheus Server. Основной компонент, который собирает, обрабатывает и хранит метрики в базе временных рядов.

➖Time-Series Database. Специальное хранилище, в котором данные индексируются по времени и меткам, что позволяет быстро выполнять сложные запросы.

➖ Scraper. Сервер запрашивает данные у приложений, баз данных и других сервисов, которые предоставляют метрики в формате Prometheus.

➖Query & API Layer. Поддержка языка запросов Prometheus PromQL, API-интерфейсов и интеграция с внешними инструментами.

Что делает Prometheus:

1. Запрашивает метрики у целевых сервисов

2. Хранит данные в базе

3. Выполняет аналитические запросы через
PromQL

4. Передаёт данные в Grafana для визуализации

5. Настраивает оповещения через Alertmanager

Отличительная особенность — Prometheus использует pull-модель, а не push.

➡️ Подробнее про архитектуру Prometheus

🐸Библиотека devops'a

🐳 Настройка Keycloak в Docker

Keycloak это open-source identity provider с поддержкой OIDC, OAuth 2.0 и SAML для управления пользователями, ролями и авторизацией

Запускаем Keycloak в Docker:

docker run -p 8080:8080  \ 
    -e KC_BOOTSTRAP_ADMIN_USERNAME=admin \
    -e KC_BOOTSTRAP_ADMIN_PASSWORD=admin \
    quay.io/keycloak/keycloak:26.1.1 start-dev

Эта команда запускает Keycloak, открытый на локальном порту 8080, и создаёт начального администратора с именем пользователя admin и паролем admin.

Что нужно сделать после запуска

1️⃣ Создать новый Realm — пространство пользователей

2️⃣ Добавить клиента, например, my-app

3️⃣ Настроить редиректы (куда возвращать пользователей после логина)

4️⃣ Генерировать клиентский секрет и подключить его в коде приложения

➡️ Подробнее про настройку в официальном гайде

🐸Библиотека devops'a

🌐 API Gateway: что это и зачем нужно

API Gateway — это промежуточный сервис, который принимает запросы от клиентов и направляет их к нужным сервисам или микросервисам.

➖ Как работает API Gateway

Когда мобильное приложение, браузер или другой сервис отправляет запрос, API Gateway:

1️⃣ Принимает запрос от клиента.

2️⃣ Определяет, куда его направить — в один сервис или сразу в несколько.

3️⃣ Добавляет авторизацию, логику маршрутизации и другие проверки.

4️⃣ Отправляет запрос в нужный сервис и получает ответ.

5️⃣ Форматирует и возвращает ответ клиенту.

Он абстрагирует сложность backend-архитектуры, позволяя клиентам взаимодействовать, не зная о внутренних сервисах, их местоположении и способах обработки данных

➖ Популярные API Gateway

• AWS API Gateway – сервис от Amazon для управления REST и WebSocket API.

• Kong API Gateway – мощное open-source решение с плагинами.

• Traefik – API Gateway и балансировщик нагрузки для Kubernetes.

• NGINX – можно использовать как API Gateway для маршрутизации трафика.

🐸Библиотека devops'a

🚀 Обновление GitLab 17.8

Недавно вышла новая версия GitLab 17.8, рассказываем что нового в ней появилось:

🔒 Защищенные контейнерные репозитории. Теперь они доступны в GitLab, что позволяет устанавливать строгие правила доступа для управления контейнерными образами.

📊 Отслеживание экспериментов с моделями машинного обучения. Для специалистов по данным теперь доступна функция отслеживания экспериментов с ML-моделями. Она позволяет логировать параметры, метрики и артефакты непосредственно в GitLab, упрощает доступ к экспериментальным данным и обеспечивать их сохранность в рамках GitLab.

📋 Список деплоев, связанных с релизом. Теперь на странице релиза можно увидеть все связанные деплои.

🏃‍♂️ Хостинг раннеров на Linux, Теперь доступен для пользователей GitLab Dedicated

🖇 Подробнее об обновлениях читайте в официальном анонсе

🐸Библиотека devops'a #новость

⚙️ Azure DevOps: инструменты, которые ускоряют разработку

Azure DevOps предлагает мощный набор инструментов для автоматизации CI/CD, управления кодом, тестирования и мониторинга.

Что входит в Azure DevOps

⭐ Azure Repos — репозитории Git с продвинутыми инструментами для командной работы.

⭐ Azure Pipelines — CI/CD-конвейеры для автоматической сборки, тестирования и деплоя.

⭐ Azure Boards — таск-менеджер с поддержкой Scrum, Kanban и Agile-методологий.

⭐ Azure Test Plans — платформа для автоматизированного и ручного тестирования.

⭐ Azure Artifacts — безопасное хранилище зависимостей: NuGet, npm, Maven.

Почему Azure DevOps

✅ Полная экосистема: код → сборка → тест → деплой → мониторинг.

✅ Поддержка гибридных облаков (Azure, AWS, GCP, On-prem).

✅ Интеграция с GitHub, Docker, Kubernetes, Terraform, Ansible.

✅ Подходит как для стартапов, так и для энтерпрайза.

📎 Подробнее про Azure-стек в статье

🐸Библиотека devops'a

📚 Менеджер пакетов нового поколения для Linux

GNU Guix — это менеджер пакетов для систем GNU/Linux, разработанный для предоставления пользователям большего контроля над их системой и облегчения их воспроизведения и развертывания на одном или нескольких устройствах.

Особенности GNU Guix:

➖ Транзакционные обновления и откаты: возможность безопасно обновлять и при необходимости возвращаться к предыдущим версиям пакетов.

➖ Воспроизводимые сборки: обеспечение идентичности программных сред при повторной сборке, что особенно важно для научных исследований и разработки.

➖ Управление пакетами без привилегий суперпользователя: пользователи могут устанавливать и управлять пакетами независимо друг от друга без необходимости в административных правах.

➖ Поддержка профилей для каждого пользователя: каждый пользователь может иметь собственный набор установленных пакетов и конфигураций, не влияя на других.

Кроме того, GNU Guix предоставляет тысячи пакетов, доступных в виде предварительно собранных бинарных файлов, включая рабочие среды, приложения, системные инструменты и языки программирования.

➡️ Официальный сайт проекта

🐸Библиотека devops'a

🔍 KICS – безопасность для Infrastructure as Code

Keeping Infrastructure as Code Secure (KICS)– это инструмент, предназначенный для автоматического сканирования инфраструктуры как кода (IaC) на наличие уязвимостей и ошибок конфигурации.

➖ Как работает KICS

KICS анализирует конфигурационные файлы Terraform, Kubernetes, Docker, CloudFormation, Ansible и выявляет потенциальные угрозы, такие как:

• Открытые порты или ненадёжные сетевые настройки

• Отсутствие аутентификации и некорректное управление доступом

• Использование небезопасных облачных сервисов и параметров

• Несоответствие стандартам безопасности: CIS, NIST, GDPR

➖ Как запустить KICS

Для сканирования достаточно выполнить команду:

docker run -v $(pwd):/path checkmarx/kics scan -p /path

➖ Ключевые особенности KICS

• Поддержка множества языков IaC: Terraform, Helm, JSON, YAML

• Интеграция в CI/CD-пайплайны: GitHub Actions, GitLab CI/CD, Jenkins.

• Быстрая установка и запуск — можно использовать через Docker или бинарный файл.

• Огромная база правил — более 2000 проверок на соответствие требованиям безопасности.

Ручной аудит конфигураций — это долго и дорого. KICS выполняет анализ автоматически, позволяя разработчикам сосредоточиться на создании кода

🐸Библиотека devops'a

⚙️ Какой workflow выбрать в Terraform

HashiCorp предлагает три основных подхода к управлению запусками Terraform в HCP Terraform: UI/VCS-ориентированный, CLI-ориентированный и API-ориентированный.

1️⃣ UI/VCS-ориентированный рабочий процесс

Этот метод является наиболее интуитивным и подходит для большинства пользователей. HCP Terraform интегрируется с основными системами контроля версий (VCS), такими как GitHub или Bitbucket.

При подключении репозитория к рабочей области HCP Terraform автоматически регистрирует вебхуки. Каждый раз при внесении новых коммитов в связанную ветку репозитория HCP Terraform автоматически инициирует запуск Terraform.

2️⃣ CLI-ориентированный рабочий процесс

Этот подход позволяет использовать стандартные инструменты командной строки Terraform для выполнения запусков в HCP Terraform.

Он особенно полезен для локальной разработки и тестирования, предоставляя возможность быстро вносить изменения и проверять их перед интеграцией. .

3️⃣ API-ориентированный рабочий процесс

Этот метод предоставляет максимальную гибкость и предназначен для опытных пользователей, которым требуется интеграция Terraform с другими системами или автоматизация процессов.

В API-ориентированном рабочем процессе рабочие области не связаны напрямую с репозиторием VCS. Вместо этого внешние инструменты, такие как системы CI/CD, отвечают за определение изменений в конфигурации и инициирование запусков через API HCP Terraform.

📎 Подробнее в блоге HashiCorp

🐸Библиотека devops'a

🛠 Эффективный Terraform

Один из ключевых принципов — модули конфигурации. Разделение инфраструктуры на переиспользуемые модули сокращает дублирование кода и упрощает поддержку общих компонентов

Важным аспектом работы с Terraform является удалённое хранение состояния. Использование AWS S3 или HashiCorp Consul, вместе с механизмами блокировки, позволяет избежать конфликтов при одновременной работе нескольких специалистов.

Еще одна неотъемлемая практика — обязательное выполнение команды terraform plan перед применением изменений. Планирование позволяет увидеть, какие изменения будут внесены, и выявить возможные ошибки на ранней стадии.

📎 Подробности с примерами в источнике

🐸Библиотека devops'a

🐸Библиотека devops'a #мем

⚙️ Подпишись на нашу еженедельную email-рассылку, чтобы быть в курсе последних открытий и тенденций в мире бэкенда.

В еженедельных письмах ты найдешь:
● Языки программирования и фреймворки для бэкенда
● Архитектура и проектирование серверных приложений
● Базы данных и управление данными
● Безопасность и защита данных
● Облачные технологии и DevOps
● API и интеграции
● Тестирование и отладка
● Инструменты и утилиты для бэкенд-разработчиков
● Лучшие практики и паттерны проектирования

👉Подписаться👈

🔄 Обновление Git

Недавно вышла новая версия Git — 2.48. В этом обновлении представлены улучшения и исправления, направленные на повышение производительности и удобства использования.

Ниже некоторые изменения:

➖ Поддержка системы сборки Meson: git теперь поддерживает систему сборки Meson -- современную альтернативу существующим системам на основе Makefile, Autoconf и CMake. Meson предлагает понятную синтаксическую структуру, поддержку различных ОС, компиляторов и IDE.

➖ Улучшенные проверки целостности пакетов: теперь при выполнении операций fetch с использованием пакетов возможна полная проверка с помощью механизма fsck.

➖ Оптимизация работы с reftable: благодаря повторному использованию внутренних итераторов при чтении случайных ссылок удалось повысить производительность, особенно при создании множества ссылок в одной транзакции.

➖ Поддержка миграции reflog: инструмент git refs migrate теперь поддерживает миграцию reflog между различными форматами хранения ссылок.

➖ Оптимизация фильтрации ссылок: подсистема ref-filter, используемая в командах git for-each-ref, git branch и git tag, была оптимизирована для работы с большим количеством ссылок.

🖇 Подробности о релизе

🐸Библиотека devops'a #новость

👻 Ghostty 1.1.0: обзор обновления

Вчера вышла версия Ghostty 1.1.0 — кроссплатформенного терминала с аппаратным ускорением и нативным интерфейсом

Изменения в версии 1.1.0:

➖ Поддержка серверных декораций окон на Linux: теперь Ghostty поддерживает серверные декорации окон для композиторов, которые их поддерживают, из-за чего он выглядит более нативно в различных окружениях рабочего стола.

➖ «Выполнимые» горячие клавиши: добавлен новый префикс performable для горячих клавиш. Этот префикс указывает, что горячая клавиша должна потреблять ввод только в том случае, если действие выполняется. Например, комбинация ctrl+c будет работать как копирование только при наличии текста для копирования; в противном случае она будет передана в оболочку для прерывания процесса.

➖ Улучшения альфа-смешивания на macOS: альфа-смешивание теперь выполняется в цветовом пространстве P3 по умолчанию, что снижает затемнение вокруг краев текста и соответствует внешнему виду нативных приложений macOS.

➖ Улучшения терминала на macOS: быстрый терминал теперь корректно работает с нативными полноэкранными окнами, изменениями рабочих пространств во время его открытия, виджетами IME, левыми/правыми доками и другими элементами.

📎 Почитать про обновление

🐸Библиотека devops'a #новость

☢️ Как не попасть в токсичную компанию: чек-лист для айтишника

C офферами от Сбера, Вконтакте, Яндекса и других айтишных гигантов все понятно — это стабильные компании, работать в которых мечтают многие.

Но вот что делать, если вас зовут работать в ноунейм-компанию, при этом предлагают з/п сильно выше рынка, полную удаленку и 100500 «плюшек»?

Рассказываем, как проверить будущего работодателя и не оказаться в компании-однодневке с невыплатами зарплаты и токсичной культурой.

👉 Читать статью

▶️⚙️ Кроссплатформенные CI/CD-процессы с Docker

При разработке CI/CD-процессов возникает проблема несовместимости между разными платформами. Конфигурации, работающие в одной среде, могут некорректно работать в другой.

Docker решает эту проблему, создавая единое окружение, в котором можно запускать сборки и тестирование без зависимости от используемой CI/CD-системы.

Для быстрого старта можно использовать шаблон:

git clone https://github.com/mathio/awesome-action-starter.git my-action
cd my-action

➡️ Подробное руководство доступно по ссылке

🐸Библиотека devops'a

🛠 Стратегии развертывания в DevOps

Развертывание нового кода требует точности и продуманного подхода. Ошибки приводят к сбоям, потере данных, недоступности сервисов.

• Rolling-обновления исключают downtime, позволяя постепенно вводить изменения.

• Blue-Green Deployment снижает вероятность отказа, задействуя резервную среду.

• Canary Deployment позволяет протестировать обновления на ограниченной группе, свести к минимуму возможные проблемы.

➡️ Про вышеописанные и другие стратегии развёртывания рекомендуем прочитать статью

🐸Библиотека devops'a

Библиотека девопса | DevOps, SRE, Sysadmin pinned a photo

⚡️ Если вы вдруг забыли: у нас можно купить рекламу

Библиотека программиста — медиа с миллионной аудиторией из IT-сферы. Что у нас есть:

• 60+ телеграм-каналов по разным IT-направлениям, от Python до DevOps

• 25 000 daily active users на сайте, который поможет усилить продвижение

• Возможность сделать нативную интеграцию, виральный пост и не только

За айтишной аудиторией — к нам 😏

По вопросам рекламы пишите сюда → @proglib_adv

🤖 Разворачиваем DeepSeek на Amazon

Недавно компания DeepSeek представила AI-модель DeepSeek-R1, которая сопоставима с передовыми западными аналогами, но при этом экономична и открыта для сообщества.

Развертывание этой модели на Amazon EC2 предоставляет разработчикам гибкость и масштабируемость для интеграции мощных AI-функций в свои приложения.

Основные шаги развертывания DeepSeek-R1 на Amazon EC2:

1️⃣ Создание IAM роли: в AWS Management Console создайте роль для EC2 с необходимыми правами доступа, включая AmazonS3FullAccess и AmazonSSMManagedInstanceCore.

2️⃣ Настройка EC2 экземпляра: запустите экземпляр EC2 с Amazon Linux 2, выбрав тип g4dn.xlarge, настройте сеть и создайте группу безопасности, разрешающую HTTP и HTTPS трафик.

3️⃣ Подключение через SSM: используйте AWS Systems Manager для подключения к экземпляру без необходимости в открытых SSH-портах.

4️⃣ Установка драйверов NVIDIA и Docker: установите необходимые драйверы для GPU и настройте Docker для работы с NVIDIA.

5️⃣ Развертывание Ollama и модели DeepSeek-R1: установите Ollama Server и загрузите модель DeepSeek-R1-Distill-Qwen-14B для обработки AI-запросов.

6️⃣ Настройка Application Load Balancer: создайте балансировщик нагрузки для обеспечения доступа к веб-интерфейсу Ollama, что позволит взаимодействовать с моделью через браузер.

📎 Подробнее читайте в статье

🐸Библиотека devops'a