DevOps Portal | Linux

DevOps-инструмент недели: AirLLM

Для локального запуска больших моделей вам не нужен мощный GPU.

AirLLM — это open-source инструмент, который позволяет запускать крупные модели на одной видеокарте, не загружая всю модель в VRAM целиком.

Он разбивает модель на слои и во время инференса подгружает их по одному.

Вот как это работает 👇

- При первом запуске AirLLM скачивает полную модель, разбивает её на отдельные шарды по слоям и сохраняет их на локальном диске.
- Когда вы отправляете запрос, модель начинает загружаться в VRAM послойно.
- Сначала из диска в VRAM видеокарты загружается первый слой, выполняется его обработка, затем память освобождается и загружается следующий слой.
- Этот процесс повторяется для каждого слоя. После обработки всех слоёв AirLLM возвращает ответ на ваш запрос.

Благодаря такому подходу даже GPU с 4 ГБ видеопамяти способен запускать модель размером 70B параметров.

Начать можно здесь: AirLLM GitHub Repository

👉 DevOps Portal

VPN и mTLS — это базовые и обязательные для понимания технологии для DevOps-инженеров.

Это руководство поможет вам на практике разобраться со следующими темами:
- VPN типа Client-to-Site
- Генерация клиентских и серверных сертификатов с помощью EasyRSA
- Взаимная TLS-аутентификация (mTLS)

Почему это важно изучить?
Практически в любой организации VPN используется для безопасного подключения к облачным ресурсам и внутренней инфраструктуре.

Лучший способ по-настоящему понять, как работают VPN и mTLS, — развернуть и настроить их самостоятельно.

Подробное руководство: https://devopscube.com/aws-client-vpn/

В рамках руководства в теоретическом формате также рассматриваются следующие темы:
- Аутентификация на основе SAML и Active Directory
- TCP vs UDP — различия и сценарии использования

👉 DevOps Portal

Как запускать Linux-демон при первом подключении к его API-сокету?

Одно из ключевых назначений systemd – запуск и управление долго работающими фоновыми процессами. Демоны регистрируются в systemd как service units и обычно стартуют во время загрузки системы.

Однако если сервис не нужен сразу после загрузки и предоставляет API через TCP-сокет или Unix-сокет, зачастую эффективнее запускать его только тогда, когда к нему подключается первый клиент. Такой механизм называется socket activation.

Изучите, как работает socket activation в systemd, выполнив следующие задания:

- Запустите сервис при первом подключении к его TCP-сокету:
https://labs.iximiuz.com/challenges/systemd-socket-activate-listen-stream-inet
- Запустите сервис при первом подключении к его Unix-сокету:
https://labs.iximiuz.com/challenges/systemd-socket-activate-listen-stream-unix

👉 DevOps Portal

DevOps-инструмент недели: Dragonfly

Загрузка модели размером 130 ГБ на 200 GPU-нод создаёт около 26 ТБ сетевого трафика.

Но что если ноды будут скачивать данные друг у друга, а не напрямую из исходного источника?

Именно для этого нужен Dragonfly – опенорс система P2P-распространения файлов.

Первая нода, которая скачивает файл, становится локальным кэшем. К хранилищу моделей обращаются только один раз, а остальные ноды в кластере получают данные друг от друга.

Что умеет Dragonfly 👇
- Поддерживает прямую загрузку моделей из Hugging Face и ModelScope.
- Разбивает файлы на части и начинает раздачу по P2P ещё до завершения первого скачивания.
- Снижает нагрузку на источник с 26 ТБ до примерно 130 ГБ при развёртывании на 200 нодах.
- Поддерживает работу с приватными репозиториями через аутентификацию по токенам.
- Разворачивается в Kubernetes как DaemonSet.

GitHub-репозиторий: https://github.com/dragonflyoss/dragonfly

👉 DevOps Portal

Учимся на практике: как выбрать правильный Distroless Base Image 🤔

На этот раз тебе предстоит разобраться с контейнером, который ведёт себя некорректно. Приложение даже не может стартовать

Твоя задача – найти причину проблемы и устранить её. Возможно, для этого придётся пересобрать образ.
Лабораторная работа: https://labs.iximiuz.com/challenges/pick-the-right-distroless-base-image

👉 DevOps Portal

Компания, которая когда-то называла Linux "раковой опухолью", теперь сама поставляет его базовые инструменты пользователям Windows

Microsoft выпустила GNU Coreutils для Windows 😳

ls, grep, cat, cp, find — те самые команды, которые уже более 50 лет лежат в основе Unix- и Linux-систем, теперь доступны в Windows нативно и поддерживаются самой Microsoft.

Для понимания контекста: GNU Coreutils — это набор базовых утилит, на которых строится работа любой Linux- или macOS-системы. Они используются для операций с файлами, обработки текста и написания shell-скриптов. По сути, это фундамент всей Unix-экосистемы. Каждый день на них выполняются десятки миллионов скриптов, пайплайнов и автоматизированных процессов.

И теперь Microsoft не только поставляет их для Windows, но и занимается их поддержкой.

И это не WSL. Вам не нужна Linux-подсистема, работающая в фоне. Эти инструменты запускаются напрямую в Windows и поддерживают те же флаги, тот же синтаксис и то же поведение, что и в Linux. Существующие скрипты работают без каких-либо изменений.

Цель Microsoft – сделать переход между Linux, macOS, WSL, контейнерами и Windows максимально бесшовным. Написал скрипт один раз – запускай где угодно.

В пакет входят uutils/coreutils (современная реализация GNU Coreutils на Rust), а также findutils и grep, собранные в единый multi-call бинарник. Все команды поддерживают стандартные ключи и параметры. Те же команды, те же пайплайны, никакой адаптации или переписывания не требуется.

Проект пока находится на стадии Preview, но направление развития уже совершенно очевидно 🤔

https://github.com/microsoft/coreutils

@linuxos_tg

Лучший способ понять, как на самом деле работают серверы – написать несколько из них с нуля. Вот серия практических заданий, которые помогут вам освоить сокетное программирование на C, Python и Go:

- Напишите TCP-клиент для сервера телеметрии: https://labs.iximiuz.com/challenges/write-tcp-client-for-telemetry-server
- Напишите TCP-клиент для чат-сервера: https://labs.iximiuz.com/challenges/write-tcp-client-for-chat-server
- Реализуйте TCP echo-сервер с нуля: https://labs.iximiuz.com/challenges/write-tcp-echo-server
- Доработайте echo-сервер так, чтобы он работал как с TCP-сокетами, так и с Unix-сокетами: https://labs.iximiuz.com/challenges/write-stream-echo-server

Happy hacking! 🚀

👉 DevOps Portal

Скормил Клоду весь свой проект на переписывание

Теперь что-то отвалилось.

Что именно он поменял, нафига поменял и как это откатить – вообще непонятно.

Ни истории коммитов. Ни блейма. Ни кнопки отменить.

Только вера, надежда и молитва 🙏

Этот опенсорсный ИИ-инструмент как раз решает такую боль.

По сути – гит для ИИ-агентов.

Каждое действие записывается, каждая строчка кода привязана к промпту, который её сгенерил. Скоро ещё и полный откат завезут.

Можно спокойно давать агенту доступ на запись и при этом видеть весь след изменений с re_gent:
http://github.com/regent-vcs/re_gent

👉 DevOps Portal

DevOps-инструмент недели: Agentgateway

По мере того как AI-агенты становятся частью продакшн-систем, управление их подключениями к LLM, инструментам, API и MCP-серверам становится всё более сложной задачей.

Agentgateway решает эту проблему, выступая в роли централизованного шлюза для AI-агентов.

Вот что он умеет:
- Маршрутизирует трафик между агентами, инструментами, API и LLM.
- Предоставляет единую точку входа для MCP-серверов и взаимодействия между агентами.
- Добавляет аутентификацию, политики безопасности и ограничение скорости запросов (rate limiting).
- Обеспечивает прозрачность работы агентов: позволяет отслеживать запросы, сбои и использование ресурсов.

Можно рассматривать его как API Gateway для агентных AI-систем

GitHub-репозиторий: https://github.com/agentgateway/agentgateway

👉 DevOps Portal

Разберитесь, как на самом деле работают серверы, собрав с нуля небольшой TCP-сервер и клиент

По традиции – с большим количеством наглядных визуализаций, подробных объяснений и практических заданий:
https://labs.iximiuz.com/tutorials/how-servers-work-tcp-sockets

👉 DevOps Portal

Admission Control

Каждый запуск команды kubectl apply проходит через Kubernetes API Server до того, как данные будут сохранены в etcd (и изменят состояние кластера).

Admission Control — это промежуточный слой обработки запросов, который может модифицировать, валидировать или отклонять запросы к API. Это удобный механизм для добавления недостающих значений по умолчанию, принудительного применения лимитов ресурсов, автоматической инъекции sidecar-контейнеров, блокировки некорректных конфигураций и даже полного запрета на запуск небезопасных рабочих нагрузок.

Подробно изучите работу Kubernetes Admission Control в этом практическом туториале от Márk Sági-Kazár:
Kubernetes Admission Control Tutorial

👉 DevOps Portal

Система может выглядеть полностью исправной, даже когда под капотом уже что-то идёт не так.

В этом руководстве автор показывает, как использовать Bash и Python для автоматизации DevOps-задач в реальных продакшн-сценариях.

Вы научитесь:

выявлять резкие скачки расходов в AWS;
трассировать и анализировать сервисные логи;
находить дрейф инфраструктуры;
проверять корректность ротации секретов;
автоматизировать откат канареечных релизов.

https://freecodecamp.org/news/how-to-use-bash-python-for-real-devops-automation-handbook-with-production-use-cases/

👉 DevOps Portal

Что такое NOTES.txt в Helm Chart?

В этом руководстве вы узнаете:

- Что такое файл NOTES.txt в Helm.
- Как он работает и в каких сценариях используется.
- Как просматривать заметки до и после установки чарта.
- Пошаговый практический пример, демонстрирующий возможности NOTES.txt.
- Как отключить вывод заметок

Подробная статья: https://devopscube.com/helm-notes-txt-file/

👉 DevOps Portal

Docker 101: Жизненный цикл контейнера

Docker — это не только docker run и последующий Ctrl+C. Контейнеры можно создавать, запускать, ставить на паузу, снимать с паузы, останавливать, перезапускать, принудительно завершать и удалять. Понимание этих операций – ключ к эффективной работе с контейнерами

https://labs.iximiuz.com/challenges/docker-101-container-lifecycle

👉 DevOps Portal

Разбираемся с connection pooling за 30 секунд

👉 DevOps Portal

Ubuntu анонсировали Workshop – решение для запуска изолированных сред разработки в Ubuntu одной командой.

Тратьте меньше времени на настройку окружения: всего несколько строк YAML, и у вас готово воспроизводимое окружение, которое можно использовать на разных машинах.

Узнайте, как это работает: Introducing Workshop – Launch sandboxed development environments on Ubuntu with a single command

👉 DevOps Portal

Гайд по подготовке к экзамену CKA + конспекты

По запросам сообщества мы добавили раздел с учебными заметками и иллюстрациями.
Внутри – ключевые темы: Gateway API, Network Policies, администрирование кластера и многое другое.

GitHub-репозиторий: https://github.com/techiescamp/cka-certification-guide

👉 DevOps Portal

Большинство DevOps-инженеров и SRE до сих пор плохо понимают, что на самом деле означают метрики P50, P95 и P99.

Объясню на примере пиццы.

Ты заказываешь пиццу в Dominos. Они обещают доставку за 30 минут. В день у них 5000 заказов.

P50 означает, что 2500 пицц приехали за 30 минут или быстрее. То есть половина клиентов получила сервис, который обещали. Вторая половина ждала дольше. Это и есть средний пользовательский опыт.

P95 означает, что 4750 заказов доставили за 45 минут или быстрее. Но для 250 клиентов всё было намного хуже. Пицца уже остыла, никто даже не отзвонился.

P99 означает, что 4950 заказов приехали максимум за 60 минут. Но оставшиеся 50 человек получили холодную пиццу, испорченный вечер и повод уйти к Pizza Hut.

Вот в чём проблема средних значений.

У тебя все графики зелёные. Average выглядит отлично. Но 50 реальных пользователей сегодня получили плохой опыт. И завтра получат. И послезавтра тоже.

В проде происходит ровно то же самое.

Среднее время ответа вашего API показывает 80 мс. Выглядит отлично. Но P99 для небольшой группы пользователей держится на уровне 3 секунд. Они не жалуются громко. Они просто тихо уходят.

При 1 миллионе запросов в день P99 означает, что 10 000 запросов получают "холодную пиццу". Каждый день. Тихо.

Именно поэтому опытные инженеры никогда не доверяют одним только средним значениям. Сначала они смотрят на P95 и P99.

👉 DevOps Portal

Если вы изолируете своего coding-агента в sandbox-окружении, как дать ему возможность тестировать изменения в браузере?

Как и во многих Dev & Ops-задачах, ответ – пробросить порт

В этом воркфлоу используют Claude Code, запущенный в удалённой VM, вместе с локальным браузером: https://labs.iximiuz.com/docs/playground-recipes/coding-agent-with-browser-access

👉 DevOps Portal

GitHub Actions + AWS без долгоживущих секретов?

Современные DevOps-пайплайны не должны зависеть от захардкоженных AWS access keys.

Потому что утекшие CI/CD-учётные данные всё ещё остаются одним из самых серьёзных рисков для безопасности в облаке.

Именно здесь помогает OIDC.

Вместо того чтобы хранить AWS-секреты в GitHub, ваш workflow во время выполнения получает краткоживущие временные credentials напрямую от AWS.

- Никаких статических ключей.
- Никакой головной боли с ротацией секретов.
- Меньший blast radius, если что-то пойдёт не так.

В этом блоге разберем интеграцию GitHub Actions OIDC с AWS на пошаговом примере, который помогает безопасно настроить доступ к AWS cloud.

К концу этого гайда вы поймёте:
- Почему OIDC — это безопасный способ подключить GitHub Actions к AWS
- Как интеграция GitHub OIDC работает с AWS
- Как пошагово настроить OIDC через IAM roles
- Как протестировать настройку через AWS CLI и задеплоить в EKS с помощью GitHub Actions workflows

Подробный блог: https://devopscube.com/github-actions-oidc-aws/

👉 DevOps Portal