KazDevOps

🔥 Управление ресурсами в Kubernetes

О ресурсах в Kubernetes, о их важности и правильной настройке написано много. Многие знают и о том, что они транслируются в Linux cgroups, потому что это часто спрашивают на собеседованиях.

Мы копнули чуть глубже и рассмотрели, что такое cgroups, как Kubernetes использует их для управления ресурсами Node и как мы можем использовать их преимущества помимо настройки запросов ресурсов и ограничений для Pod.

👉 Читайте в новой статье

@DevOpsKaz 😛

Daytona — это платформа для управления средами разработки, предлагающая безопасную и масштабируемую альтернативу GitHub Codespaces для крупных организаций.

Фичи:

➖ Настройка в одну команду: Легко активируйте полные среды разработки на различных инфраструктурах.
➖ Совместимость с разными платформами: Работает локально и удаленно, поддерживает разные архитектуры.
➖ Интеграция с Git и IDE: Поддержка Git и IDE, таких как VS Code и JetBrains.
➖ Работа с несколькими проектами: Идеально для микросервисной архитектуры.
➖ Безопасность: Использует VPN для безопасного доступа.
➖ Плагины и расширяемость: Кастомизация под разнообразные потребности разработки.

Daytona предоставляет стандартизированные среды разработки (SDE), что позволяет компаниям поддерживать единообразие, контроль и безопасность в процессах разработки без значительных трудозатрат на настройку.

@DevOpsKaz 😛

🔥 Новый релиз Opensource Platform for learning kubernetes and aws eks

Добавили:
— Поддержку cilium CNI. После 10.10.2024 в экзаменах CKS есть вопросы по нему
— CKA lab 8.Cilium NetworkPolicy L7
— Решение к CKA lab 8.Cilium NetworkPolicy L7
— Видеорешение CKA lab 8.Cilium NetworkPolicy L7

Для запуска платформы нужен личный аккаунт AWS. Все ресурсы создаются с Terraform + Terragrunt. По умолчанию используются ec2 spot и t4g.medium (graviton).

Уже сейчас есть mock экзамены CKA (mock1, mock2) , CKS (mock1), CKAD (mock1).

Используйте репозиторий сами и делитесь с коллегами 🫡

#devops #cka #cks #ckad #kubernetes #aws #eks

@DevOpsKaz 😛

☄️ Demystifying CNI & CRI

В Kubernetes есть 2 ключевых компонента, которые обеспечивают работу кластера на уровне сети и контейнеров, это CNI (Container Network Interface) и CRI (Container Runtime Interface).

Основная задача CNI — предоставить контейнерам сетевое взаимодействие и IP-адреса, а также наладить связи между контейнерами и с внешними ресурсами.

Основная задача CRI — это взаимодействие между kubelet (агентом Kubernetes на каждом узле) и контейнерной средой, такой как Docker, containerd или CRI-O.

Чтобы глубже понять принципы их работы, предлагаем заглянуть в репозитории:

➖ Demystifying CNI
➖ Demystifying CRI

Благодаря контенту репозиториев сможете написать их самостоятельно. Пользуйтесь и делитесь с коллегами🫡

@DevOpsKaz 😛

🔥 Альтернатива команде df

duf — это утилита для просмотра информации о дисковых разделах и файловых системах на разных платформах. Разработана как современная альтернатива команде df — удобный интерфейс, который помогает легче анализировать использование дисков.

Особенности duf:

➖ Простота использования: Интерфейс выполнен в виде таблицы с цветовым кодированием, что делает просмотр использования дисков наглядным.
➖ Поддержка разных платформ: Работает на Linux, macOS и Windows.
➖ Гибкость отображения: Можно настраивать отображение файловых систем, исключать определённые устройства или типы файловых систем (например, временные или виртуальные).
➖ Вывод в JSON: Поддержка вывода в JSON для дальнейшей обработки или интеграции с другими инструментами.
➖ Фильтрация: Возможность фильтровать файлы по определенным критериям, например, показывать только локальные или удалённые файловые системы.

Почему это может быть полезно DevOps-инженерам?

— duf позволяет быстро оценить, как используется дисковое пространство, и легко обнаружить потенциальные проблемы с хранением данных.
— Возможность вывода данных в JSON делает его полезным для автоматизации и мониторинга инфраструктуры в реальном времени.

@DevOpsKaz 😛

🔥 Yandex Scale Kazakhstan 2024 состоялся!

23 октября Yandex Cloud провел большую конференцию для тех, кто создает цифровые продукты и решения в Казахстане. В очном формате в Алматы ее посетили свыше 400 участников.

Компания представила несколько продуктовых анонсов и обновлений облачной платформы. Так, например, стал официально доступным новый голос синтеза речи Сауле, созданный по запросу казахстанских клиентов.

Это первый женский голос в линейке речевых сервисов Yandex Cloud, поддерживающий казахский и русский языки. Сауле свободно переходит с одного языка на другой, бесшовно поддерживая беседу, а также меняет настроение, подстраиваясь под тон беседы.

В пространстве Yandex Scale также выступили ведущие компании из различных индустрий, которые активно используют цифровые инструменты и открыто делятся опытом.

👉 Записи докладов

👉 Больше новостей Yandex Cloud в свежем сюжете по итогам Scale

☄️ Kolesa Conf 2024: как прошла масштабная IT-конференция

В этом году ивент собрал в офлайне 1600 человек.

За один день прошли четыре потока по IT-направлениям: Management, Web, Datа и Mobile.

Из нового в этом году было живое общение экспертов с аудиторией — квартирники по QA, Design, HR. А также панельная сессия в потоке Management, где выступали C-level крупных IT-компаний.

Зрители ивента тоже поделились впечатлениями. К примеру, DCI-эксперт Альбина Жетібаева пришла на ивент за нетворкингом и новыми знаниями.

«Я работаю в нефтегазовой сфере. Мы реализуем проекты, где с помощью IT-решений улучшаем продакшн и безопасность, а также оптимизируем затраты. Например, разрабатываем и внедряем программное обеспечение для оборудования, которое делает точную аналитику на основе машинного обучения.

Пришла на Kolesa Conf, чтобы получить новые знания, познакомиться и пообщаться с новыми людьми. Слушаю доклады в потоках Management и Data».

Наша компания Core 24/7 выступила медиа-партнером ивента.

🔥 Ускорение создания образов контейнеров Kubernetes
в Tekton Pipelines

Когда команда оценивает переход от постоянного CI-сервера (или CI-сервера с постоянными воркерами) к системе с использованием непостоянных воркеров, поддерживаемых Kubernetes-подами, есть смысл ускорить сборку контейнерных образов с использованием кэшируемых слоев.

Это достаточно просто, если сборки выполняются на одном и том же сервере, где слои могут храниться локально. Однако в среде, где сборки выполняются в непостоянных контейнерах, это становится более сложной задачей.

Рассказываем, как использовать возможности кэширования Kaniko для ускорения сборок в Tekton Pipelines.

👉 Читайте в новой статье

@DevOpsKaz 😛

☄️ Скидка 20% на продвинутый курс по С++ от Slurm

Предлагаем нашим подписчикам освоить работу со стандартами С++17 и С++20 для решения сложных рабочих задач.

Знание современных стандартов C++ будет полезно DevOps-инженерам для разработки высокопроизводительных системных утилит, автоматизации процессов, оптимизации работы инфраструктуры и углубленной работы с контейнерами и виртуализацией.

Зачем DevOps'ам C++:

➖ Для создания или оптимизации контейнерных решений и работы с низкоуровневыми системными API
➖ Для написания скриптов и программ по управлению инфраструктурой
➖ Для создания кастомных решений по автоматизации задач
➖ Для глубокой работы с системными вызовами и управления памятью, что может помочь в оптимизации работы серверов и систем

👉 Покупая курс у нас, вы получите 20% скидку

🚩 Старт уже 28 октября!

@DevOpsKaz 😛

🔥 Kardinal — инструмент для быстрой настройки временных окружений

Kardinal позиционируется как «наиболее легковесный способ» развертывания временных окружений. Его цель — упростить и ускорить этот процесс.

Для этого есть два ключевых компонента: Kardinal Kontrol — облачная управляющая панель, и Kardinal Manager, который разворачивается в вашем Kubernetes-кластере.

Возможности инструмента:

➖ Типы окружений: поддержка окружений для одного или нескольких сервисов с общими ресурсами, приложений с изолированными stateful-ресурсами, а также полная изоляция для приложений.
➖ Шаблоны: возможность стандартизации и кастомизации конфигураций окружений через шаблоны.
➖ Плагины: для упрощения настройки dev-версий stateful или внешних сервисов. Поддерживаются плагины для Redis, Neon DB, PostgreSQL (с возможностью начального заполнения данных) и AWS RDS.
➖ Веб-дашборд: для удобного мониторинга всех окружений.
➖ Интеграция с Tilt и Telepresence.
➖ Готовая песочница: можно протестировать Kardinal в действии через GitHub Codespaces.

@DevOpsKaz 😛

☄️ Kube Controller Manager: минутка теории

Контроллеры в Kubernetes — это программы, которые бесконечно работают в циклах управления, сравнивая текущее состояние ресурсов с желаемым. Если что-то не соответствует, контроллер берет ситуацию под контроль и восстанавливает порядок. Это одна из ключевых концепций Kubernetes, позволяющая управлять объектами в кластере через API.

📌 Пример:

Вы хотите создать Deployment. Указываете желаемое состояние, например 3 реплики подов, в YAML-файле (это декларативный подход). Контроллер следит за тем, чтобы всегда поддерживать это состояние. Если вы изменяете количество реплик на 5, контроллер тут же обновляет состояние.

Kube Controller Manager управляет всеми встроенными контроллерами, отвечающими за поды, джобы, неймспейсы и репликасеты:

— Deployment Controller
— ReplicaSet Controller
— DaemonSet Controller
— Node Controller

Что нужно знать о Kube Controller Manager:

✅ Он следит за работой всех контроллеров, чтобы поддерживать кластер в стабильном состоянии.

✅ Kubernetes можно расширить с помощью пользовательских контроллеров, управляемых через пользовательские ресурсы (CRD).

✅ Контроллеры получают текущее состояние кластера через API Kubernetes и управляют ресурсами, создавая, обновляя или удаляя их.

✅ Если Kube Controller Manager запущен в нескольких экземплярах, используется механизм выбора лидера. Только один экземпляр вносит изменения в кластер в любой момент времени, чтобы избежать конфликтов.

Вывод: Kube Controller Manager — это основной компонент, который помогает Kubernetes работать надежно и эффективно, автоматически поддерживая баланс и стабильность внутри кластера.

@DevOpsKaz 😛

В чем разница между обратным прокси, балансировщиком нагрузки и шлюзом API?

Все они делают похожие вещи в сетевой экосистеме. Но есть и различия, которые должен знать каждый инженер и архитектор программного обеспечения.

👉 Смотрите короткое видео, чтобы разобраться с этим

@DevOpsKaz 😛

🔥 Kubernetes в среде с высокой нагрузкой — cитуация и 3 ключевых вывода

Дано:

Платформа обрабатывает около 5000 запросов в секунду (RPS) при обычных рабочих нагрузках и до 15000 RPS во время отправки новостных уведомлений. В некоторых случаях количество запросов может увеличиться экспоненциально. Это после того, как на определённых маршрутах достигается 80% попаданий в кэш с помощью CDN.

— Общая картина архитектуры приложения
— Детальная картина одной из частей архитектуры

Команда использовала подход Infrastructure Strangulation, чтобы мигрировать приложения в Kubernetes.

Мы модифицировали конвейеры деплоя для запуска приложений как на старой инфраструктуре, так и в Kubernetes. Внесли изменения в Edge-инфраструктуру, чтобы маршрутизировать трафик на обе инфраструктуры — Legacy и Kubernetes.

Когда миграцию признали успешной, мы просто прекратили отправку трафика на старую инфраструктуру и вывели её из эксплуатации через несколько дней.

Вот что им помогло:

— Кэширование узлов DNS
— Алгоритм Peak EWMA для балансировки нагрузки
— Несколько входных контроллеров для разных потоков

👉 Читайте статью полностью, чтобы узнать детали

#kubernetes #k8s #dns #peakewma

@DevOpsKaz 😛

Splunk помогает собирать логи и метрики с различных систем, анализировать их и предоставлять информацию о работе сервисов, что помогает быстрее реагировать на инциденты и принимать решения на основе данных.

Вот некоторые часто используемые команды Splunk:

1. search — основная команда для поиска данных. Используйте ее для извлечения событий по определенным критериям.

2. index — указывает индекс, из которого следует извлекать данные. С помощью этой команды можно фильтровать данные по индексу.

3. source — фильтрует события на основе источника данных (например, файлы журналов, сетевые потоки).

4. sourcetype — фильтрует события по типу источника данных (например, журналы Apache, журналы событий Windows).

5. eval— создает вычисляемые поля или изменяет существующие. Полезно для создания пользовательских полей или преобразования данных.

6. stats — объединяет и суммирует данные. Вы можете использовать его для расчета количества, средних значений и другой статистики.

7. timechart — создает временные диаграммы и визуализации. Полезно для анализа тенденций и выявления закономерностей с течением времени.

8. rex — извлекает поля с помощью регулярных выражений. Полезно при работе с неструктурированными данными.

9. dedup — удаляет дубли событий на основе указанных полей.

10. transaction — группирует связанные события в транзакции. Полезно для анализа многошаговых процессов.

11. top — определяет основные значения для определенного поля (например, основные IP-адреса, основные коды ошибок).

12. lookup — обогащает события, объединяя их с внешними таблицами поиска (например, сопоставляя IP-адреса с данными геолокации).

Также предлагаем изучить официальный cheat sheet. Пользуйтесь и делитесь с коллегами 🫡

А вы пользуетесь Splunk?

@DevOpsKaz 😛

🔥 Скидки до 40% на курсы и сертификацию от LNCF

Linux Foundation проводит акцию и дарит скидки — и мы не могли об этом умолчать 🫡

Скидки действуют на:

— CKS, KCSA
— Kubernetes Security Essentials (LFS260)
— Modern Air Gap Software Delivery (LFS281)
— Mastering Infrastructure Security (SKF200)
— и другие (всего 27 предложений)

Используйте промокоды:

➖ OCT24CYBER, чтобы сэкономить 40% на курсах и сертификациях по кибербезопасности
➖ OCT24, чтобы сэкономить 30% на всех других курсах и сертификациях

🚩 Акция продлится до 22 октября

#security #kubernetes #training #course

@DevOpsKaz 😛

☄️ Yandex Scale Kazakhstan уже 23 октября в Алматы

Это большая конференция для тех, кто создает цифровые продукты и решения в нашем регионе.

В программе:

— 3 тематических трека — ML и AI, Data Platform, Infrastructure и DevTools
— Крутые спикеры и полезные доклады
— Новости облачной платформы Yandex Cloud

👉 Смотреть полную программу конференции

В очном формате на площадке The Ritz-Carlton Almaty соберутся 300 участников. Онлайн-трансляция также предусмотрена.

Для очного участия успейте зарегистрироваться — до 21 октября

🔥 Новости и инструменты PostgreSQL

В конце сентября состоялся релиз PostgreSQL 17, и сегодня мы решили уделить postgres чуть больше внимания. Ниже вы найдете полезные ссылки для тех, кто использует эту СУБД или только присматривается к ней.

pgbackweb — утилита для управления бэкапами #PostgreSQL с графическим интерфейсом. Помогает автоматизировать резервное копирование и не тратить время на долгую настройку. Совместима с PostgreSQL 13, 14, 15 и 16.

Свежий тест производительности PostgreSQL по сравнению с MySQL.

Гайд про то, как использовать PostgreSQL на Python.

@DevOpsKaz 😛

☄️ Масштабирование команд SRE: проблемы и способы создать успешную структуру

Чем больше команда, тем сложнее общаться, координировать и поддерживать сплоченность команды. А еще, по мере масштабирования системы, увеличивается частота и сложность инцидентов. И лишь только четко определенный процесс управления инцидентами позволяет команде эффективно управлять растущей рабочей нагрузкой.

👉 В новой статье раскрываем базовые понятия структуры масштабирования

Эта структура масштабирования подходит как при руководстве новыми командами и стартапами, так и для устоявшихся компаний с прочно укоренившейся культурой SRE.

@DevOpsKaz 😛

🚀 Завершили отбор грантополучателей на курс DevOps Upgrade в рамках проекта Tech Orda!

Благодаря этой инициативе мы смогли предоставить гранты на обучение и вместе с Tech Orda помогли развитию IT-индустрии в Казахстане.

Что сделали:

➖ Общее количество заявок: 133
➖ Получивших грант: 16
➖ Грант для компании (КИК)
➖ Всего выдано грантов: 17

Все участники прошли трехэтапный отбор и уже начали обучение на курсе — и активно погружаются в мир DevOps.

Тех, кто успешно пройдет курс и проявит себя на высшем уровне, мы готовы принять на практику для работы над реальными проектами в команду Core 24/7.

От души благодарим Astana Hub за такую возможность.

Двигаемся к новым высотам!

@DevOpsKaz 😛

☄️ Cheat sheet для защиты ваших кластеров Kubernetes

👉 Нашли для вас интересную шпаргалку, которая поможет усилить безопасность Kubernetes — в ней советы по 4 основным разделам:

— Безопасность компонентов Kubernetes
— Network Security
— Безопасность pods и других объектов
— Kubernetes credentials и data security

Также в нашем блоге вы можете прочесть статью «Лучшие практики безопасности Kubernetes за 5 шагов» , чтобы уж точно не пропустить никакую деталь.

#kubernetes #k8s #k8ssec #devsecops

@DevOpsKaz 😛