DevOps MemOps

MemOps 😃

Построение CI/CD-фреймворка MLOps уровня Enterprise (MLflow + Kubeflow)

Разработка MLOps-фреймворка в масштабах предприятия — непростая задача. Она требует интеграции множества компонентов: обработки данных, экспериментов, мониторинга и CI/CD. В этом посте рассказывается, как объединить MLflow, Kubeflow, Seldon Core, GitHub Actions и другие инструменты для построения полноценного MLOps-пайплайна.

Архитектура

Архитектура построена на:

- MLflow — для логирования и управления экспериментами
- Kubeflow Pipelines — для оркестрации пайплайнов
- Seldon Core — для деплоя моделей в Kubernetes
- MinIO — объектное хранилище для артефактов
- GitHub Actions — для CI/CD
- Prometheus + Grafana — мониторинг моделей

Компоненты развернуты в Kubernetes-кластере с использованием Helm.

Поток разработки

1. Подготовка данных — скрипты ETL обрабатывают сырые данные и сохраняют в MinIO.
2. Обучение модели — тренинг происходит в Kubeflow, результаты логируются в MLflow.
3. Тестирование и валидация — автоматизированные проверки модели.
4. CI/CD — GitHub Actions запускает пайплайны при изменении кода или модели.
5. Деплой — модель деплоится через Seldon Core, становится доступной по REST/gRPC.
6. Мониторинг — метрики поступают в Prometheus и отображаются в Grafana.

Преимущества подхода

- Реплицируемость и трассировка экспериментов
- Централизованное хранилище артефактов
- Автоматизация развёртывания моделей
- Мониторинг производительности и дрифта

Заключение

Такой фреймворк обеспечивает устойчивую MLOps-инфраструктуру, подходящую как для небольших команд, так и для крупных корпораций. Он позволяет быстрее и безопаснее доставлять ML-модели в продакшен.

📌 Подробнее: https://rkmaven.medium.com/building-an-enterprise-level-mlops-ci-cd-framework-mlflow-kubeflow-fb1cdd1f74fc

MemOps 🤨

How we cut Kubernetes costs by ~60% for Feature Environments with KEDA and Prometheus

📌 Подробнее: https://pierreraffa.medium.com/reducing-feature-environment-costs-with-keda-and-prometheus-in-kubernetes-307d0dcc3264

MemOps 🤨

MemOps 😃

K8sQuest - это локальный симулятор для обучения Kubernetes через практику. Игроки решают 50 задач по отладке (Pods, Networking, RBAC) на кластерах kind или k3d. Платформа бесплатна, не требует облаков и включает систему опыта (XP), подсказки и разборы реальных инцидентов.

В пятом и последнем разделе есть немного задачек по безопасности, связанные с:
- RBAC (ServiceAccounts, Roles, RoleBindings)
- SecurityContext, Pod Security Standards (restricted)
- ResourceQuotas, NetworkPolicies, node scheduling
- Taints/Tolerations, PodDisruptionBudgets, PriorityClass

📌 Подробнее: https://github.com/Manoj-engineer/k8squest

MemOps 🤨

MemOps 😃

Kubernetes security fundamentals: Networking

📌 Подробнее:
https://securitylabs.datadoghq.com/articles/kubernetes-security-fundamentals-part-6

MemOps 🤨

MemOps 😃

Как экономить на сборе метрик: кеширующий прокси для VictoriaMetrics

Автор этой статьи разработал Metric Cacher Exporter. Это легковесный кеширующий прокси-сервис на Go, который встает между агентом сбора (Prometheus/VictoriaMetrics) и сервис-таргетами. Его цель — снизить количество запросов к сервису хранения дабы снизить счета за облако. И обратите внимание на комментарии.

📌 Подробнее: https://github.com/spions/metric-cacher-exporter

MemOps 🤨

MemOps 😃

Zed — высокопроизводительный текстовый редактор, ориентированный на разработчиков. Он написан на Rust и использует пользовательский движок рендеринга на базе GPU для достижения минимальных задержек. Архитектура Zed основана на многопоточности и асинхронности, что позволяет редактору эффективно использовать ресурсы современных многоядерных систем.

Редактор также разрабатывается с упором на совместную работу в реальном времени: Zed предлагает встроенные функции для коллаборации между разработчиками — от редактирования кода до видеозвонков. Это делает его особенно удобным для удалённых команд.

Среди особенностей:
— Мгновенный отклик и плавная анимация благодаря GPU-рендерингу
— Полноценная поддержка нескольких курсоров и мощное автодополнение
— Интеграция с языковыми серверами (LSP)
— Глубокая коллаборативность: совместное редактирование, общие терминалы, голос и видео

📌 Подробнее: https://github.com/zed-industries/zed

MemOps 🤨

Танцы с бубном?

MemOps 😃

🔐Проблема 2026 года пришла в железо. Корневые сертификаты в UEFI истекают

Давайте вспомним занимательную математику. Технология Secure Boot массово пошла в продакшн в 2011 году, а срок жизни корневых сертификатов, зашитых в UEFI, составляет ровно 15 лет. Складываем числа и получаем июнь 2026 года 😱. Сертификаты доверия (KEK, DB, DBX) начинают массово истекать. В теории это означает, что загрузчик ОС перестанет проходить проверку подлинности, и система либо не загрузится, либо перестанет принимать обновы безопасности (включая патчи против буткитов). Под раздачу попадает вообще всё железо и виртуалки, выпущенные с 2012 года, от Windows Server 2012 и древних LTSC сборок до Windows 11.

Microsoft, осознавая масштаб грядущего кирпичного завода 🧱, выкатила инструмент диагностики, но сделала это как всегда через одно место... через облачный Intune и Windows Autopatch 😂

Звучит прекрасно... у нас половина парка сидит в закрытых контурах, вторая половина на трофейных лицензиях без доступа к облакам Azure, а третья - это зоопарк из китайских ноутбуков и серверов, ввезенных параллельным импортом. Отчет в Intune нам не поможет, потому что доступа к нему нет. А проблема есть. И решается она обновлением BIOS/UEFI на каждом конкретном устройстве. Представьте перспективу искать свежие прошивки на материнки десятилетней давности 😭

Кого-то ждет веселый квест. Вместо того чтобы заниматься безопасностью (иллюзией 😬), мы будем вынуждены либо бегать с флешками и шить BIOS (если найдем прошивку), либо, что гораздо вероятнее, массово отключать Secure Boot в BIOS, ибо проще отключить, чем найти апдейт на старую мать.

Типичный 🥸 Сисадмин

MemOps 😃

kubernetes-autoscaling-mixin

Набор информационных панелей Grafana и оповещений Prometheus для автоматического масштабирования Kubernetes с использованием метрик из Kube-state-metrics, Karpenter и Cluster-autoscaler.

📌 Подробнее: https://github.com/adinhodovic/kubernetes-autoscaling-mixin

MemOps 🤨

Redis наглядно

MemOps 😃

MemOps 😃

kubernetes-autoscaling-mixin

Набор информационных панелей Grafana и оповещений Prometheus для автоматического масштабирования Kubernetes с использованием метрик из Kube-state-metrics, Karpenter и Cluster-autoscaler.

📌 Подробнее: https://github.com/adinhodovic/kubernetes-autoscaling-mixin

MemOps 🤨

MemOps 😃

MemOps 😃