DevOps MemOps

Что будет, если доверить стандартизацию логов лингвисту

Логирование редко воспринимают как отдельную инженерную задачу. Обычно оно появляется «по пути»: написал сервис, добавил несколько logging.info() и забыл. Но когда сервисов становится десятки, оказывается, что качество логов влияет на разработку не меньше, чем качество кода.

Документация, логи, ошибки — все это тоже язык. И если у языка нет грамматики, словаря и правил, очень быстро он становится непредсказуемым.

Мы довольно быстро стандартизировали код: подключили Ruff, типизацию и тесты. И обнаружили, что следующий источник неоднозначности — логирование. Даже после перехода на structlog одинаковые события продолжали называться по‑разному. Именно тогда мы решили посмотреть на логирование как на язык.

Стандартизация логов — очень полезное мероприятие, которое во многих организациях часто откладывается как не срочная задача, однако, на дистанции она даст значительный буст в части снижения времени локализации проблемы. В этой статье как раз разобран один из подходов.

Если вы планируете заняться этой задачей по-взрослому, обратите внимание на Logs Data Model от OpenTelemetry.

MemOps 🤨

MemOps 😃

Создание приватного кластера EKS промышленного уровня с OpenVPN, Prometheus и Grafana

Пошаговое руководство по развертыванию приватного кластера Amazon EKS без публичного доступа к API, с самохостингом доступа OpenVPN, мониторингом kube-prometheus-stack и приватным DNS Route 53 — все автоматизировано с помощью Terraform.

📌 Подробнее: https://dev.to/aws-builders/building-a-production-grade-private-eks-cluster-with-openvpn-prometheus-grafana-419

MemOps 🤨

MemOps 😃

Все знают, что балансировщики нагрузки на eBPF превосходят user-space LB, потому что они избегают копирования пакетов и переключений контекста.

Но вот малоизвестный факт: ты можешь написать собственный eBPF-балансировщик, с выбором бэкенда и session affinity, всего в 200 строках на C.

📌 Подробнее: https://labs.iximiuz.com/tutorials/xdp-load-balancer-700a1d74

MemOps 🤨

Теперь для успешных собесов надо запоминать ещё и мемы

MemOps 😃

MemOps 😃

isd — интерактивный systemd

Упростите управление systemd с помощью isd! isd - это TUI, предлагающий нечеткий поиск юнитов, автоматическое обновление предварительного просмотра, интеллектуальную обработку sudo и полностью настраиваемый интерфейс как для опытных пользователей, так и для новичков.

isd ориентированный на клавиатуру, легко настраиваемый графический интерфейс пользователя со следующими функциями:
- быстро переключайтесь между системными и пользовательскими модулями.
- нечеткий поиск юнитов systemd
- предварительный просмотр с автоматическим обновлением
- быстро открывайте результаты в пейджере или редакторе.
- автоматическое добавление префикса sudo при необходимости.
- автоматическое масштабирование в зависимости от размера окна терминала (гибкий дизайн)
- обширная палитра команд с множеством сочетаний клавиш.
- полностью настраиваемые сочетания клавиш.
- дополнительное кэширование состояния входных данных для часто используемых входных параметров.
- поддержка тем
- конфигурационный файл YAML с автозаполнением.

📌 Подробнее: https://github.com/kainctl/isd

MemOps 🤨

MemOps 😃

rurima — запускайте образы Docker и LXC без программ Docker или LXC, без поддержки функций ядра, даже без прав root!

Возможности:
- получите образы корневой файловой системы из DockerHub или зеркала LXC.
- автоматический анализ конфигурации образа Docker и преобразование её в командную строку RURI.
- распаковка образов корневой файловой системы с правами root или без них.
- создание резервной копии/восстановление корневой файловой системы с помощью tar.
- встроенная среда выполнения контейнера от ruri.
- статический исполняемый файл для различных архитектур.
- встроенная функция OTA (обновления по воздуху).

Иными словами, Rurima - это облегченная реализация контейнеров, она стремится получить максимум возможностей Docker с минимальным количеством зависимостей, даже если ваше ядро ​​не поддерживает cgroups или пространства имен.

📌 Подробнее: https://github.com/RuriOSS/rurima

MemOps 🤨

MemOps 😃

Observability at Albert Heijn

В этой статье мы расскажем, как за примерно два года мы создали новую платформу для мониторинга и анализа данных, чтобы решить ряд проблем.

📌 Подробнее: https://blog.ah.technology/observability-at-albert-heijn-d901f4caac8a

MemOps 🤨

Без тархуна никак

MemOps 😃

MemOps 😃

vmestimator

Утилита vmestimator отслеживает кардинальность и предоставляет результаты оценки в виде метрик . Это позволяет своевременно оповещать ответственных товарищей о скачках кардинальности и быстро идентифицировать проблему.

Отслеживание кардинальности — наиболее практичный вариант использования, но не единственный. vmestimator также можно использовать для измерения кардинальности по произвольным параметрам меток, что позволяет его применять для анализа использования каждого тенанта, отслеживать долгосрочные тренды и планировать мощности.

📌 Подробнее: https://github.com/VictoriaMetrics/vmestimator

MemOps 🤨

MemOps 😃

SEE (Service Event Extraction) — программа для просмотра журналов служб Linux (аналог journalctl) с графическим интерфейсом пользователя (TUI) и VI Motions, позволяющая открывать несколько экземпляров журналов служб (аналогично буферам nvim) с настраиваемой фильтрацией.

📌 Подробнее: https://github.com/nustyfrozen/see

MemOps 🤨

MemOps 😃

cronmaster — пользовательский интерфейс для управления заданиями Cron с удобочитаемым синтаксисом, возможностью ведения журналов в реальном времени и историей логов для ваших заданий Cron.

Возможности:
— современный пользовательский интерфейс: красивый, адаптивный интерфейс с темным/светлым режимом.
— информация о системе: отображение времени работы, памяти, сети, процессора и видеокарты.
— управление заданиями Cron: просмотр, создание и удаление заданий Cron с комментариями.
— управление скриптами: просматривайте, создавайте и удаляйте bash-скрипты на ходу для использования в заданиях cron.
— ведение журнала выполнения заданий: Дополнительная функция ведения журнала для заданий cron с автоматической очисткой, записью стандартного вывода, стандартной ошибки, кодов завершения и временных меток.
— обновления в реальном времени (SSE): Обновления статуса заданий в режиме реального времени и потоковая передача логов для длительно выполняющихся заданий (при включенном логировании).
— интеллектуальное выполнение заданий: задания с логированием выполняются в фоновом режиме с обновлениями в реальном времени, задания без логирования выполняются синхронно с 5-минутным таймаутом.
— аутентификация: Безопасная аутентификация на основе паролей и/или OIDC (SSO) с надлежащим управлением сессиями.
— REST API: Полноценный REST API с возможностью аутентификации по ключу API для внешних интеграций.
— поддержка Docker: полностью работает в контейнере Docker.
— простая настройка: быстрые предустановки для распространенных расписаний cron.

📌 Подробнее: https://github.com/fccview/cronmaster

MemOps 🤨