DevOps FM

30 января в рунете произошел масштабный сбой. Через пару часов работа сайтов в зоне .ru была восстановлена.

Загрузка сайтов и сервисов в рунете оказалась затруднена, или они были недоступны вовсе - из-за проблем с резолвингом DNS.

Минцифры отмечает, что неполадки в работе DNS могут наблюдаться еще некоторое время, пока обновленные данные не разойдутся по системе доменных имен.

❓ Вопрос к подписчикам
Как-то зааффектило на рабочие процессы? И не только на рабочие (ну, кроме того, что какое-то время не получалось смотреть на котиков 😁). Поделитесь своими историями в комментариях ⤵️

Всем DevOps! 🖖🏼

Что там по уязвимостям?

🚨 Более 5300 серверов GitLab по-прежнему уязвимы перед проблемой захвата учетной записи. Большинство из них находятся в США (964), Германии (730), России (721), Китае (503), Франции (298), Великобритании (122), Индии (117), и Канаде (99).

🚨 Опубликованы PoC-эксплоиты для критической уязвимости в Jenkins, позволяющей неавторизованным лицам читать произвольные файлы (раз, два). Злоумышленники могут использовать их с минимальными изменениями или вообще без последних. Подробнее про две уязвимости в Jenkins можно почитать здесь.

🚨 Обнаружена вредоносная активность, нацеленная на критический недостаток в плагине WordPress "Better Search Replace", имеющий более миллиона установок. Плагин помогает выполнять операции поиска и замены в базах данных при перемещении веб-сайтов на новые домены или серверы.

Друзья, всем отличной рабочей недели, и да не коснется вас ни одна уязвимость🛡

Новости из мира DevOps снова в эфире ⚡️

🔸 Опыт создания хранилища Ceph c пропускной способностью тебибайт в секунду. Инженер из компании Clyso обобщил опыт создания кластера хранения на базе отказоустойчивой распределённой системы Ceph с пропускной способностью 1 TiB/s. Отмечается, что это первый кластер на базе Ceph, который смог достигнуть подобного показателя.

🔸 Релиз Terraform 1.7. В статье на сайте компании подробно рассказано про основные изменения, и есть полезные ссылки, например, как обновиться до новой версии.

🔸 Доступна СУБД MySQL 8.3.0. Компания Oracle сформировала новую ветку СУБД MySQL 8.3 и опубликовала корректирующее обновление MySQL 8.0.36. Сборки MySQL Community Server 8.3.0 подготовлены для всех основных дистрибутивов Linux, FreeBSD, macOS и Windows. Подробнее об изменениях можно узнать здесь.

🔸 Релиз Elastic 8.12. Двумя наиболее важными компонентами версии 8.12 являются общедоступная версия Elastic AI Assistant for Observability и обновление Apache Lucene 9.9. Больше подробностей — в Release Notes и на сайте компании.

Всем DevOps и хорошей недели! 🖖

#новости

Всем DevOps! 🖖

Возможно, вы знакомы с nxs-data-anonymizer — open-source инструментом для анонимизации дампа баз данных PostgreSQL и MySQL. Про него была статья на Хабре.

В общем, если вы им пользуетесь или хотите начать пользоваться, то появился отдельный канал про nxs-data-anonymizer. В нем будут анонсы релизов, новых функций, исправлений ошибок и информация про мероприятия.

Еще есть чат — там вам ответят не только другие пользователи, но и авторы nxs-data-anonymizer.

#open_source

Новый год — свежие новости (и парочка прошлогодних :)

🔸 PostgreSQL назван СУБД 2023 года. Издание DB-Engines обновило свой рейтинг популярности СУБД и присудило звание СУБД 2023 года проекту PostgreSQL, который за год продемонстрировал наибольших рост популярности из 417 отслеживаемых систем. Второе место — Databricks, а третье — Google BigQuery.

🔸 Релиз ядра Linux 6.7. Среди наиболее заметных изменений: интеграция ФС Bcachefs, прекращение поддержки архитектуры Itanium, возможность работы Nouveau с прошивками GSP-R, поддержка TLS-шифрования в NVMe-TCP, возможность использования исключений в BPF, поддержка futex в io_uring и многое другое.

🔸 Новый сайт для RabbitMQ. Старый сайт работает, переезд планируется после релиза RabbitMQ 3.13.0. Пока можно посмотреть новый сайт и поделиться мнением с разработчиками.

🔸 Релиз Grafana 10.2.3. 18 декабря 2023 г. были представлены некоторые новые функции и два критических изменения в выпуске патча Grafana 10.2.3 . Эти изменения изначально предназначались для Grafana 10.3, но коммиты были добавлены в ветку релиза 10.2.3 из-за ошибки в процессе выпуска. Поскольку Grafana 10.2.3 содержит больше изменений, чем ожидалось в типичном выпуске патча, существует риск появления ошибок. Разработчики рекомендуют ознакомиться с новыми функциями и критическими изменениями и отнестись к обновлению до патча 10.2.3 как к обновлению до минорной версии.

🔸 Опубликован новый инструмент для управления версиями OpenTofu — tofuenv. Первый общедоступный релиз OpenTofu запланирован уже на завтра, 10.01.24.

Всем DevOps и хорошей недели! 🖖

#новости

Вот такие итоги года. Девопсили, девопсим и будем девопсить, как говорится.

Впереди аж 3 000 подписчиков и какие-нибудь приятные подарки! Ну и как всегда — полезные статьи, посты, инструменты и новости из мира DevOps.

Спасибо вам! Stay tuned 🥰

Начинаем с недавних новостей ⚡️

🔸 Docker поделились итогами года. Кроме статуса самого используемого инструмента 2023 года среди разработчиков, компания рассказала о важных обновлениях Docker Desktop, 20 новых расширениях, новых возможностях Docker и других интересных достижениях.

🔸 В Госдуму внесли законопроект о внеплановых проверках ИТ-компаний после утечек данных. Основанием для проведения внеплановых проверок предлагают сделать «факт поступления в Роскомнадзор информации об утечках персональных данных».

🔸 В Fedora намерены объединить содержимое каталогов /usr/bin и /usr/sbin. Унификация bin и sbin упростит работу сопровождающих пакеты, которым не придётся гадать в какой каталог разместить исполняемый файл и увеличит совместимость с другими дистрибутивами (например, в Fedora утилита ip размещалась в sbin, а в Debian в bin, после унификации свойственный для Debian путь сработает и в Fedora).

🔸 Релиз GitLab 16.7. Более 30 улучшений в выпуске, среди них — бета-версия каталога GitLab CI/CD, централизованного хранилища, позволяющего совместно использовать уже существующие компоненты CI/CD и находить конфигурации, которые, возможно, уже разработаны другими пользователями. Подробности обо всех улучшениях — здесь.

🔸 OpenTofu анонсировали дату первого общедоступного релиза. Он состоится 10.01.24. По состоянию на 18 декабря количество загрузок OpenTofu превысило 31 000. Главный репозиторий проекта также собрал более 16.5k звезд GitHub и 36k+ звезд на GitHub за манифест.

Если мы пропустили что-то важное, обязательно дополняйте в комментариях :)

Желаем отличной недели! 🎄

#новости

Всем DevOps! 🖖

Сегодня хотим поделиться не просто полезным репозиторием, а проектом, который сделал подписчик DevOps FM (чему мы очень рады :)

PowerShell Commands — это набор примеров команд и скриптов для PowerShell (и всего, что с ним связано), более 6 тыс. строк заметок и всё на русском языке. Удобно систематизировано и оформлено. Будет полезно, чтобы освежить что-то в памяти или узнать больше о работе с этим инструментом.

Думаем, автору будет приятно и полезно получить обратную связь — в комментариях здесь или на гитхабе (контакт там есть)

P.S. Можно посмотреть и другие проекты, например, собственный Windows REST API / WEB сервер на базе чистого PowerShell, Telegram-бот для автоматизации доставки контента из торрент-трекера до телевизора, используя только телефон, и много чего еще.

P.P.S. Если вы тоже хотите чем-то поделиться (репозиторием, блогом, новостью — чем угодно), пишите!

Документальный фильм про Prometheus 🔥

Фильм посвящен истории создания и развития самой популярной на сегодня системы мониторинга с открытым кодом — Prometheus. Главные герои фильма — разработчики Джулиан Вольц, Маттиас Рампке, Бьерн Рабенштайн и др. дают интервью и рассказывают как «проблема, требующая решения» в конечном итоге привела отрасль к совершенно новому пониманию мониторинга.

Дополнительно рекомендуем глянуть наш пост, там есть несколько полезных репозиториев, которые облегчат работу с Prometheus.

#видео #open_source

Kubernetes scheduler simulator — интересный проект, позволяющий познакомиться с принципом работы kube-scheduler через простенький UI. Особенно полезно, если хотите поковыряться во внутренностях шедулера, разобраться как он работает и попробовать внести изменения в исходный код и проверить их работу на практике.

Для начала работы:

git clone git@github.com:kubernetes-sigs/kube-scheduler-simulator.git
cd kube-scheduler-simulator
make docker_up 

Симулятор будет доступен по адресу http://localhost:3000.

P.S. Интересная статья про создание дополнительного kube-scheduler’a с кастомным набором правил планирования

#open_source

Ого, это что — понедельничные новости в понедельник?

🔸 Релиз Kubernetes 1.29. 13.12 состоялся последний релиз k8s 2023 года. Этот выпуск состоит из 49 улучшений. Из этих улучшений 11 перешли в стабильную версию, 19 — в бета-версию и 19 — в альфа-версию. Больше подробностей — в нашем предыдущем посте или в блоге Kubernetes.

🔸 Релиз Flux v2.2.0. Flux — это инструмент для синхронизации кластеров Kubernetes с источниками конфигурации (такими как репозитории Git и артефакты OCI) и автоматизации обновлений конфигурации при появлении нового кода для развертывания. Подробную информацию об улучшениях можно найти в блоге Flux.

🔸 Взлом инфраструктуры MongoDB. В инфраструктуре компании MongoDB, развивающей одноимённую СУБД и облачный сервис MongoDB Atlas, выявлены следы взлома. Судя по уведомлению, направленному клиентам компании, злоумышленники смогли получить доступ к некоторым корпоративным системам, на которых, среди прочего, были размещены сведения об учётных записях клиентов и контактные данные пользователей.

🔸 GitLab Security Release: 16.6.2, 16.5.4, 16.4.4. 1 уязвимость уровня High (для Enterprise Edition), 6 уязвимостей уровня Medium (Enterprise Edition и Community Edition) и 1 уязвимость низкой степени серьезности (Enterprise Edition). GitLab рекомендует обновить уязвимые версии как можно скорее.

🔸 Grafana k6 v0.48.0 release. Многочисленные критические изменения, новая k6 new подкоманда для создания тестового сценария, новый k6/experimental/fs модуль для взаимодействия с файлами, поддержка регулирования ЦП и сети для модуля браузера k6 и многое другое. Кстати, упоминали этот инструмент в серии постов про нагрузочное тестирование.

Всем DevOps и хорошей недели! 🔥

P.S. До Нового года осталось 13 дней🎄🎁

#новости

Б значит не Безумие, а Безопасность: часть 2 — перезагрузка

Алексей, DevOps-инженер компании Nixys, делится реальным опытом и во второй части — продолжает рассказ про проект, который пришел с таким ТЗ:

* Замкнутый контур;
* Отсутствие CVE во всех используемых продуктах;
* Контроль безопасности уже имеющейся инфраструктуры;
* Контроль доступа до среды;
* Автоматизация процессов.

Но как быть, если ваша инфраструктура располагается в Kubernetes? Как быть, если вы используете managed решение? Какие подходы для организации безопасности будут применимы?

Под катом — про это, а еще про Managed Service for Kubernetes и Yandex Cloud, Kyverno, Tetragon, Falco и многое другое.

Приятного чтения!

Kubernetes 1.29 is coming — ждем релиз! 💻

Сегодня, 13.12.23, должен состояться релиз Kubernetes 1.29: Mandala (The Universe).

Этот выпуск вдохновлен прекрасной формой искусства — Мандалой — символом Вселенной. Логотип релиза, созданный Марио Джейсоном Браганса (Mario Jason Braganza), символизирует маленькую вселенную, которой является проект Kubernetes.

Всего в новом релизе ожидается 49 изменений:

Alpha — 20 новых функций;
Beta — 18 продолжают улучшаться;
Stable — 11 признаны стабильными.

«Среди главных изменений — бэкенд на основе nftables для kube-proxy, множественные CIDR для сервисов и функция QueueingHint, которая помогает решить, как повторно ставить поды в очередь. TaintManager стал отдельным контроллером, а список допустимых значений лейблов для метрики теперь можно настраивать динамически. Еще появился объект VolumeAttributesClass — он позволяет менять атрибуты тома после его заказа. Также стал доступен инструментарий для реализации структурированной auth-конфигурации и появилась нативная поддержка операции sleep для PreStop-хуков»*

Подробнее об изменениях — в Kubernetes enhancements tracking и CHANGELOG-1.29

#open_source #новости

Новости из мира DevOps ⚡️

🔸 Hetzner прекратит обслуживание клиентов из России. Hetzner больше не может заключать контракты с клиентами, имеющими российские почтовые адреса в учетных записях. Компания направит клиентам уведомление об этом 15 декабря 2023 года. Решение вступит в силу с 31 января 2024 года.

🔸 GoDaddy, известная американская компания, специализирующаяся на регистрации доменов и предоставлении услуг интернет-хостинга, c 31.12.23 намерена заблокировать аккаунты клиентов, регистрировавшихся из России. Причины такого решения не указываются.

🔸 Релиз Debian 12.4. В Debian 12.4 поставляется пакет с ядром linux-image-6.1.0-15, основанный на версии ядра 6.1.66 и включающей исправление проблемы. Из изменений в Debian 12.4 также можно отметить обновление до свежих стабильных версий пакетов gnome-shell, mutter, nvidia-graphics-drivers, postgresql-15, qemu, systemd, xen, tbsync, gosa, lastpass-cli. Удалён пакет gimp-dds, который больше не требуется, так как его функциональность теперь встроена в GIMP.

🔸 Релиз Docker Desktop 4.26. Доступ к бета-версиям и экспериментальным функциям на вкладке «Features in development», docker init (бета-версия) теперь поддерживает PHP с Apache + Composer и многое другое. Подробности — в примечаниях к выпуску.

🔸 Документальный фильм «The Story of Grafana». 5 декабря 2013 года Торкель Одегор сделал первый коммит на GitHub для личного проекта, который впоследствии стал Grafana. Следовательно, Grafana отпраздновала 10-летний юбилей! В честь этого компания сняла фильм про историю инструмента с интервью ключевых людей, участвовавших в его создании. Первый эпизод уже доступен, в ближайшее время обещают остальные.

🔸 Проект OpenBao начал развитие форка Hashicorp Vault. Под покровительством организации Linux Foundation основан проект OpenBao, который продолжит развитие кодовой базы хранилища Hashicorp Vault под свободной лицензией MPLv2 (Mozilla Public Licence).

Всем DevOps! 🖖

#новости

Принесли вам подробный обзор различных рабочих процессов конвейера DevSecOps на базе Python.

👉 Читайте в нашей новой статье

Рассмотрели:

➖ рабочий процесс проверки кода
➖ конвейер статического тестирования безопасности приложений (SAST)
➖ конвейер динамического тестирования безопасности приложений (DAST)
➖ рабочий процесс сканирования контейнеров
➖ конвейер безопасности IaC
➖ рабочий процесс управления секретами

Каждый рабочий процесс включает примеры кода на Python и инструменты с открытым исходным кодом для демонстрации их реализации.

Забирайте себе и делитесь с коллегами 🤝

#devops #devsecops

@DevOpsKaz

Отличные видео про работу с Terraform 💻

Terraform — это инструмент, который позволяет описывать инфраструктуру в виде кода и автоматизировать её развёртывание, модификацию и удаление. Он поддерживает множество провайдеров — таких, как AWS, Google Cloud, Azure, Yandex Cloud и других.

Одним из основных преимуществ Terraform является возможность описать желаемое состояние инфраструктуры в виде кода, и затем он автоматически приводит её в это состояние, а вы не заботитесь о ручном управлении каждым ресурсом.

🔸 «Знакомство с Terraform — Tutorial для начинающих» — в этом видео нет инструкций, как правильно писать код на Terraform, но демонстрируются основные возможности инструмента. В частности, автор разворачивает сеть и подсеть, создает виртуальную машину, настраивает примитивнейший веб-сервер и хранение файла состояния terraform.tfstate в объектном хранилище.

🔸 «Terraform: от незнания к best practices | Часть 1 — Поднимаем Kubernetes-кластер» — автор показывает как поднять распределённый Kubernetes-кластер с автоскейлингом worker-нод в облаке Yandex Cloud.

🔸 «Terraform: от незнания к best practices | Часть 2 — Оптимизируем манифест» — как оптимизировать код Terraform и применить best practices, как использовать переменные, какие функции улучшат ваш код и многое другое.

🔸 «Terraform: от незнания к best practices | Часть 3 — Продолжаем оптимизацию + дебаг» — продолжение оптимизации, решение возникшей проблемы и знакомство с новыми фишками.

Эти видео будут полезны не только начинающим разработчикам, но и профессионалам, которые хотят улучшить свои навыки и использовать best practices при работе с Terraform.

#видео

One more blog 📝

Брендан Грегг — всемирно известный эксперт в области производительности компьютеров. Автор инструментов Systems Performance и BPF Performance Tools (Addison-Wesley), создал широко используемые инструменты, методологии и визуализации производительности, включая Flame Graph.

Короче, Брендан Грегг супер крутой. Если вам интересны сети, датацентры и все такое низкоуровневое — вам точно понравится его блог. Там посты аж с 2005 года доступны, впечатляет, одним словом :)

P.S. А еще совершенно легендарное видео «Shouting in the Datacenter» и да, там Брендан Грегг кричит на диски. Почему, а главное зачем, понятно из видео, но на всякий случай есть статья «Why You Shouldn't Shout in the Data Center».

P.P.S. Из недавнего он еще в фильме «eBPF: Unlocking the Kernel» участвовал.

Всем DevOps! 🖖

#блог

Возможно, вы знакомы с nxs-universal-chart — open-source универсальным Helm-чартом. Про него были статьи на Хабре эта и эта.

Еще есть видео-демо про то, как работать с nxs-universal-chart :)

В общем, если вы им пользуетесь или хотите начать пользоваться, то появился отдельный канал про nxs-universal-chart. В нем будут анонсы релизов, новых функций, исправлений ошибок и информация про мероприятия.

Еще есть чат — там вам ответят не только другие пользователи, но и авторы nxs-universal-chart.

#open_source

Новостей немного, но они есть :)

🔸 Новые экспериментальные функции Gateway API v1.0. Недавно Gateway API объявил о выпуске общедоступной версии v1.0 , что стало важной вехой для проекта. Кроме стабилизации некоторых основных функций API был добавлен ряд новых интересных экспериментальных функций — Backend TLS Policy, HTTPRoute Timeouts, поддержка веб-сокетов, HTTP/2 и многого другого. Подробности здесь.

🔸 Срок поддержки ядра Linux 6.5 истёк, всем рекомендуется перейти на ядро Linux 6.6 LTS. В конце октября Линус Торвальдс представил первый стабильный релиз ядра Linux 6.6. Релиз Linux 6.7 намечен на конец года или после новогодних праздников в начале 2024 года.

🔸 Релиз Grafana Agent v 0.38. Grafana Agent — это инструмент для сбора метрик, логов и трейсов. В этом релизе улучшили River, язык конфигурации, используемый в режиме Grafana Agent Flow, представили новые компоненты OpenTelemetry, улучшили сбор логов и еще по мелочи. Вся информация по релизу — здесь.

🔸 Kyverno завершили сторонний аудит безопасности. Проект Kyverno сообщил о завершении стороннего аудита безопасности. Аудит был проведен Ada Logics в сотрудничестве с Open Source Technology Improvement Fund и профинансирован Cloud Native Computing Foundation.

Если мы пропустили что-то важное, обязательно дополняйте в комментариях :)

Всем DevOps! 🖖

#новости