DevOps FM

🎙 В эту пятницу слушаем “Ship it!” — подкаст обо всём, что происходит после git push.

Из недавних интересных выпусков:

#92 “Доставка в КООООСМОООС”: Эндрю Гюнтер делится опытом работы в Orbital Sidekick, инфраструктура которой находится на расстоянии тысячи миль — в космосе. Как работать в условиях постоянной 90-минутной задержки сигнала и чинить поломки? Как развивается рынок космических стартапов? И каким образом Ватикан нечаянно своровал целый спутник?

#95 “Контейнеры на диете”: выпуск о минимальных образах контейнеров и эволюции DockerSlim. Насколько маленькими могут стать образы? Что можно удалить, а что нужно оставить, чтобы контейнер остался полезным? И вообще, размер — это не главное.

#102 “Управление миллионами машин Meta” (да-да, той самой Meta Platforms Inc., что признана экстремистской организацией в России): в выпуске обсуждают, как Meta (мы вынуждены вновь упомянуть, что деятельность Meta Platforms Inc., вообще-то, является экстремистской и запрещённой в РФ) управляет миллионами хостов и контейнеров Linux на голом железе.

🖖 Желаем приятного прослушивания, хороших выходных и спокойных дежурных смен без серьёзных алертов!

#DevOps #подкасты

Привет! Дайджест интересных новостей и статей из мира DevOps уже на ваших экранах:

🟡 Вышел релиз системы мониторинга Zabbix 7.0 LTS. С этой версии код проекта будет распространяться под лицензией AGPLv3.

Что нового? Например, добавили проверку корректности файлов конфигурации и режим синтетического веб-мониторинга с привлечением браузерного движка и использованием гибких сложных сценариев. Ещё повысили масштабируемость и скорость сбора данных, а также производительность и эффективность работы прокси за счёт хранения собираемых метрик в оперативной памяти без их промежуточного сохранения на диске.

Посмотреть все обновления можно здесь. А чтобы скачать новую версию — кликните сюда.

⚫️ На DEV попытались разобраться, почему отладка приложений в Kubernetes настолько проблематична. Шай считает, что причины две — это неизменяемость экземпляров контейнеров и ограничения команды kubectl exec. Он видит решение проблем в запуске эфемерных контейнеров. Из статьи вы узнаете, как использовать EphemeralContainers при отладке и почему установка недостающих инструментов с помощью apt-get install vim — плохая затея.

🟡 Anodot опубликовал обзор 15 лучших инструментов для управления облачными сервисами. В топ попали такие тулзы как общепринятая классика вроде OpenStack и Terraform, так и Zesty, Apache Cloudstack и CloudCheckr.

#DevOps #Kubernetes #Zabbix

🖖 Всем DevOps! Мы хотим узнать вас, — наших подписчиков, — получше, чтобы публиковать по-настоящему интересный и полезный контент.

👩‍💻 “Что ж ты, фраер, сдал назад”: Docker Hub снова доступен в России

Наши подписчики заметили, что Docker Hub снова работает для пользователей из России.

Команда huecker.io несколько часов назад объявила:

Мы победили! Docker Hub снова доступен в России.

Поддержка huecker.io будет продолжаться до 14 июня 2024 года 15:00 UTC. После этого времени, мы начнём отключать сервисы обхода блокировки.

Документация останется доступной в исторических целях.
Это был невероятный опыт, и мы благодарим всех, кто поддерживал нас в течение короткого срока работы проекта.

Сам Docker пока никак не прокомментировал ситуацию.

💬 Как считаете, по какой причине сняли блокировку?

#DockerHub #блокировка

👩‍💻 В эту пятницу покажем наши варианты обхода блокировки Docker Hub в России.

cri-o
добавить в файл /etc/containers/registries.conf следующий блок:

[[registry]]
location = "docker.io"

[[registry.mirror]]
location = "mirror.gcr.io"

и перезагрузить cri-o. Можно не переживать за контейнеры, они ребутаться не будут

containerd
добавить или отредактировать блок plugins в /etc/containerd/config.toml:

[plugins]
  [plugins."io.containerd.grpc.v1.cri"]
    [plugins."io.containerd.grpc.v1.cri".registry]
      [plugins."io.containerd.grpc.v1.cri".registry.mirrors]
        [plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]
          endpoint = ["https://registry-1.docker.io", "https://mirror.gcr.io"]

И перезагрузить containerd. Здесь тоже можно не переживать за запущенные контейнеры.

Kaniko
Если возникли проблемы при билде с помощью Kaniko, то можно решить проблему либо добавлением аргумента --registry-mirror mirror.gcr.io, либо с помощью переменной окружения KANIKO_REGISTRY_MIRROR="mirror.gcr.io". Мы, например, вынесли её на уровень админки GitLab, чтобы вообще не трогать .gitlab-ci.yml, поэтому рекомендуем воспользоваться именно переменной для более комфортного обхода блокировки.


🖖 Команда DevOps FM желает приятных выходных. А тем, кто работает или дежурит – спокойных рабочих смен!

📱 Вероника Нечаева ищет DevOps-инженеров, ДИТов и техлидов SAAS решений, которые работают с чувствительными данными медицинских компаний. Она исследует рынок и ей нужно провести короткое интервью со специалистом о том, как обстоят дела в индустрии.

За уделённое время вы получите:

- Доступ к специализированной защищённой инфраструктуре под ваши чувствительные данные;
- Шаблоны политики обработки персональных данных для вашего приложения;
- Возможность обсудить интересующие вас вопросы, которые касаются информационной безопасности. Вероника имеет 15-летний опыт в InfoSec'е и готова поделиться своими знаниями.

📝 Вот форма для связи.

#партнёрский_пост

👩‍💻 Docker Hub перестал работать на территории РФ

Теперь при попытке спуллить образ и hub.docker.com появляется такой текст ошибки:

Error response from daemon: pull access denied for [...], repository does not exist or may require 'docker login': denied: <html><body><h1>403 Forbidden</h1> Since Docker is a US company, we must comply with US export control regulations. In an effort to comply with these, we now block all IP addresses that are located in Cuba, Iran, North Korea, Republic of Crimea, Sudan, and Syria. If you are not in one of these cities, countries, or regions and are blocked, please reach out to https://hub.docker.com/support/contact/ </body></html>

Если написать в тех.поддержку, то вам придёт сообщение:

Hello there,
Thank you for contacting Docker Support.
At this time we are no longer doing business with Russian or Belarusian companies and have removed the ability to purchase subscriptions from these countries.
https://www.docker.com/blog/dockers-response-to-the-invasion-of-ukraine/
Since Docker is a US company, we must comply with US export control regulations. In an effort to comply with these, we now block all IP addresses that are located in Cuba, Iran, North Korea, Russia, Republic of Crimea, Sudan, and Syria.
Thank you for your kind understanding.

В сети каждый час появляется всё больше вариантов обхода блокировок. А какой способ вы знаете или уже используете?

Дайджест в среду как коробка шоколадных конфет: никогда не знаешь, что тебе попадётся.

🟡 Сложно не упомянуть катастрофический сбой в работе СДЭКа. Скорее всего, компания стала жертвой вируса-шифровальщика.

Напомним, что ответственность за кибератаку взяла на себя хакерская группировка Head Mare. В бывшем Твиттере она опубликовала скриншоты уничтожения бэкапов и заявила, что админы сервиса доставки сохраняли резервные копии раз в полгода. Однако эксперты уверяют, что такая ситуация в принципе невозможна, так как в крупных компаниях бэкапы обновляют ежедневно. Кому верить – решать вам.

Сервис доставки планирует окончательно восстановиться не позднее сегодняшнего дня (сайт, например, уже заработал. Правда, частично).

⚫️ У Docker Docs появился Docker Docs AI — помощник на базе kapa.ai. Ассистент помогает быстро найти нужную информацию среди более 1000 страниц контента, причём диалоговый интерфейс позволяет задать дополнительный контекст для ваших вопросов. Ещё Docker Docs AI можно использовать в качестве инструмента отладки.

🟡 На Medium опубликовали полезную подборку фейлов при работе с Kubernetes. Автор разбирает разные случаи, — от пустяков до катастроф, — и даёт практические советы о том, как можно было этих ситуаций избежать.

⚫️ MongoDB получил сертификаты ISO 9001 (международный стандарт, устанавливающий требования к системе управления качеством в организации), TISAX (стандарт оценки ИБ, разработанный специально для автомобильной индустрии) и HDS (стандарт размещения медицинских данных во Франции).

📝 Bare-metal Kubernetes — спускайся с облаков

MetalLB — это решение для балансировки нагрузки в средах Kubernetes, которые не имеют доступа к встроенным балансировщикам, как в облачных провайдерах.

Новая статья Данила, DevOps-инженера компании Nixys, написана для тех, кто только начинает свой путь в мире Kubernetes и хочет понять, как развернуть кластер Kubernetes на собственных серверах с отказоустойчивым балансировщиком в виде MetalLB.

Вы узнаете, как связка MetalLB, Longhorn и Kubespray позволяет обойтись меньшим количеством виртуалок и построить закрытую, высокоэффективную систему, способную удовлетворить специфические потребности вашего бизнеса.

Приятного чтения!

#Хабр #статья_Nixys #devops #дляновичков

🖖 Всем DevOps! У вас когда-нибудь воскресали зомби?

🧟 Ресурсы-зомби (zombie resources) — это компоненты облачной инфраструктуры, которые существуют и работают бесцельно.

Они могут возникнуть из-за:
- сбоев в сценариях,
- неэффективно настроенных балансировщиков нагрузки,
- ошибок в базах данных SQL,
- ручной настройки (разработчик или сисадмин может, например, создать временный сервер для теста и забыть удалить уже ненужное хранилище).

Простаивающие ресурсы опасны по двум причинам. Во-первых, с компании взимается плата за ресурсы, которые она больше не использует. Во-вторых, эти зомби расширяют ту зону инфраструктуры, которую могут использовать злоумышленники.

🗑 Как снизить риски?

1) Сделайте ваши среды максимально наглядными. Визуализация потребления облачных ресурсов будет максимально понятной в виде диаграмм.
2) Присвойте теги ресурсам. Они должны быть ясными и понятными. Будет здорово, если в дополнение вы будете указывать название проекта и дату развёртывания;
3) Обеспечьте безопасность dev-среды. Важно очищать остатки ресурсов после завершения работы;
4) Проводите регулярные аудиты.

👩‍💻 В поисках зомби вам может помочь cAdvisor — инструмент, который анализирует использование контейнерами ресурсов.

#Docker #Ресурсы #Облако

📱 Далее на канале DevOps FM — пятничный chill out

В этом и этом видео Джей покажет вам 30 команд, которые ощутимо упростят работу с Linux.

Вот некоторые из них:

vim/etc/ssh/sshd_config + ctrl+fz : не закрывает, а сворачивает окно на задний план;
tail / head: позволяет увидеть нижнюю или верхнюю часть файла;
&: заставит команду работать в фоновом режиме.

🖖 Желаем приятного просмотра, хороших выходных и спокойных дежурных смен!

📝 Открыта регистрация на неделю IT-донора

С 3 по 7 июня пройдёт восьмая акция «IT-донор». Мы уже зарегистрировались и предлагаем присоединиться всем неравнодушным.

Для этого регистрируйтесь через бот @IT_donor_bot и приходите на ближайшую к вам станцию переливания, чтобы сдать кровь и сделать доброе дело.

За 3,5 года:
❤️в проекте зарегистрировалось 4900 человек;
❤️собрали 720 литров крови и спасли более 3000 жизней;
❤️объединили 200 городов.

Подробнее о цикле добра вы можете узнать на сайте.

С большой средой приходит большая подборка интересных релизов, новостей и статей.

🟡 Grafana Labs зарелизила Grafana 11.0. Из обновлений: появились две новые утилиты – Explore Metrics (позволяет смотреть метрики Prometheus без запросов) и Explore Logs (позволяет осуществлять поиск по логам так же без запросов). Ещё архитектуру дашбордов перенесли в Scenes library, благодаря чему они стали более стабильными, гибкими и динамичными. Перед тем, как обновиться, обязательно почитайте список критических изменений.

⚫️ Ещё один важный релиз — Ansible 2.17. Главное обновление: для urls.py удалили поддержку Python 2. Ещё исправили много ошибок (например, теперь force_handlers работает с any_errors_fatal) и добавили почти 70 небольших изменений (к примеру, в ansible-test nios-test-container переведён с версии 2.0 на версию 3.0). Полный список обновлений можно посмотреть здесь.

🟡 Kubernetes завершил крупнейшую миграцию в своей истории: команда перенесла все интеграции с облачными провайдерами из основного репозитория Kubernetes во внешние плагины. Ещё она прилично оптимизировала работу оркестратора, удалив примерно 1,5 миллиона строк кода и сократив двоичный размер основных компонентов на 40%.

⚫️ У Луки Каваллина вышел пост о том, как стандарт OpenTelemetry улучшает наблюдаемость CI/CD на GitHub Actions.

#новости #devops #Ansible #Grafana #Kubernetes

📝 Почтовый сервер с нуля. Часть 2

Создание почтового сервера — нетривиальная задача, которая требует внимания к деталям. Если вы хотите создать надёжный и эффективный почтовый сервер, который будет успешно функционировать и обслуживать пользователей, то вам поможет эта серия статей.

Михаил, DevOps-инженер из Nixys, продолжает свой рассказ про создание почтового сервера с чистого поля. Во второй части он покажет, как его настроить с помощью PostfixAdmin, Dovecot и RainLoop.

А ещё в тексте вы найдёте немного экзотики, а именно best practices по Dovecot.

Приятного чтения!

P.S.: первая часть серии — вот здесь.

#Хабр #статья_Nixys #devops #почтовыйсервер

👩‍💻 Всем понедельничный DevOps! Подготовили для вас подборку полезных инструментов.

nxs-data-anonymizer – инструмент для анонимизации баз данных PostgreSQL и MySQL/MariaDB/Percona.

dive – утилита для анализа образов Docker. Поможет вам узнать содержимое слоев и уменьшить размер образа Docker/OCI.

Flox – это виртуальная среда и менеджер пакетов в одной тулзе. С её помощью вы можете создать столько сред разработки, сколько вам нужно, быстро синхронизировать их и совместно использовать даже на разных архитектурах.

KubeStalk – мощный инструмент для выявления уязвимостей в кластерах Kubernetes и внешних инструментах, используемых для управления ими.

🔥 Ollama в действии: запуск и настройка своего ChatGPT локально и в Kubernetes

Сегодня разбираем решения для локальной работы с LLM-ками. Возможно, вы задумывались об аналоге ChatGPT у себя в компании, или вам он нужен прямо на домашнем ПК, или как умный помощник для детей. С новой статьей вы сможете развернуть Ollama локально и в Kubernetes.

Статью написал новый автор Core 24/7, Абдухаликов Асир.

Сегодня среда, наши DevOps-чуваки. Держите дайджест.

🟡 Вышел релиз ядра Linux 6.9. Новая версия включает более 15 тысяч исправлений от 2106 разработчиков. Что нового? Например, ускорили процесс сканирования маршрутов с истекшим временем жизни, перевели файловые системы efs, qnx4 и coda на использование нового API монтирования разделов, а в DM добавили новый обработчик dm-vdo. Это лишь малая часть обновлений. Изучить все вы можете по этой ссылке.

⚫️ Зарелизили Docker Desktop 4.30. Исправили много ошибок (к примеру, теперь, когда Docker Desktop находится в режиме экономии ресурсов, docker stats --no-stream не зависает), добавили поддержку прокси-серверов SOCKS5 и улучшили безопасность Enhanced Container Isolation (ECI) при выполнении команд docker build в контейнерах без root-доступа. Ещё больше нововведений — здесь.

🟡 На InfoQ разобрали кейс недавнего перехода Elastic на MFA — многофакторную аутентификацию.

⚫️ В своём блоге HashiCorp рассказали, как использовать Vault в качестве CA для выдачи кратковременных Code signing сертификатов в GitHub Actions воркфлоу.

🟡 На Medium вышел обзор 10 лучших инструментов для управления кластерами Kubernetes. Эти тулзы упростят и автоматизируют рутинные задачи, повысят безопасность и помогут эффективно мониторить ресурсы и проводить диагностику неисправностей. В конце статьи вас ждёт приятный бонус: автор делится, как выбрать инструмент, который подойдёт именно вам.

Чек-лист по разработке облачных приложений. Часть 1

Станислав Тибекин, CEO компании Nixys, опубликовал перевод первой части огромного чек-листа по разработке облачного приложения.

В этой статье уделяется внимание бизнес-требованиям. Вы узнаете, что нужно учесть при разработке приложения, чтобы обеспечить отказоустойчивость, масштабируемость и непрерывность бизнеса.

Привет! Собрали и упаковали для вас подборку релизов и публикаций.

🟡 Зарелизили Traefik 3.0. Разработчики ориентировались на концепцию cloud native: новая версия поддерживает WebAssembly (Wasm), OpenTelemetry и Kubernetes Gateway API. Появились заметные изменения в синтаксисе (к примеру, HostHeader был заменён на Host) и добавилась поддержка HTTP/3, SPIFFE и Tailscale. Посмотреть все улучшения можно здесь. А вот тут представлен гайд по миграции с v2 на v3.

⚫️ Ещё один свежий релиз — Azure DevOps Server 2022.2. Из новых функций: теперь можно обойти выполнение проверок "Approvals", "Business Hours", "Invoke Azure Function" и "Invoke REST API". Также добавили роль администратора на environments-hub уровне, что значительно облегчило управление средами. Если хочется узнать больше о новых фичах, то вам сюда. А чтобы скачать новую версию, перейдите по этой ссылке.

🟡 На Speedscale вышел полезный обзор инструментов для захвата и анализа сетевого трафика Kubernetes. Разобрали tcpdump, Wireshark, TShark, Kubeshark, Postman и много других тулзов.

⚫️ Percona поделились, как ускорить выполнение некоторых повторяющихся задач в PostgreSQL с помощью \gexec.

🟡 Разработчики nxs-backup дают возможность поучаствовать в развитии новых фич и проводят опрос. Если вы уже бэкапируете свои данные с помощью этого инструмента — проголосуйте за интересную и полезную вам фичу. А если нет — это как раз повод начать своё знакомство с возможностями nxs-backup :)