ServerAdmin.ru

Посмотрел на днях очень полезное с практической точки зрения видео на тему различий между форками СУБД MySQL.

⇨ Сравнение форков СУБД MYSQL: Oracle MySQL, Percona Server for MySQL и MariaDB

Для тех, кому не хочется или некогда смотреть полный ролик, я сделал краткий конспект основной информации. У меня самого нет чёткого понимания, какой сервер лучше всего использовать для MySQL. После просмотра видео, понимание появилось.

Для начала назовём основные отличия трёх указанных продуктов.

🔹Oracle Mysql Community Edition - изначальная версия MySQL, которую купила компания Oracle вместе с Sun и продолжила развивать, сделав акцент на развитии движка InnoDB. В качестве кластерного решения используется InnoDB Cluster.

🔹Percona server for Mysql - в основе оракловский Mysql, а поверх установлен набор патчей для оптимизации и мониторинга производительности. Помимо СУБД компания развивает собственный комплект софта для мониторинга (Percona Monitoring and Management), бэкапа (XtraBackup), кластеризации (Percona XtraDB Cluster) и т.д.

🔹MariaDB - самостоятельный сервер, который уже значительно отличается от MySQL. Разрабатывается разработчиками первых версий MySQL, которые ушли из Oracle. Начиная с версии MySQL 5.7 нет прямой совместимости между Oracle MySQL и MariaDB. Переключаться между ними можно только через логический дамп. Продукт проповедует более открытую для сообщества модель развития. В современных дистрибутивах Linux для баз данных MySQL в основном ставится MariaDB. Используется своё кластерное решение - Galera Cluster. В отличие от MySQL, в MariaDB сохранена поддержка технологии Query Cache. Для бэкапов есть свой продукт - mariabackup.

Автор ролика собрал стенд из идентичных виртуальных машин. Установил на каждую свою СУБД, установил примерно одинаковые базовые настройки, остальные оставил по умолчанию, как они были изначально. Подготовил тест с использованием sysbench. Исходники теста выложил в репозиторий:

⇨ https://github.com/Nickmob/mysql_bench

Если есть сомнения в результатах, можно повторить у себя и проверить. Все результаты приводить не буду, чтобы не загромождать заметку цифрами. Если вам интересно, посмотрите в конце ролика.

Наиболее высокие результаты показала MariaDB, Oracle разных версий и Percona показали сопоставимые результаты, а MariaDB в паре тестов явно показывает лучшую производительность.

Так что если вы сомневаетесь и не знаете, какую СУБД взять для баз MySQL, берите MariaDB. По умолчанию скорее всего она заработает как минимум не хуже форков, а возможно и лучше. Внизу скриншот результатов. Левый столбец - чем выше метрика, тем лучше, правый наоборот - чем меньше отклик, тем лучше.

#mysql

🦖 Selectel — дешёвые и не очень дедики с аукционом!

Среди решений по совместному хранению паролей есть ещё один open source продукт, который заслуживает внимание. Речь пойдёт про российский Bearpass. Это собственная разработка российской компании, которая имеет бесплатную self-hosted версию с открытым исходным кодом, что не характерно для российских продуктов. Не часто с этим сталкиваешься, поэтому я решил подсветить продукт и обратить на него внимание. Он присутствует в реестре отечественного ПО.

Основные возможности программы плюс-минус как у всех подобных продуктов.

🟢 Возможности бесплатной версии:

◽️роли и группы пользователей
◽️журналирование и контроль действий пользователей
◽️двухфакторная 2FA-авторизация
◽️проверка паролей на компрометацию через публичные базы данных
◽️администратор системы не видит пароли пользователей

🟡 Платная версия:

▪️расширения для браузеров
▪️ предоставление паролей через временные или постоянные ссылки
▪️поддержка SSO и LDAP
▪️API

На сайте указано ограничение бесплатной версии - 5 пользователей. Не очень понимаю, как оно реализуется, так как эта версия поставляется в виде исходников, которые ты разворачиваешь у себя. По идее, ты можешь сам поменять код и убрать его.

Посмотреть на продукт можно в публичном demo:

⇨ https://demo.bearpass.ru

Учётка: admin@demo.bearpass.ru / password.

Можно установить на своём сервере. Как обычно, проще всего это сделать через Docker, но есть возможность сделать это и вручную, так как продукт на писан на PHP и работает на стандартном стеке nginx + php-fpm + postgresql. Показываю, как быстро запустить через Docker:

# adduser bearpass
# passwd bearpass
# usermod -aG docker bearpass
# mkdir /opt/bearpass
# chmod -R 700 /opt/bearpass
# chown -R bearpass:bearpass /opt/bearpass
# su - bearpass
$ git clone https://git.bearpass.ru/bear-pass /opt/bearpass/app
$ git clone https://github.com/BearPass/Docker-core.git /opt/bearpass/docker
$ cd /opt/bearpass/docker
$ cp .env.example .env

Заполняем инвентарь в файле .env. У меня он получился вот такой для тестового сервера:

DATABASE_PASSWORD=password
BEARPASS_URL=localhost
BEARPASS_PORT=80
BEARPASS_SSL_PORT=443
BEARPASS_FULL_URL=http://10.20.1.36
USER_ID=1001
GROUP_ID=1001

1001 - id пользователя bearpass в системе. Посмотреть так:

# su - bearpass
$ id
uid=1001(bearpass) gid=1001(bearpass) groups=1001(bearpass),996(docker)

Запускаем проект:

# docker compose up -d

Дожидаемся запуска и создаём первого пользователя-администратора:

# docker compose exec -u www-data app sh -c "cd /var/www/bearpass && php artisan make:user"

Заполняете данные пользователя и логинитесь под ним в систему, зайдя по ip адресу сервера, где развернули bearpass.

☝️ У программы есть облачная версия BearPass Cloud. Для личного использования одним человеком она полностью бесплатна, так что можно без проблем попробовать, если не хочется разворачивать на своём сервере. Данные пользователя шифруются мастер-паролем. Техническая реализация описана на отдельный странице.

В общем и целом продукт оставляет положительное впечатление. Развитие и продвижение выполнено в привычном современном стиле, когда для персонального использования предлагают полную функциональность, а для команд ограниченную бесплатную версию или уже полную платную.

#password #отечественное

🦖 Selectel — дешёвые и не очень дедики с аукционом!

На прошлой неделе делал подборку программ для учёта систем и оборудования. Для дополнения списка решил сделать обзор ещё одной системы, про которую мне и тут в комментариях писали, и на сайте к соответствующей статье. Речь пойдёт про программу Severcart.

На сайте программы скудная информация о ней. Создалось впечатление, что это что-то заброшенное, но нет. В новостях видно, что программа развивается, постоянно выходят обновления. Разработчик российский, программа есть в реестре отечественного ПО.

Servercart представляет из себя клиент-серверное приложение с доступом через веб интерфейс. Информацию об оборудовании и ПО можно вносить как вручную, так и автоматически. Для этого используется агент на базе open source проекта OCS Inventory Agent. Как агент, так и серверная часть, представлены для систем и Windows, и Linux.

Система очень простая в плане настройки и запуска в работу. Я установил серверную часть на Windows с помощью стандартного установщика. На другой комп установил агента, указал при установке адрес сервера. Агент запустился, отработал и отправил информацию на сервер. На сервере этот комп оказался в списке нераспределённых. Далее его нужно вручную определить в какую-нибудь группу.

Servercart собирает стандартную информацию о железе и софте, как и все подобные программы: модели комплектующих, место на дисках, лицензии, список софта и т.д. По каждому устройству ведётся лог изменений. То есть будет видно, если вдруг уменьшится кол-во памяти, изменится диск или появится новое ПО. Это будет отражено в логе, так же можно настроить отправку уведомлений на эти события.

Сделано всё максимально просто для быстрого запуска в работу. Можно мышкой потыкать в веб интерфейсе и начинать вести свою базу. Я в документации посмотрел только как связать агент с сервером. Дальше всё интуитивно понятно. Помимо компьютеров ведётся учёт принтеров и расходников к ним.

У Servercart есть бесплатная версия. На сайте прямо на главной странице есть таблица со сравнением версий. Там же загрузка бесплатной редакции. Не нужна ни регистрация, ни получение лицензий. Просто качаете, устанавливаете и начинаете пользоваться.

Продукт в целом неплохой. Отдаёт стариной, но смотрится нормально для такого рода продуктов. Они все немного неказистые. Если покупать платную версию, то цены там доступные, лицензии вечные. Отлично подойдёт для ситуаций, где всем этим хозяйством заведует эникей или технически неподкованный человек. Развернуть эту систему и вести в ней учёт несложно. К тому же есть документация на русском языке.

⇨ Сайт

#управление #ITSM #отечественное

🦖 Selectel — дешёвые и не очень дедики с аукционом!

Для хранения и командной работы с паролями есть не очень большой набор более-менее известных бесплатных программ. Я в своё время рассматривал и описывал некоторые из них.

▪️ Bitwarden
▪️ TeamPass
▪️ Syspass
▪️ Passbolt
▪️ Psono
▪️ KeePassXC
▪️ Vaultwarden

Наиболее популярным решением является Bitwarden и его форк Vaultwarden. Причём последний превзошёл по своей популярности и удобству первоисточник. Он более легковесный, а сейчас уже и функциональный, так как вобрал в себя часть возможностей платной версии Bitwarden.

Из того, что я не описывал, есть Padloc, который смотрится неплохо, но я ни разу не видел упоминаний и отзывов о нём. Если кто-то пользовался, поделитесь впечатлением, стоит ли его рассматривать.

Так что если подыскиваете что-то self-hosted для себя или небольшой команды, и не хочется пробовать разные вещи, то берите сразу Vaultwarden. Ну а если есть время и желание, то посмотрите всё описанное. В публикациях есть и инструкции для быстрого запуска, и отзывы пользователей в комментариях.

#password #подборка

🎮 Давно ничего про игры не писал. Для разнообразия, думаю, в выходной можно затронуть эту тему. Решил посмотреть новинки по теме IT. Нашёл очень необычную, атмосферную игру ServiceIT: You can do IT. На игру много отзывов и прохождений на youtube. Она реально любопытная и необычная.

В этой игре вы будете работать в офисе: ремонтировать электронную технику, собирать компьютеры, настраивать сети и подключать к ним устройства, нанимать сотрудников, развивать свою компанию по услугам IT, искать клиентов, настаивать им офисы, удалять вирусы и т.д. В общем, если вам своей работы мало, можете добирать дома после работы в игре 😆 А если вы уже матёрый девопс, который начинал с тех. поддержки 10 лет назад, то можете поностальгировать в игре, вспомнить былое.

Видел отзыв, что человек наконец-то научился пользоваться мультиметром после этой игры. Я, кстати, тоже мечтаю купить его себе и научиться пользоваться, но всё никак руки не дойдут. Похожая история с паяльной станцией. Так и не научился паять. Не умею и никогда не пробовал. В игре паять тоже надо. Нужно будет учиться.

Из минусов - игра всё ещё в раннем доступе с кучей багов. В основном все негативные отзывы связаны с этим. А так необычная, с потенциалом, если будут развивать и доделывать. На торрентах она есть, если что. Качать я не пробовал. Я вообще не понимаю, где и как сейчас люди в игры играют. Их же не купить. У меня рука не поднимается качать что-то с торрентов с кряками. Мне всегда кажется, что там везде вирусы, потому что я не понимаю, зачем кому-то просто так что-то взламывать и выкладывать на торренты. С учётом того, что взломщики и владельцы трекеров это разные люди.

⇨ Steam / ▶️ Официальный трейлер / ▶️ Прохождение

Для тех, кто недавно подписан, добавлю, что на канале было много обзоров различных игр IT тематики. Все их можно посмотреть по соответствующему тэгу. Также я делал большую подборку всех упоминаемых игр с разбивкой по категориям.

#игра

▶️ Очередная подборка авторских IT роликов, которые я лично посмотрел и посчитал интересными/полезными. Как обычно, ниже те видео из моих подписок за последнее время (обычно беру период в 2 недели), что мне показались интересными и полезными.

В этот раз как-то мало интересного было. Много роликов отсеял, так как не посчитал их полезными. Да и в целом контента меньше стало, особенно русскоязычного.

⇨ Настройка DNS over HTTPS в OPNsense
Небольшой ролик про DNS over HTTPS для тех, кто не знает, что это такое и как работает. Тут автор кратко рассказал о технологии и на практике показал, как это работает и как настраивается на своём софтовом шлюзе OPNsense.

⇨ Netbird Update - How to add the new "Relays" feature to your netbird install.
Рассказ про бесплатную, open source платформу для построения VPN сетей - netbird.io. Вышло крупное обновление продукта. Автор рассказал, как его установить и что в нём нового. Вообще, это интересный продукт. Я видел его обзор у разных блогеров, писал заметку про него. Один из лучших open source проектов из этой области.

⇨ Vinchin - Backup система для ВСЕГО!
Обзор системы для бэкапа Vinchin. Автор прошёлся по основным возможностям. Я в своё время примерно то же самое оформил в отдельную статью на сайте. Система, в принципе, неплохая. Мне понравилась.

⇨ Building a Low-Power, Fully Loaded Plex Server
Подробное описание сборки сервера под популярный медиасервер Plex для дома. Автор поставил задачу собрать тихий и маломощный в плане потребления электричества сервер на базе Mini ITX. Интересно посмотреть, что у него в итоге получилось.

⇨ Администрирование Линукс. Стабильность и безопасность системы
Короткое видео с наглядным примером эксплуатации уязвимости ярда Linux CVE-2024-1086. Я, кстати, об этой уязвимости писал в своё время. На видео примерно то же самое делается, что у меня в заметке.

#видео

В Proxmox 7.3 без особых подробностей завезли обновление со следующим описанием: Framework for remote migration to cluster-external Proxmox VE hosts. По факту добавили экспериментальную возможность по миграции виртуальных машин между гипервизорами (не только кластерами).

Реализована миграция с помощью консольной команды qm remote-migrate. Подробности реализации можно посмотреть в соответствующем коммите в репозитории. Описание команды в документации скудное. Не особо понятен итоговый формат работающей команды.

qm remote-migrate <vmid> [<target-vmid>] <target-endpoint> --target-bridge <string> --target-storage <string> [OPTIONS]

Я разобрался, как это работает. У меня получилось выполнить миграцию между разными гипервизорами. Показываю, как это работает. Итоговая работающая команда выглядит следующим образом:

# qm remote-migrate 120 120 'host=10.20.1.65,apitoken=PVEAPIToken=root@pam!token1=0ace469b-9c8d-4f05-ba84-d720414129ee,fingerprint=16:21:AB:AE:A3:06:92:BB:E9:F8:25:C2:A1:53:26:7F:67:29:1B:A9:A9:1C:D1:3B:A7:47:BD:23:9F:E8:7C:6B' --target-bridge vmbr0 --target-storage local-lvm

▪️120 120 - ID виртуалки на исходном гипервизоре и желаемое ID на том, куда переносим. Я оставил одинаковые.
▪️10.20.1.65 - IP адрес принимающего гипервизора
▪️root@pam!token1 - имя токена token1 для пользователя root@pam
▪️0ace469b-9c8d-4f05-ba84-d720414129ee - секрет указанного выше токена
▪️vmbr0 - сетевой бридж на принимающем гипервизоре
▪️local-lvm - хранилище дисков на принимающем гипервизоре
▪️16:21:AB:AE:A3:06:92:BB:E9:F8:25:C2:A1:53:26:7F:67:29:1B:A9:A9:1C:D1:3B:A7:47:BD:23:9F:E8:7C:6B - fingerprint сертификата pve-ssl.pem принимающего гипервизора

Для того, чтобы миграция прошла успешно, нужно на принимающем сервере создать токен. Делается это в разделе Datacenter ⇨ Permissions ⇨ API Tokens. После создания вы получите имя в виде root@pam!token1, где root@pam - пользователь, а token1 - указанное имя токена. И само значение секрета этого токена. Далее в разделе Datacenter ⇨ Permissions нужно добавить API Token Permissions. Я выбрал существующий токен и дал ему полные права. Не разбирался, какие нужны для миграции. Думаю, нужны права на создание виртуалок и дисков в хранилище.

Отпечаток сертификата можно посмотреть в разделе Node ⇨ System ⇨ Certificates. Надо выбрать стандартный pve-ssl.pem, два раза кликнуть по нему мышкой и скопировать Fingerprint.

После этого можно идти в консоль и запускать команду миграции. Её процесс можно наблюдать как в консоли, так и через веб интерфейс в списке задач. Через веб интерфейс даже прогресс копирования дисков виден, в отличие от консоли. Там этой информации нет.

Работает всё довольно удобно. Поддерживается миграция из разных типов хранилищ. Я для теста с обычного LVM переехал в LVM-Thin на другой гипервизор. По факту сначала происходит копирование диска, а потом перенос его в нужное хранилище на принимающей стороне через query-disk-import. Отсюда можно сделать вывод, что должен быть запас по доступному месту на принимающем гипервизоре в двойном размере от объёма диска. Это нужно учитывать при переносе.

Если у вас много виртуалок, которые надо перекинуть на другой гипервизор, то можно пользоваться. Один раз настроил и перенёс все виртуалки со всеми настройками и дисками.

После миграции исходная VM будет заблокирована. Если захотите её запустить на старом гипервизоре, то разблокируйте:

# qm unlock 120

#proxmox

🦖 Selectel — дешёвые и не очень дедики с аукционом!

И вновь возвращаемся к рубрике с современными утилитами, которые можно использовать в качестве альтернативы более старым, потому что они уже поселились в официальных репозиториях. Речь пойдёт об уже упоминаемой мной несколько лет назад программе fd, которую можно использовать вместо find. Она приехала в стабильные репы:

# apt install fd-find

Короткое название fd использовать не получится, потому что оно уже занято. Придётся использовать fdfind. Под Windows она, кстати, тоже есть:

> winget install sharkdp.fd

В чём особенность fd? Авторы называют её более быстрой и дружелюбной к пользователю программой, по сравнению с find. В принципе, с этим не поспоришь. Ключи и синтаксис find нельзя назвать дружелюбным. Я по памяти могу только какие-то самые простые вещи делать. Всё остальное ищу в своих шпаргалках. Не понимаю, как подобные конструкции можно запоминать, если каждый день с ними не работаешь.

Ищем файл syslog в текущей директории:

# fdfind syslog

Ищем файл в конкретной директории:

# fdfind syslog /var/log

Ищем файл по всему серверу:

# fdfind syslog /

Вот то же самое, только с find:

# find . -name syslog
# find /var/log -name syslog
# find / -name syslog

По умолчанию find найдёт только полное совпадение по имени. Файл должен будет точно называться syslog, чтобы попасть в результаты поиска. Fd в примере отобразит все файлы, где встречается слово syslog. Это и интуитивнее, и проще для запоминания. Хотя этот момент субъективен. С find такой же поиск будет выглядеть вот так:

# find / -name '*syslog*'

Отличия от find, которые отмечают авторы:

◽️Более скоростной поиск за счёт параллельных запросов. Приводят свои измерения, где это подтверждается.
◽️Подсветка результатов поиска.
◽️По умолчанию поиск ведётся без учёта регистра.
◽️Итоговые команды в среднем на 50% короче, чем то же самое получается с find.
⚠️ Отдельный ключ --exec-batch или -X в дополнение к традиционному --exec. Разница в том, что --exec выполняется параллельно для каждого результата поиска, а с помощью --exec-batch можно во внешнюю команду передать весь результат поиска. Это важный момент, который где-то может сильно выручить и упростить задачу. Даже если вам сейчас это не надо, запомните, что с fd так можно. Где-то в скриптах это может пригодиться.

Несколько простых примеров для наглядности. Поиск файлов с определённым расширением:

# fdfind -e php -p /var/www

Найти все архивы и распаковать их:

# fdfind -e zip -p /home/user -x unzip

Найти файлы с расширением gz и удалить одной командой rm:

# fdfind -e gz -p /var/log -X rm

Вызванный без аргументов в директории, fd рекурсивно выведет все файлы в ней:

# cd /var/log
# fdfind

Это примерно то же самое, что с find:

# find -name '*'

Только у fd вывод нагляднее, так как уже отсортирован по именам. А find всё вперемешку выводит. Ему надо sort добавлять, чтобы то же самое получилось:

# find -name '*' | sort

Fd умеет результаты выводить не по одному значению на каждую строку, а непрерывной строкой с разделением с помощью так называемого NULL character. Все символы воспринимаются буквально, не являются специальными, их не надо экранировать. Актуально, когда результаты поиска имеют пробелы, кавычки, косые черты и т.д. Например, xargs умеет принимать на вход значения, разделённые NULL character. У него для этого отдельный ключ -0, --null.

Покажу на примере, как это работает:

# touch 'test test.log'
# fdfind -e log
...
test test.log

# fdfind -e log | xargs wc -l
...
wc: test: No such file or directory
wc: test.log: No such file or directory

Xargs не смог обработать файл с пробелом. А вот так смог:

# fdfind -0 -e log | xargs -0 wc -l
...
0 ./test test.log

И ничего экранировать не пришлось. Полезная возможность, стоит запомнить. Find то же самое делает через ключ -print0:

# find . -name '*.log' -print0 | xargs -0 wc -l

В заключении резюмирую, что fd не заменяет find, не претендует на это и не обеспечивает такую же функциональность, как у последнего. Он предоставляет обоснованные настройки по умолчанию для наиболее массовых применений поиска пользователями.

#terminal #linux #find

Расскажу небольшую историю из практики, которая недавно случилась с одним из арендованных серверов, где был установлен Proxmox и крутились несколько виртуалок. В какой-то момент с сервером начали происходить странности.

Сначала пару раз аварийно перезагрузилась виртуалка с Windows. Я немного напрягся, но было не понятно, с чем это связно. Система поднималась и продолжала дальше работать. В логах ничего информативного. Подумал на глюки самой системы. Потом начали подвисать виртуалки и с Linux. То одна, то другая. Причём так висли странно, как-будто отваливалось хранилище. Сильно росла LA из-за дисковой очереди. Приходилось им делать reset средствами гипервизора. В какой-то момент завис он сам, аж пинговаться перестал. Тут я понял, что с самим сервером проблемы.

Написал в тех. поддержку, спросил, можно ли просто диски перекинуть в другой аналогичный сервер, так как с этим явно начались проблемы после нескольких лет нормальной бесперебойной работы. Мне предложили провести сначала тестирование железа, что занимает 2-3 часа, и если проблемы с ним, то диски перекинут. Мне не захотелось этим заниматься, так как не вижу большого смысла. Сервер явно заглючил. Зависал не часто, где-то раз в 2-3 недели глючила одна из вируталок, а сам он завис ну может пару раз только. То есть глюк плавающий и неочевидный, не воспроизводится. Прошло, наверное, пару месяцев, пока я понял, что глючит сам сервер.

Взял в аренду другой сервер, настроил. Запланировал время и часть виртуалок перекинул через PBS. Подключил одно и то же хранилище к обоим серверам. На первом бэкапил, на второй восстанавливал. Это максимально простой способ, вообще заморачиваться не надо, переезжает VM со всеми настройками. Всё прошло штатно, но долго, так как сначала делается бэкап, потом восстановление. Для виртулаок на сотни гигов это занимает приличное время.

Для минимизации простоя больших виртуалок останавливал их и просто перекидывал qcow2 файлы с дисками. Я за это и люблю этот формат. Если надо быстро переехать, то это сделать максимально просто. Создаю на втором гипервизоре виртуалку с идентичными настройками, как на первом и просто копирую диск виртуальной машины. Получается максимальная скорость переноса и минимально возможный простой.

Так за пару вечеров переехал, старый сервер снял с оплаты. Удобно, когда сервера в аренде. Помню когда-то давно у меня так свой сервер в серверной глючил как-то неявно. Столько крови попил. Запасного под боком не было. Пришлось по текущим раскидывать нагрузку и отправлять его в ремонт, так как дорогой был.

Современные облачные технологии сняли целый пласт проблем с инженеров, связанные с железом. Можно вообще с ним не сталкиваться. Мне приходится, так как в малом и среднем бизнесе облачные вычислительные мощности слишком дороги и не окупаются. К примеру, этот сервер много лет работал в одиночку, раз в сутки бэкапился. Для него простой в несколько часов допустим, так что нет смысла вкладывать какие-то деньги в резервирование и отказоустойчивость. Бэкапов достаточно. Недавно нужно было просчитать работу довольно мощного сервера в режиме 24/7 с минимальным простоем, с круглосуточной тех. поддержкой. Это дорогое удовольствие, так как и резервирование (реально нужно 3 сервера), и такая поддержка стоят приличных денег.

#железо

🦖 Selectel — дешёвые и не очень дедики с аукционом!

Если хотите быстро потестировать настройки веб сервера на предмет ограничения числа одновременных соединений в Nginx совместно с баном Fail2Ban, могу предложить готовый публичный сервис:

⇨ https://loadest.nodes-studio.com

Он вообще платный, причём принимает оплату в Bitcoin, что сразу вызывает подозрение. Так выглядят платные панели управления для ддоса. Подобных сервисов много и они не особо шифруются, а представляют себя как услуги по тестированию сайтов.

Этот сервис даёт небольшой тестовый баланс, который позволяет побомбить запросами какой-то сайт. Причём любой. Достаточно указать его адрес с главной страницы и свою почту (не проверяется), на которую будет зарегистрирован личный кабинет. В нём сразу же начнётся тест по нагрузке сайта.

Я толком не понял, с какой интенсивностью происходит тестирование, так как у меня все IP адреса сервиса улетели в бан за превышение лимита в 30 запросов в секунду с одного IP. Отработала настройка Nginx:

limit_req_zone $binary_remote_addr zone=lim_20r:10m rate=20r/s;

И фильтр Fail2Ban на записи о превышении этого лимита в лог файле nginx error.log с соответствующей строкой:

limiting requests, excess: 30.080 by zone "lim_20r", client: 194.87.110.21

Забанил IP адреса в соответствии вот с этим правилом:

[Definition]
ngx_limit_req_zones = [^"]+
failregex = ^\s*\[[a-z]+\] \d+#\d+: \*\d+ limiting requests, excess: [\d\.]+ by zone "(?:%(ngx_limit_req_zones)s)", client: <HOST>,
ignoreregex =.
datepattern = {^LN-BEG}

Не рассказываю подробно о настройке Fail2Ban, так как заметка не про него, а про сервис. Мне понравилось, что без лишних телодвижений запустил тестирование с посторонних IP. Мой указанный почтовый ящик, кстати, был указан в referrer запросов от сервиса:

referer=http://loadest.io user_agent="<username@gmail.com> via http://loadest.io"

Сервис, судя по всему, российский. Посмотрел заголовки писем, которые он шлёт. Там почтовый сервер из зоны .ru используется. И бомбил он меня российскими IP адресами.

#нагрузочное_тестирование #webserver

🦖 Selectel — дешёвые и не очень дедики с аукционом!

За время ведения канала накопились сотни заметок про различные продукты. Понятно, что я не пользуюсь всем тем, что тут описываю. Но некоторые продукты, с которыми я познакомился впервые во время написания заметок, я стал использовать постоянно.

У меня появилась идея составить небольшой список того, что я описывал и чем стал постоянно пользоваться сам для своих нужд и что точно могу порекомендовать. Список неполный, потому что что-то забыл, а чем-то пользовался и перестал. Просто прошёлся по своему ноуту и смартфону и вот, что получилось.

▪️Parsec - подключение и управление удалённым компьютером. Кто-то посоветовал в комментариях. Я попробовал, с тех пор так и пользуюсь для своих нужд. Сервис бесплатный, работает нормально.

▪️SwitchyOmega - расширение браузера для управлением настройками прокси. Пользуюсь постоянно. У меня сделано так. Есть VPS во вне с настроенным privoxy, он по VPN соединён с VPS в РФ. Я со своих устройств подключаюсь по VPN к VPS в РФ и получаю доступ через VPN к VPS во вне. В расширении настроено использование IP адреса VPS во вне в качестве прокси. На какие-то сайты хожу напрямую, на какие-то через прокси. При такой схеме не надо ничего настраивать на компах. Они всегда подключаются к VPS в РФ. А к нему уже можно любыми другими способами подключать внешние VPS.

▪️Gatus - про этот мониторинг не так давно писал. Очень понравился. Много всего на нём настроил, пользуюсь постоянно.

▪️UptimeRobot - ещё один бесплатный мониторинг с удобным приложением для смартфона. Пользуюсь постоянно.

▪️Joplin - хранение личных заметок. Про программу много раз писал, не буду повторяться. Можно через поиск на канале посмотреть. Пользуюсь несколько лет.

▪️LocalSend - прямая передача файлов между устройствами. Очень удобная программа, дома сразу прижилась. Поставил на все домашние компы, ноуты, смартфоны. Удобно перекидывать файлы напрямую с устройства на устройство. Дал каждому устройству осмысленное название и теперь легко передавать файлы, куда тебе надо.

▪️LibreWolf - форк Firefox. Постоянно пользуюсь портабельной версией этого браузера, если он где-то нужен. На рабочем ноуте тоже стоит, закидываю туда доверие к сертификатам и хожу на всякие железки, веб интерфейсы без предупреждений безопасности. В систему не хочется тащить все эти сертификаты.

▪️Visual Studio - известный редактор. Когда-то давно написал про него, в то время, как пользовался Atom. В итоге переполз на Visual Studio и постоянно использую.

▪️ThrottleStop - управление частотой процессора. Не особо известная программа, но меня в своё время выручила ещё на прошлом ноуте. Её удобно использовать для управления производительностью процессора на ноутбуке. Настроил в ней профили и переключаю, вместо использования штатных приблуд. Эта удобнее и работает чётко. Если указал, что не троттлить, то пока проц не перегреется, будет работать на максимальной частоте.

▪️Scrcpy - подключение с компа к экрану Android смартфона. Простая и удобная программа. Можно даже в игрушки играть с компа, если сильно хочется. Отклик картинки отличный.

#разное

🦖 Selectel — дешёвые и не очень дедики с аукционом!

Пару лет назад я собрал в одну статью все свои заметки на тему полностью или частично бесплатных программ для инвентаризации и учёта оборудования. Вот статья на эту тему на сайте:

⇨ Топ 10 программ для инвентаризации оборудования

В ней перечислены следующие программы:

◽GLPI
◽Snipe-IT
◽Tactical RMM
◽Ralph
◽ITop
◽NetBox
◽I-doit
◽Lansweeper
◽Algorius
◽Spiceworks
◽DataGerry

Насколько я знаю, самым популярным и функциональным является GLPI. Несмотря на то, что это очень старый продукт, написанный на PHP, он продолжает развиваться: большая активность на github, регулярно выходят новые релизы. Есть свой агент для сбора данных с управляемых систем. Дополнительно можно развернуть HelpDesk систему. Причём она там не для галочки, а вполне функциональна. Есть встроенная база знаний, учёт финансов, серверных стоек и много что ещё.

Для учёта только серверных ресурсов в виде серверов, стоек, виртуалок и всей сопутствующей сетевой инфраструктуры, самым популярным будет Netbox.

Я сходу не нашёл чего-то интересного, чем можно было бы дополнить список из того, о чём ещё не писал. Может кто-то из вас успешно использует что-то другое? Или просто хочет поделиться известной программой на эту тему. Напишите о них в комментариях. Я посмотрю, напишу заметки и дополню подборку как тут в Telegram, так и на сайте.

#управление #ITSM #подборка

🦖 Selectel — дешёвые и не очень дедики с аукционом!

Недавно рассказывал про бесплатную версию Veeam Backup & Replication Community Edition. В дополнение к нему есть другой бесплатный продукт - Veeam ONE Community Edition. С главной страницы сайта я не смог его найти. Помог поиск в гугле по соответствующему запросу, чтобы попасть на страницу продукта. Это бесплатная версия мониторинга для сервера Veeam Backup & Replication и хостов виртуализации.

Мне стало интересно, во-первых, посмотреть на этот продукт, так как ранее вообще не был с ним знаком и никогда не видел. А во-вторых посмотреть, поддерживает ли он мониторинг недавно добавленного в Backup & Replication Proxmox. На второй вопрос отвечу сразу. Veeam ONE поддерживает в качестве серверов виртуализации только VMware и Hyper-V. Больше ничего.

Я установил Veeam ONE Community Edition (прямая ссылка ~2.5 ГБ) и подключил к нему бесплатный Veeam Backup & Replication и один из хостов Hyper-V. Продукт удобный, ничего не скажешь. Просто добавляешь сервер и получаешь готовый мониторинг и управление. Ограничение бесплатной версии - 10 объектов мониторинга. Из описания не очень понятно, одна виртуалка гипервизора - это один объект мониторинга, или подсчёт идёт по добавленным сущностям в мониторинг в виде отдельных серверов. Виртуалки он потом сам определяет на гипервизоре, в том числе неактивные.

Monitoring for up to 10 workloads with ANY combination of Veeam Backup & Replication, Veeam Agent for Microsoft Windows or for Linux workloads, including vSphere and Hyper-V infrastructures with no license required!

На удалённые машины можно установить Veeam ONE Client, чтобы подключаться к серверу. То есть не обязательно запускать его локально. Так же есть веб версия для подключения через браузер. Если вам хватает ограничений бесплатного Backup & Replication, то не вижу причин не использовать ещё и Veeam ONE. Хорошее дополнение к первому продукту.

В Veeam ONE в единой консоли управления вы получаете доступ к основным метрикам и событиям Veeam B&R: загрузки хранилищ и полосы пропускания, статусы задач архивации, метрики производительности, журнал задач и т.д. Можно настроить оповещения на какие-то события. Для виртуальной инфраструктуры доступны стандартные метрики производительности как хостов, так и виртуальных машин, подключенных хранилищ, обзор занятых и свободных ресурсов и т.д. Оповещения и основные триггеры преднастроены, так что система сразу после установки готова к работе. Дальнейшее допиливание можно делать по желанию. Настраивается всё довольно просто и интуитивно мышкой в панели управления.

#мониторинг

🦖 Selectel — дешёвые и не очень дедики с аукционом!

Расскажу про небольшую прикладную программу, которая в некоторых случаях может упростить жизнь. Речь пойдёт про веб панель OliveTin, которая позволяет через веб интерфейс управлять задачами, которые можно запустить с локального сервера. То есть по сути это удобная запускалка скриптов.

Особенность OliveTin в том, что сделана красиво, аккуратно, удобно. Очевидно, что подобные задачи можно решать очень большим количеством способов. Например, когда мне нужно было отдать кому-то возможность запуска скриптов, я устанавливал Webmin и оказывал, куда там тыкать. В OliveTin это настроить проще и удобнее.

Сразу приведу примеры некоторых задач, которые можно решать с помощью OliveTin:

✅ Запуск какой-то личной инфраструктуры через WOL. Я, кстати, эту же задачу решаю через скрипты в Mikrotik. Подключаюсь к домашнему микроту и запускаю то, что мне нужно. Уже много лет так делаю. То же самое можно сделать через OliveTin. Это будет удобнее, если есть постоянно работающая виртуалка. У меня иногда выключено всё, поэтому Mikrotik мне подходит.

✅ Запуск скриптов на каком-то тестовом сервере, которые будут накатывать свежую версию исходников или базы данных. Можно настроить OliveTin, скрипты и отдать всё это дело разработчикам. Пусть сами актуализируют свой тестовый сервер.

✅ Можно настроить какой-то сервер в качестве тестового для проверки на нём бэкапов. Написать скрипты, которые будут забирать бэкапы и разворачивать их тут локально. Время от времени запускать это вручную и проверять результат. Как я уже писал ранее в заметках, я рекомендую время от времени вручную проверять свои бэкапы на возможность восстановления.

✅ Настроить дома веб панель для того, чтобы жена могла с одной страницы потушить различное оборудование дома. Не знаю, насколько это актуально для других, но у меня дома полно компов и ноутов, которые желательно на ночь выключать. Я это делаю через дашборд Zabbix Server сам. Писал об этом заметку. Если делегировать другим, то лучше использовать более простое и понятное решение, типа OliveTin.

В основном всё это актуально тогда, когда задачи нужно делегировать кому-то, кто не умеет, не хочет или ему не положено ходить в консоль. На работе можно каким-то помощникам скинуть рутину, дома домашним что-то настроить.

Установить OliveTin максимально просто. Есть пакеты, контейнеры, экзешники под все популярные системы и архитектуры. Полный список в репозитории. Показываю на примере Debian:

# wget https://github.com/OliveTin/OliveTin/releases/download/2024.09.11/OliveTin_linux_amd64.deb
# dpkg -i OliveTin_linux_amd64.deb
# systemctl start OliveTin

Можно идти по ip адресу на порт 1337 и смотреть, как это выглядит. Там уже будут настроены полтора десятка различных действий для демонстрации возможностей. Можно быстро оценить как это всё выглядит.

Все настройки хранятся в директории /etc/OliveTin, в том числе в основном файле config.yaml. Формат конфига, как можно понять из названия, yaml. В нём уже присутствуют и хорошо прокомментированы все настроенные действия. По аналогии можно настраивать свои.

Вот пример для запуска локального скрипта:

- title: Run backup script
shell: /opt/backupScript.sh
shellAfterCompleted: "apprise -t 'Notification: Backup script completed' -b 'The backup script completed with code {{ exitCode}}. The log is: \n {{ output }} '"
maxConcurrent: 1
timeout: 10
icon: backup
popupOnStart: execution-dialog

А вот для рестарта Docker контейнеров:

- title: Restart Docker Container
icon: restart
shell: docker restart {{ container }}
arguments:
- name: container
title: Container name
choices:
- value: plex
- value: traefik
- value: grafana

Можно выполнить что-то на удалённом сервере через подключение по SSH:

- title: Restart httpd on server1
id: restart_httpd
icon: restart
timeout: 1
shell: ssh -F /config/ssh/easy.cg root@server1 'service httpd restart'

Думаю, логика понятна.

⇨ 🌐 Сайт / 4️⃣ Исходники / ▶️ Обзор

#управление

В выходные прочитал интересную статью:

⇨ Как настроить веб-приложение под высокие нагрузки

Первый раз попал на этот ресурс. Понравилось качество контента. С удовольствием прочитал несколько статей. Эта понравилась больше всего, поэтому решил поделиться и сделать небольшую выжимку для тех, кто не захочет тратить время на весь материал. Там есть интересные для админов моменты.

Автор рассказал, как один проект лавинообразно начал расти и тормозить под нагрузкой во время пандемии, когда его посещаемость выросла в разы. Он поэтапно описал, как они изменяли железо, настройки, архитектуру приложения.

Изначально это был небольшой проект на PHP и его фреймворке Symfony, который писали 3-5 проектировщиков. СУБД была PostgreSQL, под кэш Redis, написана API и очередь для неё на RabbitMQ. Такое типовое классическое веб приложение. Проект располагался на 16 физических серверах, фронтенды и бэкенды — по 24 ядра и 128 ОЗУ каждый, ноды СУБД имели 56 ядер и 512 ГБ ОЗУ.

Огромную помощью в решении возникающих проблем оказывал мониторинг. Он был реализован на базе Zabbix, Symfony Profiler, Cockpit, DBeaver, Nginx Amplify.

🔹Одним из узких мест оказались логи Nginx. Была включена буферизация логов. В момент скидывания буферов на диск, они тормозили. Временно перенесли логи в RAM-диски (tmpfs). Потом перенастроили систему хранения логов.

🔹Другим узким местом была главная страница. Её целиком закешировали и поместили в Redis. Далее весь код перетряхнули и по возможности настроили использование кэша в Redis. После этого Redis вынесли в отдельный кластер. Это привело к тому, что даже в границах одной серверной и максимально быстрой сети, кэш стал работать медленнее, а на саму локалку сильно выросла сетевая нагрузка. Пришлось разбить кэш на 2 уровня. Первый хранить в локальных инстансах Redis, а второй в отдельном кластере с доступом по сети.

🔹Для разгрузки СУБД установили PgBouncer для управления пулом соединений, постановки их в очередь, если всё занято. Один огромный сервер под СУБД распили на кластер из 5-ти серверов. Запросы к кластеру стали распределять с помощью PGPool. INSERT, UPDATE, DELETE отправляли на Master, всё остальное распределяли между остальными серверами.

🔹В какой-то момент все серверные мощности были нагружены на 70-80%. Это стало приводить к проблемам, когда что-то из железа выходило из строя. Пришлось добавить серверов, чтобы нагрузка стала 40-50%.

🔹Далее упёрлись в ёмкость входного канала. Пришлось переходить на использование геораспределённой CDN.

#perfomance