ServerAdmin.ru

После прошлой истории с ddos захотелось проработать какое-то готовое универсальное решение, чтобы можно было его быстро применить, а не придумывать разные способы. В комментариях люди писали, что надо было установить fail2ban, какой-нибудь WAF или что-то в этом роде. Это всё слабо поможет, если идёт большая нагрузка. Fail2ban сразу мимо, забываем про него. А WAF или какой-то фильтрующий сервер надо настраивать заранее, а не когда у вас единственную машину ддосят.

Я взял наиболее простой и быстрый с точки зрения производительности вариант: ipset + iptables. Если ваш канал и сервер в целом вывозят нагрузку и вас не блокирует провайдер, указанная связка будет наиболее лёгкой и эффективной с точки зрения потребления ресурсов.

Сначала хотел что-то простое набросать, но потом всё расширял и расширял возможности. В итоге родился довольно большой bash скрипт с некоторыми проверками и логированием. Рассказываю, что он делает:

1️⃣ Проверяет установку ipset, создаёт списки.
2️⃣ Проверяет установку rsyslog, чтобы логировать заблокированные подключения. Это нужно на момент отладки и в обычное время, когда нет ддоса. Если начали ддосить, логирование надо отключить.
3️⃣ Создаёт конфигурацию rsyslog для хранения логов в отдельных файлах. Настраивает ротацию через logrotate.
4️⃣ Дальше идут переменные, касающиеся правил iptables: имя и ip адрес WAN интерфейса, белый список IP, с которых разрешено всё, разрешённые TCP и UDP порты, на которые мы принимаем соединения. Всё остальное блокируем.
5️⃣ Дальше идут наборы правил:
- очистка всех правил
- запрет всего, что не разрешено явно
- разрешаем установленные соединения
- разрешаем localhost и icmp
- разрешаем исходящие соединения сервера
- разрешаем все соединения от белого списка
- блокируем неопознанные и нулевые пакеты
- блокируем новые соединения без статуса NEW
- блокируем списки ipset, которые формируются ниже
- добавляем в список тех, кто открывает более 10-ти соединений с сервером в течении секунды, логируем таких товарищей
- разрешаем доступ к открытым портам, в данном примере это порты 80, 443 TCP и 443 UDP
- тех, кто обращается к другим портам, добавляем в список ipset
- сохраняю все правила в файл

Сразу скажу, что я не занимался плотной отладкой этого набора правил в реальной ситуации. Набросал правила на основе своего опыта и протестировал в ручном режиме. Под реальной нагрузкой и спамом запросов не проверял.

Для проверки работы надо установить на сервере iptables, ipset, rsyslog:

# apt install iptables ipset rsyslog

Скопировать и заполнить переменные в bash скрипте. Особое внимание уделить переменным WAN, WAN_IP, WLIST, WPORT_TCP, WPORT_UDP. На основе них будут сформированы правила iptables. Отдельного правила для SSH я не делал. Подразумевается, что подключаться куда-либо кроме открытых 80 и 443 портов можно только из списка WLIST. Туда можно добавлять IP адреса или подсети через запятую.

После выполнения скрипта, смотрим правила iptables:

# iptables -L -v -n

Проверял работу так. Установил веб сервер. Попробовал с другой машины подключиться к серверу через telnet на любой отличный от HTTP порт:

# telnet 85.143.173.182 23

Получил бан с занесением в список BANPORT. Смотреть этот список так:

# ipset -L BANPORT

Далее установил ab и попробовал спам запросов в 50 потоков к веб серверу:

# ab -c 50 -n 30000 "http://85.143.173.182/"

Получил бан с занесением в список BANDDOS. Оба бана были отражены в лог файлах ipset_portscan.log и ipset_ddos.log. При этом если ничего из описанного выше не делать, а просто ходить на веб сайт, доступ открыт, всё работает нормально.

⚡️На работающем сервере запускать такие скрипты не рекомендую, особенно если нет доступа к консоли. Сначала проверьте и отладьте на тестовой виртуалке. Убедитесь, что не отрубаете себе доступ. В целом, тут небольшой и относительно простой набор правил.

⇨ Забрать скрипт iptables.sh

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

#iptables #ipset #ddos

🔝 ТОП постов за прошедший месяц. Все самые популярные публикации по месяцам можно почитать со соответствующему хэштэгу #топ. Отдельно можно посмотреть ТОП за прошлые года: 2023 и 2024.

В праздники отдых и не занимался делами, но ТОП решил не пропускать. Не люблю, когда отлаженная система или порядок нарушаются, поэтому публикую. Да и постов много было интересных. Если кто не читал, рекомендую.

Пользуясь случаем, хочу попросить проголосовать за мой канал, так как это открывает некоторые дополнительные возможности по настройке: https://t.me/boost/srv_admin.

📌 Больше всего пересылок:
◽️Управление сохранёнными паролями в Windows (694)
◽️Подборка bash скриптов с канала (684)
◽️Как Windows определяет наличие интернета (574)
◽️Nginx UI для управления конфигурацией в браузере (517)

📌 Больше всего комментариев:
◽️Про высшее образование в IT (350)
◽️Выбор вентиляторов для системного блока (326)
◽️Вопросы на собеседованиях по базе (216)
◽️Ночные дежурства и переработки (135)

📌 Больше всего реакций:
◽️Как Windows определяет наличие интернета (385)
◽️Ночные дежурства и переработки (320)
◽️Управление сохранёнными паролями в Windows (297)

📌 Больше всего просмотров:
◽️Шутка на 1-е апреля про сисадминов (13448)
◽️Игра You're the OS! (10877)
◽️Управление сохранёнными паролями в Windows (10185)

#топ

Хочу обсудить с вами одну тему, так как думаю, она актуальна для многих читателей и в том числе для меня лично. По статистике сайта и ВК аудитория 35+ преобладает над всеми остальными. Это более 50% всех читателей. В TG нет такой статистики, но думаю, что она схожа.

Навеяло тему вот это видео:

⇨ Университет пережиток прошлого? Нужен ли вуз DevOps да и любому айтишнику.

В целом, я согласен со всеми доводами автора. Если кратко, то он за образование в ВУЗе практически во всех ситуациях. Это будет только польза, даже если не доучиться. Но с другой стороны у меня есть много примеров, когда по большому счёту очное вузовское образование и не нужно было.

1️⃣ Приведу первый свежий пример, который меня заставил в своё время призадуматься. Один знакомый, далёкий от айти, попросил совета по поводу сына. У него сын учился в 10-м классе. Самостоятельно увлёкся программированием. Сам обучался, освоил неплохо. Начал работать и зарабатывать приличные деньги. Стал писать софт под iOS. Уже в начале 11-го класса одними подработками он получал доход больше отца и полностью сам себя обеспечивал.

Собственно, отец ко мне и обратился с советом, как быть. Сын не хотел поступать в ВУЗ, а хотел продолжать учёбу по теме программирования и работать. А отец переживал, что сейчас врубят санкции, iOS заблокируют и сын останется ни с чем – без работы и без образования. Он не понимал, что это универсальный навык . Научившись реальному программированию, сын без работы уже не останется.

Я только успокоил, что переживать смысла нет. А что насчёт ВУЗа, не знаю. Да, лучше, наверное, отучиться, но насильно не заставишь, когда человек уже познал вкус заработка. К тому же есть явное увлечение своей деятельностью, способность к самообразованию, раз он сам всё освоил и развивается. Думаю, в таком случае продуктивнее реально начать работать, учиться где-то на специальных курсах, чтобы углубить свои навыки, и ВУЗ заканчивать заочно. Мне кажется, это будет более продуктивно, нежели идти на дневное обучение на 5,5 лет. Работать полноценно не получится. Я сам работал, знаю это. Да и по теме современной разработки он вряд ли что-то в ВУЗе узнает.

2️⃣ Второй пример – мой хороший знакомый. Пошёл куда-то учиться, с первого курса вылетел. Попал в армию. Пришёл из армии, начал самостоятельно осваивать 1С. Через некоторое время устроился программистом на небольшую зарплату. Так и раскрутился, стал нормальным 1С программистом. Неплохо зарабатывает этим на жизнь. Уже по ходу работы отучился где-то для корочки заочно да и всё. Возникает закономерный вопрос, нужен ли был ему ВУЗ, чтобы стать программистом 1С?

Я в итоге думаю так. Если нет каких-то особых событий в жизни, ребёнок планово учится в школе, ещё толком не знает, чем будет заниматься, но есть склонности к IT, то стоит идти, как и большинство, в ВУЗ. А если есть какие-то явные таланты, стремления, что человек в школе уже работает и зарабатывает, то можно отойти от этой линии и придумать какой-то альтернативный вариант. И та же история с приятелем. Если уж не получилось в своё время закончить ВУЗ, то можно не цепляться за очное обучение, а искать какие-то другие варианты. А корочку всегда можно заочно получить. Сейчас это вообще очень просто делается. Куча ВУЗов работают только на это – платишь деньги, платишь за написание диплома и спокойно получаешь корочку какого-то проходного заведения.

Что думаете по этому поводу? Особенно интересно мнение тех, у кого дети сейчас 15-16 лет и остро стоит подобный вопрос.

#дети

В Debian есть интересная библиотека libeatmydata, которая подменяет системные вызовы fsync, fdatasync, sync и некоторые другие на пустышки. Эти команды сразу выдают положительный результат, ничего не делая. То есть не работает подтверждение записи на диск.

Это существенно ускоряет все операции записи, но и, что логично, создаёт вероятность потери данных, так как реально они залетают в кэш, а не на диск. И будут записаны в зависимости от настроек и параметров системы, когда ядро посчитает нужным выполнить синхронизацию: по таймеру фоновой синхронизации или недостатка свободной оперативной памяти.

Работает это примерно так:

int fsync(int fd) {
    return 0;
}

Реально там ещё пару проверок с if, но по сути всё так и есть для всех системных вызовов, что она она перехватывает.

Эту возможность без особых опасений можно использовать во временных или тестовых средах, где не важна сохранность данных. Причём сделать это очень просто. Ставим пакет:

# apt install eatmydata

Запускаем через него любую команду. Я протестировал на старой виртуалке, которую давно не обновляли. Сделал запуск обновления без eatmydata и с ней. Разница получилась заметной.

Напомню, что реальной установкой пакетов занимается утилита dpkg, а не apt. Dpkg для надёжности выполняет все действия с подтверждением записи. Так что если запустить её через eatmydata, она отработает гораздо быстрее.

Я выполнил полное обновление пакетов в два этапа, откатив первое обновление на изначальный снепшот:

# time apt upgrade -y
Fetched 249 MB in 30s (8,183 kB/s)
real 1m 43.690s

# time eatmydata apt upgrade -y
Fetched 249 MB in 33s (7,671 kB/s)
real 1m 36.984s

Работа dpkg занимает где-то треть всего времени, ещё треть загрузка пакетов, и треть пересборка initramfs. Без eatmydata dpkg работала примерно 30 секунд, с ней – 20.

Или вот ещё более наглядный тест. Запускаем создание файла в режиме синхронизации и подтверждения записи каждого блока:

# dd if=/dev/zero of=/mnt/tempfile bs=1M count=512 oflag=dsync
536870912 bytes (537 MB, 512 MiB) copied, 1.95211 s, 275 MB/s

И то же самое через eatmydata:

# eatmydata dd if=/dev/zero of=/mnt/tempfile bs=1M count=512 oflag=dsync
536870912 bytes (537 MB, 512 MiB) copied, 0.343773 s, 1.6 GB/s

Эта возможность может пригодиться при сборке контейнеров, образов, раскатки тестовых сред. Можно запускать тестовую СУБД через eatmydata. Да всё, что угодно на тестовом сервере.

Если у вас есть какие-то скрипты, которые не хочется переделывать, добавляя в начало каждой команды eatmydata, можете просто задать переменную окружения, в том числе глобальную в /etc/environment:

LD_PRELOAD=/usr/lib/x86_64-linux-gnu/libeatmydata.so

И все процессы будут писать без подтверждения записи в кэш.

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

#linux

У меня в управлении есть небольшая серверная на несколько серверов. Там очень давно трудится APC Smart-UPS 2200. Больше всего люблю УПСы именно этого бренда. Ниже расскажу, почему. Но сейчас они стали очень дорогими, и качество упало, так что покупать их перестали.

Ему уже 2 раза меняли батареи. Пришло время очередной замены. Я без задних мыслей заказал совместимую модель батареи - RBC11. В этот раз это был не оригинал, потому что он очень дорогой, да и с наличием плохо, предлагают под заказ. А совместимые копии в 2 раза дешевле и есть в наличии. Оригинальные работали по 5-6 лет, посмотрим, сколько эти проживут.

Батареи приехали с другими разъёмами. Не подходили к тем, что есть на UPS. На вид почти такие же, но с небольшими отличиями и не лезут. Не знаю, с чем это связано. Может быть с тем, что UPS очень старый. Сам он пишет в статусе, что от 2009 года. Я собственно, поэтому и решил написать заметку, чтобы тот, кто будет покупать батареи имел ввиду, что разъёмы могут не подойти.

Особых проблем в итоге это не доставило, так как очень легко получилось перекинуть провода со старых батарей на новые. Подозреваю, что это может лишить гарантии. Но деваться некуда. Так что заранее уточняйте, подойдут ли разъёмы батареи к вашему УПСу.

Теперь по поводу APC. Я всегда заказывал их из-за софта apcupsd. Это кроссплатформенная программа, которая поддерживает все популярные операционные системы и может работать в режиме сервер-клиент.

Мы берём UPS, подключаем его по USB порту к любому серверу. Я обычно беру с Linux. Настраиваем на нём режим сервера. На всех остальных серверах, подключенных к этому УПСу ставим приложение-клиент, которое берёт статус УПСа по сети. Если пропадает электричество, все сервера корректно завершают свою работу.

Apcupsd легко настраивается и переносится с системы на систему. Там всего лишь один конфигурационный файл для сервера и клиента. Никакие драйвера отдельно ставить не надо. По крайней мере с УПСами по USB я проблем не испытывал и никаких дополнительных действий не делал.

Предложенная программа лично мне нравится намного больше вендорского софта. Она и настраивается проще, и работает надёжнее. Последний раз, где я участвовал, покупали какие-то другие УПСы, уже не помню какие. Там другой софт был, вообще не понравился. По веб интерфейсу надо лазить, кучу всего менять. Сам софт тяжелый, громоздкий. Вообще не то после apcupsd, который ставится из стандартных репозиториев и весит копейки.

После замены батарей запустил утилиту в комплекте apctest, выполнил тут же в консоли несколько действий:

- выполнил самодиагностику, убедился, что всё в порядке
- установил дату батареи на день замены
- выполнил калибровку батареи

В процессе калибровки нагрузка работала от батарей. Длилась калибровка минут 40-50, то есть батареи держали хорошо. К УПСу подключены два 1U сервера и два 2U, работают без особой нагрузки. Плюс несколько свитчей. Очень простая и надёжная железка. Жаль, что это качество APC уже давно сошло на нет. А вместе с ростом цены наоборот упало.

Программа apcupsd поддерживает УПСы не только APC, но и некоторых других вендоров. Например, некоторые модели Ippon. Если будете подбирать себе серверный УПС, рекомендую обратить внимание на этот софт и если есть возможность, купите совместимый с ней UPS. Это упростит вам настройку и поддержку работы.

#железо

Коснулся на днях темы Bitrix и узнал некоторые подробности окружения, где его удобно запускать. Я последний раз разворачивал свежий Битрикс прошлым летом. И на тот момент компания предлагала автоматически развернуть окружение на базе системы Centos Stream 9, которую на практике в проде никто не использует. Я тогда удивился этому событию и собрал сам окружение на базе Debian 12.

Сейчас этот вопрос уже решён. Компания Битрикс представила рабочее окружение VMBitrix на базе следующих систем:

- Alma Linux 9
- CentOS Stream 9
- Oracle Linux 9
- Rocky Linux 9

Честно говоря, я ждал и надеялся, что будет переход на deb дистрибутивы, в частности Debian. Это упростит и поддержку отечественных систем, в частности Astra Linux, которая тоже на deb пакетах живёт. Но этого не случилось.

Если же вам нужно окружение именно на Debian, то можно собрать самостоятельно на базе их же свежей статьи:

⇨ Настройка окружения для Debian 12

Мне такое решение ближе, потому что в своей работе полностью перешёл на Debian, но тут есть подводные камни, особенно если работаете с внешними подрядчиками или нет взаимопонимания со своими разработчиками. Если начнутся какие-то проблемы, то у разработчиков будет большой соблазн обвинить сервер и окружение в частности в том, что там что-то не так настроено. Я с этим сталкивался лично не раз, поэтому несмотря на свои предпочтения, лучше разверну Битрикс в их же bitrix-env, чтобы просто снять с себя эти вопросы.

Окружение это доступно теперь в двух форматах:

1️⃣ Готовый образ VM под все популярные системы виртуализации: VirtualBox, VMWare, HyperV, Vagrant, ProxmoX (почему-то написан именно так, с заглавной X). Не рекомендую использовать образ VM. Когда что-то пойдёт не так или банально место на диске закончится (там 50 ГБ), столкнётесь с проблемами. Мне так по поводу Zabbix регулярно пишут. Разворачивают его из готового образа, а потом не знаю, что там с ним делать и как решать проблемы. Лучше установите чистую систему так, как вам нужно, и разверните из скрипта.

2️⃣ Скрипт bitrix-env-9.sh, который разворачивает окружение на вашем сервере. Я развернул и посмотрел на него на Rocky Linux. Выглядит установка вот так:

# dnf install wget
# wget https://repo.bitrix.info/dnf/bitrix-env-9.sh
# chmod +x bitrix-env-9.sh
# ./bitrix-env-9.sh

Установилось не с первой попытки. То один, то другой нужный пакет не мог загрузиться с зарубежных репозиториев. В итоге с 3-й попытки всё получилось. Ждём минут 10 и получаем преднастроенное окружение на базе следующих компонентов:

- Nginx + Apache2 + PHP 8.4
- Percona Server 8.4
- Redis или Memcached
- Поиск Sphinx

После установки достаточно создать пул в разделе 1. Create management pool on the server и скопировать в директорию /home/bitrix/www скрипт bitrixsetup.php для установки новой версии продукта, либо восстановить его из бэкапа.

Я проверил на виртуалке с 1CPU и 2GB памяти. Тестовый ненагруженный портал нормально установился и запустился.

В целом, всё осталось плюс-минус как и раньше, ещё лет 10 или более назад, только на актуальном ПО. Принципиальных изменений нет. У Битрикса всё стабильно. Корпоративный портал содержит 211 тысяч файлов 😱 Развернул из любопытства демо версию.

#bitrix

У Zabbix в Youtube канале вышло наглядное видео с демонстрацией основных возможностей системы мониторинга. Снято наглядно и информативно. Полезно для тех, кто не знаком с этой системой. А также, если вам необходимо кому-то показать и пояснить, что такое Zabbix и зачем его использовать:

▶️ Zabbix Technical Demo (В Я.Браузере можно с синхронным переводом посмотреть)

На видео показано и рассказано:

- Мониторинг Linux серверов с помощью агента и встроенного шаблона
- Мониторинг сетевых устройств с помощью SNMP
- Обзор готовых шаблонов и вариант создания своего
- Обзор сырых метрик в Latest Data
- Примеры дашбордов и виджетов для них
- Пример интерактивной карты сети
- Обзор мониторинга бизнес сервисов со SLA
- Создание отчётов по расписанию
- Возможности HA, Zabbix Proxy
- Настройка пользователей и групп, интеграция с LDAP, настройка ролей
- 2FA для аутентификации пользователей

Ещё раз уточню, что там просто по веб интерфейсу прошлись и показали основные возможности. По настройке там ничего нет. Для демонстрации использовалась версия 7.2.

У них есть старое видео в таком же ключе для версии 6.0. Ещё не успели на сайте заменить, до сих пор старое стоит:

⇨ https://www.zabbix.com/ru/demo

Хотя может и не будут заменять. Они дополняют друг друга. В старом больше теории и схем, а в новом только демонстрация веб интерфейса.

#zabbix

Знакомый попросил прикинуть небольшую инфраструктуру, чтобы развернуть self-hosted версию CRM Bitrix. Мы раньше с ним уже делали подобное, так что я собрал плюс-минус проверенный вариант, который успешно работал в прошлом. Да и сейчас наверное работает.

Чтобы добро не пропадало, решил и с вами поделиться. Кстати, если кто-то будет готов настроить подобное, напишите мне в личку, я сведу с заказчиком. У меня нет возможности всё это сейчас реализовать. Чего-то принципиально сложного тут нет. Надо просто всё аккуратно сделать.

Я предложил 2 сервера в аренду, если не надо HA (High Availability). Если надо HA, добавляется третий, но тут допустимо без него.

Арендуются 2 выделенных сервера под бюджет и потребности. Достаточно хотя бы двух дисков на каждом. Собираем там RAID1 на Mdadm, поверх ставим Proxmox VE. Тут же на гипервизоре настраиваем firewall, пробросы портов и NAT для виртуальных машин. Можно и в отдельной виртуалке шлюз сделать, но тут у нас простая история, можно и так.

🗄 На первый сервер ставим 3 виртуалки:

1️⃣ Прокси на базе Nginx/Angie в режиме proxy_pass. Весь HTTP трафик направляем туда и дальше раскидываем по сервисам. Всё остальное закрываем файрволом на гипервизорах. Если нужно ограничить доступ к инфраструктуре, тут же можно настроить VPN (WG или OpenVPN). Или вынести в отдельную виртуалку. Я обычно выношу, но не уверен, что в простых случаях это реально нужно. Немного переусложняет инфраструктуру, плодя дополнительные сущности.

2️⃣ VMBitrix. Тут будет работать сам Битрикс в своём стандартном окружении. Больше ничего ставить не рекомендую.

3️⃣ Виртуалка с бэкапом. Тут будет храниться локальная копия на уровне файлов и дампов субд (если по размеру пролезут, иначе бинарные бэкапы) для быстрого восстановления, если на VMBitrix что-то случится из-за червя, вируса или ошибки разработчика. На уровне виртуальных машин данные изолированы, так что зловред или ошибка не затронет их, зато можно быстро восстановиться. Резервные копии делать инкрементными. Я бы использовал rsync, но можно любое другое решение, не принципиально.

🗄Второй сервер используется под бэкапы, мониторинг и логи. Предлагаю такие виртуалки:

1️⃣ PBS (Proxmox Backup Server) для бэкапа на уровне виртуальных машин виртуалок с первого сервера. Думаю, имеет смысл бэкапить только прокси и VMBitrix.

2️⃣ Мониторинг на базе Zabbix, Prometheus, VictoriaMetrics. Не принципиально, что больше знает и любит исполнитель или тот, кто будет поддерживать.

3️⃣ Сбор и анализ логов, особенно с веб серверов (прокси и VMBitrix). Ну и все остальные тоже. Решение также на выбор исполнителя, кто что больше любит и знает: ELK, Loki, VictoriaLogs.

Отдельно где-то арендуется обычная VPS с большим диском и туда передаются бэкапы сырых данных с виртуалки с бэкапами на первом сервере. И туда же копируются все конфигурации, особенно мониторинга и логов. Сами данные этих сервисов в рамках данной задачи не представляют большой ценности, я бы не бэкапил.

Остаётся ещё вопрос хранения кода. Если будет активно идти разработка своими силами, то на первый сервер можно добавить отдельную виртуалку под Git и её тоже бэкапить в PBS.

Что думаете насчёт предложенной схемы? Как бы решали такую же задачу?

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

#bitrix

Ещё немного про личное железо. Возможно, кому-то будет полезно для сохранности экрана. У меня на ноуте постоянно оставались следы от клавиатуры на экране. Ну оставались и оставались, какие вещи не пылятся. Первое время протирал почаще, подкладывал лист A4 между экраном и клавиатурой. Потом просто надоело этим заниматься. По мне так это полная ерунда подкладывать листики или тряпочки. Плюнул и решил, будь что будет.

В итоге стало вот так. Экран довольно сильно протёрся за последние пару лет, когда ничего не подкладывал. И не сказать, что он какой-то прям сильно пыльный был. Я больше работал через внешний монитор и клавиатуру, нежели напрямую за ноутом. Но всё равно протёрлось сильно, так что работать за экраном ноута стало не очень комфортно. С другой стороны я им пользовался довольно активно. Считай, что каждый день носил с собой, доставал, убирал в рюкзак.

Так что имейте ввиду, если у вас тоже следы остаются. Если ничего не подкладывать, то наверное примерно то же самое будет. А может не будет, а тут просто поверхность экрана такая хреновая, что настолько сильно протёрлась. Ноут в рюкзаке ношу, по идее на него там давления никакого нет, но всё равно получил такой результат. На пластике под экраном тоже потёртости. Это не пыль и не следы от загрязнения. Ноут хорошенько протёр чистящим средством перед тем, как сфотографировать.

#железо

Вспомнился старенький ролик. У меня дома почти все вентиляторы стали сильно шуметь. И на NAS, и на обычном компе, и на моём тестовом, и на ноуте сына. Не так, как на ролике, где они трещат, а просто крутиться с шумом. Если новые были почти бесшумные, а на NAS (HP Microserver) и системнике (специально собирал на шумопоглощающем корпусе и тихих вентиляторах) вообще бесшумные, их не слышно было, я не выключал вообще, то сейчас все они стали как-то неприятно шуметь. Включаешь и слышен этот звук. Хотел написать гул, но это не гул, а именно шум, с шуршанием.

Понимаю, что просто пришло время и надо заменить, но всё как-то руки не доходят. Надо всё разбирать, смотреть размеры, заказывать новое, опять всё собирать. Раньше любил этим заниматься, но сейчас особо нет времени для таких дел. Давно уже выпал из этой темы. Да и с маленькими детьми в доме это не такая уж простая задача. Дома я всегда под пристальным вниманием, дети скучают и липнут на мне.

Кто-то может посоветовать бренд вентиляторов, чтобы можно было купить и быть уверенным, что они нормально прослужат и не зашумят через пару лет. На Озон зашёл, там сотни вариантов, не знаешь, на чём остановиться. Хорошо бы, чтобы они без лгбт подсветки были, но особо не надеюсь на это.

#железо

Решал на днях простую задачку. Нужно было сделать так, чтобы разработчики могли сами включать на сайте режим обслуживания, чтобы весь трафик пользователей шёл на страницу заглушку, а они могли с сайтом работать, как обычно. Такой режим есть в движке Битрикс. Довольно удобно, разработчики пользуются.

Хотелось сделать примерно то же самое на базе Nginx/Angie, но с помощью файла-флага, который можно положить в корень сайта и это будет включать режим обслуживания. Если файл есть – весь трафик пользователей идёт на заглушку, а IP адреса разработчиков или какие-то подсети видят сайт как обычно и работают с ним.

Задача в целом популярная, в сети легко находятся готовые примеры. Но там везде используется if. Хотелось сделать без него, но у меня не получилось. Долго мучал chatgpt. Он бодро предлагал неработающие решения, потом так же бодро сообщал, что действительно тут ошибка и так не работает. Надо делать вот так и тогда получится. В итоге простого красивого и удобного решения именно с файлом-флагом, без правки конфигурации и reload веб сервера сделать не получилось. Реализовал наиболее простой вариант с помощью пары if.

Создаём файл /etc/angie/allowed_ips.conf следующего содержания:

map $remote_addr $bypass_maintenance {
  default 0;
  187.192.238.175 1;
  192.168.0.0/24 1;
}

Указывать можно как одиночные IP адреса, так и подсети. Вынес эти настройки в отдельный файл для удобства. Добавляем в настройки виртуального хоста, для которого настраиваем режим обслуживания:

  location = /maintenance.html {
    try_files $uri =503;
  }

  location / {
    set $in_maintenance 0;
    if (-f $document_root/maintenance.flag) {
    set $in_maintenance 1;
    }
    set $maintenance_check "${in_maintenance}_${bypass_maintenance}";
    if ($maintenance_check = "1_0") {
      return 302 /maintenance.html;
    }
    try_files $uri $uri/ /index.php?$args;
  }

Теперь если в корне сайта создать файл maintenance.flag, то всем пользователям, кого нет в списке allowed_ips.conf будет отображаться содержимое файла maintenance.html, который надо добавить.

Это максимально простой и быстрый вариант. Но столкнулся с небольшим нюансом. Когда обслуживание закончено, желательно пользователей, кто остался на странице maintenance.html обратно вернуть на главную, когда они в очередной раз обновят страницу. Добавляем проверку в location /maintenance.html

  location = /maintenance.html {
    if (!-f $document_root/maintenance.flag) {
    return 302 /;
  }
    try_files $uri =503;
  }

Получилось относительно простое и эффективное решение. Не надо менять конфигурацию и дёргать веб сервер. Достаточно любым способом положить или переименовать заготовку для файла maintenance.flag, а потом обратно переименовать, когда работы закончены.

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

#nginx #angie

У меня уже были заметки про фишки LVM, сегодня расскажу про ещё одну, которая может пригодиться. С помощью LVM и снепшотов можно делать консистентные бэкапы баз данных Mysql на уровне файлов, а не дампов, практически без простоя. Для таких задач в СУБД Percona есть инструмент под названием XtraBackup, а вот если у вас обычная бесплатная MySQL или MariaDB, то с бэкапами на уровне файлов там не так всё просто, особенно если вы уже не можете делать дампы из-за их больших размеров.

Идея там вот в чём. Мы закрываем все открытые таблицы, сбрасываем кэш, блокируем изменение данных, после этого делаем снепшот раздела с базами данных и сразу отключаем блокировки. Это занимает буквально пару секунд, на которые блокируются все базы, а потом спокойно копируем файлы сервера, примонтировав снепшот.

Это всё хорошо работало до появления движка InnoDB. У него есть нюансы, когда блокировки не предотвращают изменение данных в таблицах. Нужно дополнительно сбрасывать на диск так называемые dirty_pages. Покажу всё это на практике. Способ немного костыльный и вряд ли подойдёт для прода, так как есть много нюансов. Но в каких-то ситуациях может помочь быстро снять консистентную копию без остановки сервера.

Для того, чтобы всё получилось, раздел, где хранятся данные MySQL сервера, должен располагаться на LVM, а в Volume Group должно быть свободное место для снепшотов. Проверяем так:

# pvs

Если места нет, надо добавить. Не буду на этом останавливаться, рассказывал ранее. Первым делом заходим в консоль mysql, сбрасываем кэш и включаем блокировки:

> SET GLOBAL innodb_max_dirty_pages_pct = 0;
> FLUSH TABLES WITH READ LOCK;

Если база не сильно большая и нагруженная, кэш быстро сбросится. Наблюдать можно так:

> SHOW ENGINE INNODB STATUS\G;

Следим за значением Modified db pages. Оно должно стать 0. После этого можно делать снэпшот:

# lvcreate --size 5G --snapshot --name mysql_snapshot /dev/vgroup/root

После этого возвращаем обратно настройку с dirty_pages в исходное значение (по умолчанию 90) и снимаем блокировки:

> SET GLOBAL innodb_max_dirty_pages_pct = 90;
> UNLOCK TABLES;

Когда это делается автоматически скриптом, всё это происходит быстро. Но есть нюансы. Команда блокировки дожидается завершения всех запросов. Если у вас там есть какие-то очень длинные запросы, то вся база будет заблокирована, пока они не завершатся. Так что имейте это ввиду.

Монтируем снепшот и копируем данные:

# mkdir /mnt/mysql_backup
# mount /dev/vgroup/mysql_snapshot /mnt/mysql_backup
# rsync -avz --delete /mnt/mysql_backup/var/lib/mysql/ user@10.20.1.5:/mnt/backup/mysql/

После копирования снепшот надо обязательно удалить.

# umount /mnt/mysql_backup
# lvremove -f /dev/vgroup/mysql_snapshot

Получили консистентный бэкап всех баз данных практически без остановки сервера, но с кратковременной блокировкой изменений.

Я собрал всё это в скрипт и протестировал на сервере с MariaDB и Zabbix Server. Сохранил бэкап локально, потом остановил MariaDB, полностью удалил директорию /var/lib/mysql и восстановил из бэкапа. Потом запустил СУБД. Запустилось без проблем, никаких ошибок. Бэкап получается консистентный.

Скрипт особо не отлаживал, так что аккуратнее с ним. Просто убедился, что работает. Сначала немного накосячил, так как после включения блокировки закрывал сессию, делал снепшот и подключался снова. Так нельзя, потому что команда FLUSH TABLES WITH READ LOCK живёт, пока открыто соединение. Надо в рамках него делать всё необходимое. Запустил lvcreate через SYSTEM.

Такой вот небольшой трюк в копилку LVM, который можно применять не только к СУБД, но и другим данным.

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

#lvm #mysql #backup