ServerAdmin.ru

Вчера одной знакомой мошенники взломали учётную запись от Госуслуг. Причём сделали это таким запутанным способом, что я даже не уверен, что ломали именно их. Расскажу обо всём по порядку. Возможно кто-то с подобным сталкивался. Другим наука будет, чтобы предупредили знакомых и родственников.

1️⃣ 9 утра, человек едет в метро. Раздаётся звонок на телефон. Слышно плохо. Мошенники называют ФИО и адрес проживания. Говорят, что пришла посылка на почту рядом с домом. Чтобы забрать, надо привязать в почте свой номер телефона, на который придёт код подтверждения для забора посылки.

2️⃣ Приходит смс от Госуслуг. Тут первая странность. В смс текст: Для подтверждения смены номера введите код подтверждения: 1234. Не сообщайте никому! Странности тут две. Во-первых, коды подтверждения у Госуслуг 6-ти значные, а тут только 4 знака. Во-вторых, сейчас от Госуслуг приходит другой текст. В конце добавляют, что этот код спрашивают только мошенники. И при этом смс пришла от отправителя gosuslugi и легла в тот же чат, где все остальные смс от реального сервиса.

3️⃣ Человек называет код и тут же понимает, что это какая-то ерунда и обман. Она кладёт трубку, заходит через приложение Госуслуг на смартфоне и меняет пароль. Приходит смс для аутентификации и там 6 знаков и привычный текст.

4️⃣ Человек заходит в свою почту и там видит несколько подозрительных писем:
▪️Первое от реальных Госуслуг, где указано, что её номер введён в другой учётной записи.
▪️Второе фейковое от хостинга Aeza, отправленное с домена aeza_email, где указано, что для подтверждения почты нужно пройти по ссылке и активировать учётку. Тут я уже удивился, так как сначала вообще не понял, при чём тут Aeza. В письме странные ссылки через сокращатели. Не ходил по ним. Письмо точно фейк, потому что у меня есть письма от реальной Аезы. Они по-другому отправляют.
▪️Третье письмо подделано под шаблон Госуслуг. Там сказано, что кто-то совершил вход под вашей учётной записью. Указан IP адрес и расположение: Украина - г. Киев. И ниже указан номер тех. поддержки, куда предлагают позвонить, если это были не вы. Забегая вперёд скажу, что номер мошенников. Письмо отправлено с домена в зоне .org, похожего на госуслуги.

5️⃣ Человек звонит по этому номеру. Там сразу снимают трубку, как-будто ждали звонка. Мужчина без всякого акцента рассказал, что кто-то заходил в учётку, если это не вы, то надо срочно менять пароль и привязку телефона. А потом отложил трубку и судя по всему забыл отключить микрофон. Начал разговаривать матерясь с какой-то девушкой рядом, а та ему говорила, что надо что-то ещё, чтобы она сделала или ничего не получится.

6️⃣ Знакомая поняла, что это опять мошенники, положила трубку. Зашла с компьютера в Госуслуги, снова сменила пароль, убедилась, что привязан её мобильный номер. Для аутентификации все смски с кодами приходили к ней на смартфон.

Всё просмотрела в личном кабинете, вроде никаких изменений. В списке действий ровно одно подозрительное действие как раз после первого звонка, совершённое не с её IP адреса. При этом IP адрес московский. Выполнено действие - отключение входа с подтверждением. Что это значит, не очень понятно, так как подтверждение по телефону реально не отключили.

Вот такая странная история произошла. Ниже список писем в тот день и скрины фейкового письма с госуслуг и от Aeza. Вот последняя меня больше всего интересует. При чём тут вообще этот хостинг? Знакомая с ним никак не связана и вообще не знает, что это такое.

И второй момент. От чего в итоге был передан мошенникам код из 4-х знаков? У меня есть подозрение, что Госуслуги тут только прикрытие каких-то других дел. Я не знаю, можно ли подделать отправителя смс, чтобы его сообщение попало в папку или чат с реальными смс от Госуслуг. А может на смену номера там только 4 символа и остался старый шаблон. Но смена по какой-то причине не состоялась.

Кто-нибудь сталкивался с подобным? Что это может быть? Какая-то многоходовая махинация. Тут и посылка, и фейковые письма, и поддержка.

#security

При использование популярной в Linux утилиты ps чаще всего оперируешь PID процесса или грепаешь вывод по строке в имени процесса:

# ps -p 524 -o %mem,%cpu,cmd
# ps ax | grep prometheus

Зачастую удобнее сразу указать имя процесса. Покажу на примере просмотра потоков процесса, о которых дальше пойдёт речь:

# ps -T -C prometheus
  PID  SPID TTY     TIME CMD
  525   525 ?    00:55:34 prometheus
  525   803 ?    00:03:10 prometheus
  525   808 ?    00:09:22 prometheus
  525  1054 ?    00:08:44 prometheus
  525  1113 ?    00:12:03 prometheus
  525  1129 ?    00:10:42 prometheus
  525  58983 ?    00:11:30 prometheus

Увидели сразу PID процесса 525 и все его потоки с номерами SPID. Иногда бывает нужно посмотреть или сразу посчитать потоки во время отладки какого-то приложения, которое, к примеру, виснет по какой-то причине. Быстро считаем его потоки:

# ps -T -C zabbix_server | wc -l
82

Обращаю внимание, что вывод с потоками будет больше, чем просто вывод списка процессов, которые тоже часто считают для задач мониторинга. На том же сервере в тот же момент:

# ps ax | grep zabbix_server | wc -l
59

Если есть какие-то проблемы с приложением, и не понятно, что именно тормозит, можно вывести нужные метрики с разбивкой на потоки. Это хорошо показать на примере Fail2ban с PID 508.

# ps -L -o spid,%mem,%cpu,cmd 508
SPID %MEM %CPU CMD
  1070 0.6 0.0 /usr/bin/python3 /usr/bin/fail2ban-server -xf start
  1071 0.6 0.1 /usr/bin/python3 /usr/bin/fail2ban-server -xf start
  1072 0.6 0.0 /usr/bin/python3 /usr/bin/fail2ban-server -xf start
  1074 0.6 0.1 /usr/bin/python3 /usr/bin/fail2ban-server -xf start
  1075 0.6 0.0 /usr/bin/python3 /usr/bin/fail2ban-server -xf start
  1077 0.6 0.3 /usr/bin/python3 /usr/bin/fail2ban-server -xf start

У Fail2ban может быть много фильтров, которые обрабатываются в разных потоках. И какой-то из них в случае лавинообразного разрастания лога может очень сильно нагружать систему. Зная PID и SPID можно посмотреть подробности потока:

# cat /proc/508/task/1077/stat
1077 (f2b/f.wp-login) ...................................

Всю строку не привожу, так как самое интересное в начале. Тут видно, что указанный поток обрабатывает jail с именем wp-login. Больше информации покажет status:

# cat /proc/508/task/1077/status

Ещё более подробную информацию можно получить через strace. Он не только по PID может подключаться, но и по SPID:

# strace -p 1077

Там будет виден и лог, который поток читает, и даже конкретные строки. На нагруженном сервере завалит консоль, так что лучше сразу в файл выводить и потом смотреть. Обычное перенаправление в файл не сработает, надо использовать ключ -o:

# strace -p 1077 -o ~/strace.out

Можно конкретизировать, что записывать. Например, для Fail2ban будут актуальны операции открытия файлов и чтения:

# strace -p 1077 -e trace=openat,read

А для каких-то процессов будет иметь смысл следить за записью:

# strace -p 1077 -e trace=write

Подобная проверка с strace будет очень актуальна, когда у вас какой-то поток приложения, к примеру, обращается по сети к ресурсу, который недоступен. И запрос висит по таймауту хрен знает сколько времени. А у вас сам процесс из-за него тормозит или висит.

Трейсы в режиме реального времени можно посмотреть и в htop. Выбираете нужный процесс или поток и нажимайте s. Если strace установлена в системе, то увидите её работу.

Стандартные и относительно простые утилиты консоли Linux позволят продебажить и разобраться даже в сложных и неочевидных на первый взгляд ситуациях.

📌 Полезные ссылки по теме заметки дебага консольными утилитами:
▪️Примеры использования ps
▪️Анализ дисковой активности в Linux
▪️Узнаём, что конкретно тормозит в php коде
▪️Расследование фантомных чтений с диска
▪️Расследование тормозов php сайта с помощью perf
▪️Профилирование нагрузки в Linux
▪️Кто и как использует swap
▪️Анализируем нагрузку на диск с помощью perf-tools

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

#linux #terminal #perfomance

Вчера себе сделал обоину на рабочий стол. Может кому-то пригодится, либо просто идея понравится. Я уже пару лет себе делаю обои на рабочий стол с календарём. По мне, так это очень удобно. Дополнительно добавил правописание метрик, так как постоянно путаю прописные и заглавные буквы. Если не перепроверю, обязательно с ошибкой напишу.

Думал, думал, что ещё добавить, но так и не придумал. На практике мне особо ничего больше не надо. По разным каналам гуляют шпаргалки с всевозможными командами на любые случаи в жизни системного администратора, но лично я ничем этим не пользуюсь настолько часто, чтобы нужно было на рабочий стол выносить. Ищу в заметках.

А вы как думаете, что ещё пригодилось бы на рабочем столе? Иногда простые советы или комментарии потом сильно упрощают жизнь. Я кое-что неизменно беру на вооружение. Было время, всякие системные метрики выносил, но они только отвлекают. Реальной необходимости в них нет. В трее есть текущая частота и температура процессора. К сожалению, на ноутах Thinkpad это необходимая информация.

К заметке прилагаю саму обоину, мой рабочий стол, как это выглядит на практике, и сами образцы, которые добавил к картинке, чтобы в к своей смогли добавить, если захотите.

Ну и раз уж такая тема зашла упомяну ещё одну вещь. Я когда обсуждал свой новый моник 27" 2К меня прям чуть ли не унизили тем, какой я старый и отсталый, работаю с одним моником, да ещё таким маленьким. Типа надо было брать либо здоровый, либо хотя бы 2. В конце года читал интересный отчёт небезызвестного Вастрика, где он рассказывал, как себе монитор выбирал. Он там тоже всякие варианты пробовал, но остановился на одном 32" мониторе. У него стол глубокий, так что взял 32", а так тоже к 27" примерялся.

На днях на эту же тему со знакомым айтишником общался, он мне тоже сказал, что ему подходит максимум 27" 2К, а больше всего нравится на 24 FullHD работать. Я теперь хоть успокоился. Сам работаю за 23.8" 1920x1200. Не надо никакие окна подгонять, масштабы менять. Мне для работы это идеальный размер. Ноут рядом лежит, но даже не раскрываю его. Второй экран не нужен.

Слаб я ещё в плане мнения окружающих. Требуется внешнее подтверждение адекватности, а то грустно становится. Не молодею же. Правда оба описанных примера тоже ~40 лет от роду 😂.

#разное

Я в разное время обозревал наиболее популярные продукты для упрощения установки ОС на железо или виртуальные машины с помощью создания универсальных загрузочных флешек или образов для установки по сети или через интернет. Вот о чём я писал:

◽️Ventoy - создание флешки с набором образов ОС
◽️YUMI – Multiboot USB Creator - аналог ventoy
◽️netboot.xyz - универсальный образ для установки систем через интернет
◽️FOG Project - PXE или TFTP сервер с веб интерфейсом
◽️Cobbler - PXE + DHCP + DNS сервер. Более функциональный аналог FOG.
◽️MAAS - PXE сервер от авторов Ubuntu, расшифровывается как Metal-As-A-Service.

Для полноты картины не хватало одного продукта, до которого всё не доходили руки - iVentoy. Это промежуточный вариант между масштабными системами автоматической раскатки систем типа Cobbler и MAAS и локальным Ventoy. То есть это Ventoy с установкой систем по сети с помощью технологии PXE. Устанавливается и настраивается максимально просто. Не нужно долго разбираться, изучать и настраивать. Просто берёшь и запускаешь. Покажу как он работает.

Для примера возьму в качестве хостовой системы, где будет запущен PXE сервер, Windows. Также есть версия под Linux. Для установки системы из ISO образа по сети нужно:

1️⃣ Скачать из репозитория архив с программой iventoy-1.0.20-win64-free.zip.
2️⃣ Распаковать программу. В директорию iso скопировать набор образов, которые вы хотите использовать в качестве загрузочных. Я пробовал и с Linux, и с Windows.
3️⃣ Запустить программу. Автоматически откроется браузер с веб интерфейсом по адресу 127.0.0.1:26000.
4️⃣ Настраиваете либо локальный DHCP сервер, который входит в состав iventoy, либо на своём внешнем указываете в качестве PXE сервера IP адрес машины, где запускаете iventoy. Сам iventoy может выступать в качестве простого DHCP сервера. Достаточно указать в его настройках основные параметры - диапазон IP адресов, адрес шлюза и DNS сервера.
5️⃣ Если используете свой текущий DHCP сервер, то вам необходимо настроить параметр Next Server или 066 DHCP Option и Bootfile Name или 067 DHCP Option. Просто укажите IP адрес машины с iventoy и имя файла. В Mikrotik, в настройках DHCP параметр так и называется - Next Server. А с Bootfile есть один нюанс, связанный с использованием режимов Legacy BIOS и UEFI. Я не буду пересказывать инструкцию, а просто покажу, где и как этот вопрос решается. Там относительно просто, надо только выбрать тот режим, что вам больше подходит. iVentoy умеет отрабатывать оба этих режима, secure boot не поддерживает.
6️⃣ Запускаете клиентскую машину и выбираете там загрузку по сети. Где-то может быть отдельный параметр в BIOS, который разрешает использовать PXE для загрузки.
7️⃣ Запускаете машину, выбираете один из загруженных ранее образов в iso папку и устанавливаете систему.

Я попробовал работу только с виртуальными машинами. Нормально установилась и система с Windows, и с Linux.

iVentoy максимально простая система из всех подобных. Нет никаких особых настроек и возможностей. Просто запуск установки из списка загруженных образов ISO. А в них уже можете сами настраивать всё, что вам нужно.

⇨ 🌐 Сайт / Исходники

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

#pxe

Посоветую вам один полезный ресурс, который содержит информацию на тему поиска работы, собеседований, резюме:

⇨ https://easyoffer.ru

На сайте собраны вопросы с собеседований по разным направлениям в IT. На конкретные вопросы, не касающиеся личности кандидата, есть примерные ответы и ссылки на видео с ютуба, где этот вопрос обсуждается либо в собеседовании, либо просто где-то в разборе.

В отдельном разделе собраны записи реальных или смоделированных интервью, а так же советы по ним, выложенных в разных каналах от разных авторов. То есть это не работа автора сайта, а просто каталог по публичным видео. Вот примеры собеседований DevOps.

В отдельном разделе собраны требования для различных вакансий в порядке их популярности в резюме. Автор парсит hh и выстраивает топ требований по частоте их упоминаний.

В целом на сайте ничего особенного нет, но удобно всё организовано для быстрого просмотра. Часть контента скрыта, а чтобы посмотреть его весь достаточно подписаться на несколько каналов автора в Telegram.

#обучение

Ютуб подкинул в рекомендации. Я первый раз посмотрел, не понял, в чём прикол. Только со второго раза дошло, что спросили не ИМЯ, а КАК ТЕБЯ ЗОВУТ. Анонимный сотрудник тех. поддержки признался, что его зовут так: "Принтер не печатает, подойди, пожалуйста".

▶️ https://www.youtube.com/shorts/jxtp22gZ5ME

Когда-то давно меня тоже так звали. А ещё:

- Файл не открывается, помоги, пожалуйста
- В принтере бумага застряла
- Почему-то мышка не работает
- У меня пароль не подходит, помоги зайти
- Компьютерный стул сломался
- Я ничего не делал, оно само

#юмор

Смотрел на днях вебинар Rebrain на тему настройки ELK Stack. Дело было вечером, я доделывал свои дела и в пол уха слушал рассказ лектора. Потом переключился на вебинар и стал следить. Я, кстати, рекомендую эти вебинары. Иногда смотрю.

В какой-то момент заметил, что структура и содержание конфигов Logstash очень мне знакомы. Я для удобства разделяю параметры input, output и filter. Да и в целом всё как-то очень похоже на то, что я обычно делаю. Когда дело дошло до индексов, заметил там свои привычные шаблоны.

Лектор переместился в браузер и там я увидел вкладки со своей статьёй. Стало понятно, почему мне всё было знакомо. Статью последний раз обновлял года полтора назад. Она несильно устарела, так что ей вполне можно пользоваться.

Вчера её полностью проверил, кое-что добавил, обновил. Развернул по статье весь стек на Debian 12. Получилось в режиме copy-paste для самой свежей версии на текущий момент - 8.17.0.

Доступ к репозиториям elastic закрыт с IP адресов РФ, поэтому для того, чтобы можно было копипастом настраивать по статье, сделал свой репозиторий. Вчера же обновил его до самых свежих версий. Можно пользоваться:

⇨ Установка и настройка Elasticsearch, Logstash, Kibana (ELK Stack)
⇨ http://elasticrepo.serveradmin.ru

Если не знакомы с продуктом, то этой статьи будет достаточно, чтобы начать с ним работать. Там помимо непосредственно инструкций очень много пояснений. Возможно, они покажутся немного сумбурными. Эту статью я обновлял уже 5 раз и практически полностью переписывал 2 раза. ELK Stack очень часто обновляется и меняется. Трудно всё это увязывать в едином объёмном материале.

#elk

Небольшая практическая шпаргалка, которая с большой долей вероятности пригодится, если работаете с текстом в консоли Linux или каких-то других редакторах. Я взял для примера VSCode и Notepad++, с которыми сам работаю. Последний по старой памяти. Особой нужды в нём нет, но он, как и Total Commander, навечно прописался в моём компьютере.

Добавить в конец каждой строки переход на новую строку

🟡 С помощью sed:

# sed 's/$/\n/' file.txt > new_file.txt

Заменили анкор $, означающий конец строки на специальный символ \n - новая строка.

🟡 С помощью VSCode:

Открываем окно поиска и замены через Ctrl + H. В строке поиска пишем $ и жмём кнопку .*, что означает использование регулярных выражений. В качестве замены указываем /n и жмём заменить всё.

🟡 С помощью Notepad++:

Открываем окно поиска через Ctrl + F, переходим на вкладку замена. Ищем \r, заменяем на \n. Режим поиска ставим Расширенный.

По аналогии можно добавить в конец любой другой символ. Я взял переход на новую строку как наиболее сложный вариант замены.

Добавить символы в начало каждой строки

🟢 С помощью sed:

# sed 's/^/+7/' file.txt > new_file.txt

Добавили фразу +7 в начало каждой строки.

🟢 С помощью VSCode:

Открываем окно поиска и замены через Ctrl + H. В строке поиска пишем ^ и жмём кнопку .*, что означает использование регулярных выражений. В качестве замены указываем +7 и жмём заменить всё.

🟢 С помощью Notepad++:

Открываем окно поиска через Ctrl + F, переходим на вкладку замена. Ищем ^, заменяем на +7. Режим поиска ставим Регулярные выражения.

Оба упомянутых анкора ^$ вместе означают пустую строку. Можно так же заменять или удалять пустые строки. Актуально для больших конфигов, которые хочется почистить. Примерно так:

# sed '/^#\|^;\|^$/d' php.ini
# grep -E -v '^#|^;|^$' php.ini

Отобразили конфиг без строк, начинающихся с # , ; и пустых строк.

Кстати, я первый вопрос с sed решил задать chatgpt. И на удивление, он мне дал неправильный ответ на такой простой вопрос. Добавил лишнее экранирование. Не понимаю, как он некоторым программировать помогает или шаблоны для Zabbix пишет. Я как не обращусь к нему, регулярно получаю ошибки. Если ты не в теме, то эти ошибки сложно исправлять.

По этой теме у меня уже была ранее заметка, только с акцентом на grep, а не изменение данных. Если не видели, рекомендую посмотреть и сохранить. Там много примеров из моей практики.

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

#bash

Небольшая заметка на тему Zabbix Server на основе своего опыта. Иногда бывает ситуация, особенно после системных обновлений, когда ты перезагружаешь сервер, а он зависает. Тебя отрубает от SSH, виртуалка висит в неопределённом состоянии, приходится принудительно завершать работу. Проблема актуальна, когда мониторинг и СУБД живут на одной машине.

Смысл проблемы в том, что процесс с СУБД завершает свою работу раньше, чем Zabbix Server. И он пытается достучаться до базы, которая уже выключилась. А серверу надо туда свои кэши или буферы скинуть перед остановкой. И он не может. Пытается, но не может. В итоге все службы завершают работу, в том числе SSH, а Zabbix Server всё ещё висит и держит всю систему.

Сколько времени он может пробыть в таком состоянии - не знаю, не проверял. Обычно минут 10 повисит и я принудительно завершаю работу виртуалки. Так как СУБД завершает свою работу штатно, к проблемам это ни разу не приводило.

Так что перезагружая виртуалку с Zabbix Server, я сначала вручную завершаю работу мониторинга:

# systemctl stop zabbix-server

А потом уже набираю

# reboot

По этой проблеме был заведён баг на официальном трекере мониторинга. Проблему решили перечислением зависимостей в systemd юните zabbix-server.service. Добавили параметр After и перечислили службы СУБД, от которых зависит служба Zabbix Server. Если я правильно понял, то этот параметр указывает на то, что служба мониторинга запускается после службы СУБД и эта же настройка управляет завершением работы, но в обратном порядке. То есть сначала завершается служба мониторинга, а потом уже СУБД.

Если у вас используется версия СУБД, которая не перечислена в системном юните, то вы по-прежнему можете получить эту ошибку. Выглядит это примерно так:

After=mysql.service
After=mysqld.service
After=mariadb.service

Если у вас используется PostgreSQL, то задача усложняется. Там службы СУБД указаны с номерами версий. Для юнита Zabbix это выглядит так:

After=postgresql-9.4.service
After=postgresql-9.5.service
After=postgresql-9.6.service
After=postgresql-10.service
After=postgresql-11.service
After=postgresql-12.service
After=postgresql-13.service
After=postgresql-14.service
After=postgresql-15.service
After=postgresql-16.service

Соответственно, если у вас имя службы СУБД выглядит как-то иначе, получите описанную проблему, если не обновите юнит сами.

В общем, я со стародавних времён привык сначала останавливать мониторинг, убеждаться, что он остановлен, а потому уже перезапускать сервер.

Соблюдаю это правило для всех систем, где есть зависимость от службы СУБД. Например, на серверах с 1С + PostgreSQL всегда сначала вручную останавливаю службу 1С, а потом уже выполняю какие-то другие действия - обновление, перезагрузка и т.д. Баг с заббиксом приучил так действовать просто на всякий случай.

#zabbix #ошибка