ServerAdmin.ru

Когда-то давно у меня на канале была публикация про серию юмористических миниатюр на тему системного администратора и поддержки пользователей: Nick Burns, Your Company's Computer Guy (Ник Бернс, Компьютерщик из вашей компании). С тех пор прошло более 4-х лет, так что большая часть тех, кто читает канал сейчас, скорее всего её не видели.

Ни разу нигде не видел упоминания, перевода или хотя бы субтитров к этим миниатюрам. Лично мне эта серия кажется наиболее смешной и качественной на тему технической поддержки пользователей, хоть и снята была очень давно. Там и актёрский состав звездный. Из тех, что известны у нас - Джеки Чан и Дженнифер Энистон.

Бернс - системный администратор в компании, представлен в виде странного парня, обвешанного пейджерами и сотовыми телефонами. Он терпеть не может своих пользователей, которым ему приходится помогать, поэтому он обычно насмехается над ними и ругает. Пользователи показаны немного туповатыми, неспособными сделать простые вещи, типа прикрепить вложение в письмо, сделать скриншот экрана и т.д.

Было снято 5 серий, на ютубе почему-то только четыре. Вот они:

▶️ https://www.youtube.com/watch?v=25J3u3P-HHg
▶️ https://www.youtube.com/watch?v=AAEhk5t8rT0
▶️ https://www.youtube.com/watch?v=sqXm6h8A_UE
▶️ https://www.youtube.com/watch?v=jdL75nUBhN4

5-ю версию я с трудом нашел в интернете низкого качества и скачал, перезалил на свой яндекс.диск:

▶️ https://yadi.sk/i/pEPMYHzM72MXIg

Если кому-то нужна транскрипция на английском, можно найти на этом сайте - https://snltranscripts.jt.org/?s=Nick+Burns

Английский там простой, лично я на слух нормально воспринимаю. Можно посмотреть с переводом от Яндекс.Браузера, но получается уже не то. Смысл понятен, но как-то не смешно. Если будете смотреть с переводом, то ставьте громкость оригинальной дорожки на 80-90%.

Мне любопытно, кому-нибудь ещё это кажется смешным и интересным?

#юмор

Моя недавняя история с ошибкой MySQL таблицы получила неожиданное продолжение. Оно меня настолько удивило, что решил написать об этом отдельно. Напомню, что там побилась одна таблица базы движка InnoDB. Я попытался её починить, но когда понял, что данные можно потерять, просто удалил и пересоздал её, так как не хотелось на работающем сервере эксперименты ставить.

Сама ситуация для меня разрешилась благополучно, но не считаю, что оптимально. В следующий раз данные могут быть нужны. Поэтому я решил её проработать и записать решение, которое не приведёт к потере данных. Для этого я пометил бэкап виртуалки за ту ночь, как неудаляемый. А через некоторое время нашёл место, где её можно спокойно развернуть и поработать с ней.

☝️ Бэкап, кстати, почти всю ночь восстанавливался. И это очень долго. Поэтому я всегда делаю отдельно бэкапы данных внутри виртуалок. Систему можно поднять быстро, залить основные данные, нужные для запуска сервиса, а остальное копировать по ходу дела. Это если архитектура сервиса и данных позволяет.

Виртуалку я восстановил, запустил, убедился, что она работает и выключил. Позже появилось время с ней поработать более внимательно. Настроил там сеть, подключился и стал смотреть. Каково же было моё удивление, когда этой ошибки я там не обнаружил. СУБД работает нормально, CHECK TABLE отрабатывает нормально, дамп делается.

Сначала подумал, что перепутал версии бэкапа. Но нет. Создание дампа логируется локально. Посмотрел лог бэкапа, там последняя операция завершилась с ошибкой именно на той таблице. В логе службы mariadb за то время тоже видны ошибки с таблицей. Смотрю прямо на сервере:

2024-11-23T20:22:17.678755+03:00 mariadbd[738]: 2024-11-23 20:22:17 7451105 [Note] InnoDB: You can use CHECK TABLE to scan your table for 
corruption. Please refer to https://mariadb.com/kb/en/library/innodb-recovery-modes/ for information about forcing recovery.
2024-11-23T20:22:17.678779+03:00 mariadbd[738]: 2024-11-23 20:22:17 7451105 [ERROR] InnoDB: We detected index corruption in an InnoDB type table. You have to dump + drop + reimport the table or, in a case of widespread corruption, dump all InnoDB tables and recreate the whole tablespace. If the mariadbd server crashes after the startup or when you dump the tables. Please refer to https://mariadb.com/kb/en/library/innodb-recovery-modes/ for information about forcing recovery.
2024-11-23T20:22:17.678805+03:00 mariadbd[738]: 2024-11-23 20:22:17 7451105 [ERROR] Got error 126 when reading table 'b_stat_session_data'
2024-11-23T20:22:17.678833+03:00 mariadbd[738]: 2024-11-23 20:22:17 7451105 [ERROR] mariadbd: Index for table 'b_stat_session_data' is corrupt; try to repair it

После последней ошибки сервер пару раз перезагружался и вуаля, таблица починилась сама. Хотя никаких встроенных процедур по исправлению ошибок для InnoDB в MariaDB не предусмотрено. И по логам не видно, чтобы что-то делалось.

На основном сервере саму виртуалку я не перезагружал, но службу mariadb перезапускал. Мне тогда это не помогло.

Расстроился из-за этой ситуации, так как потратил кучу времени и всё без толку. Никаких рабочих рецептов не придумал. В следующий раз придётся опять разбираться, когда с этим столкнусь.

Как сказал один читатель к заметке про проблемы с СУБД. В базе иногда происходит какая-то неведомая хрень. Сразу понятен уровень специалиста. Знает, о чём говорит. Теперь я тоже знаю.

#mysql

Прочитал интересную статью про Linux IOWait в блоге компании Percona. У автора оказались подозрительно русские имя и фамилия - Peter Zaitsev. Навёл справки. Оказалось, что это Пётр Зайцев - сооснователь компании Percona. Я и не знал, что эта компания основана русскими, хотя пользуюсь её бесплатными продуктами много лет.

⇨ Understanding Linux IOWait

Сделал короткую выжимку из статьи, чтобы передать суть. Информация показалась полезной и новой для меня. Вначале пример от автора, как можно жёстко нагрузить дисковую подсистему:

# sysbench --threads=8 --time=0 --max-requests=0 fileio --file-num=1 --file-total-size=10G --file-io-mode=sync --file-extra-flags=direct --file-test-mode=rndrd run

Используется утилита sysbench. Я, кстати, писал про неё. У неё есть встроенные тесты для СУБД. Приведённая выше команда жёстко нагрузит метрику cpu iowait. Проверить можно через vmstat, колонка wa.

Пробуем дальше нагружать систему нагрузкой на процессор, не прерывая прошлый тест:

# sysbench --threads=8 --time=0 cpu run

Снова смотрим на vmstat и видим, что нагрузка IOWait куда-то пропала. Как так? Первый тест продолжает нагружать диски, но мы уже этого не видим в привычной метрике.

Смысл тут вот в чём. Когда мы долго ждём ответа от дисков, процессор простаивает. Растёт метрика cpu idle. Простой процессора из-за ожидания I/O засчитывается в метрику IOWait. Но как только мы нагружаем процессор другой работой, метрика idle падает, а за ней и IOWait. Это особенность подсчёта этих метрик.

Теперь вместо первого теста в 8 потоков, запустим только один на виртуалке с 4-мя ядрами:

# sysbench --threads=1 --time=0 --max-requests=0 fileio --file-num=1 --file-total-size=10G --file-io-mode=sync --file-extra-flags=direct --file-test-mode=rndrd run

Несмотря на то, что этот тест тоже полностью нагрузит дисковую подсистему, мы увидим IOWait в районе 20-25%. А на виртуальных машинах с большим числом ядер (32-64) цифра будет настолько незначительна, что мы можем вообще не заметить её. Но при этом дисковая подсистема будет полностью загружена.

Таким образом, высокая метрика IOWait показывает, что процессор ожидает операции I/O. Но при этом низкий показатель не гарантирует, что у вас не загружены диски. Надо уточнять.

Как же узнать, что у нас есть проблемы с нагрузкой по I/O? Можно посмотреть на столбец b в vmstat. Он показывает количество процессов, которые заблокированы в ожидании I/O для завершения. Соседний столбец r покажет суммарное число запущенных процессов.

В продукте Percona Monitoring and Management есть плагин, который в том числе показывает статистику по процессам. Там будут видны процессы, ожидающие I/O. Указанный мониторинг бесплатен, это open source.

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

#linux #perfomance

Нашёл на github простой скрипт, который делает одну вещь - следит за конкретным лог файлом или набором файлов на предмет появления там заданных строк. Как только их видит, отправляет уведомление в Telegram.

https://github.com/dobanov/mon_log_and_send_keywords_to_telegram

Я проверил версию на python. Работает очень просто. Копируем репу:

# git clone https://github.com/dobanov/mon_log_and_send_keywords_to_telegram
# cd mon_log_and_send_keywords_to_telegram

Устанавливаем необходимые пакеты:

# apt install python3-pip python3-watchdog

Запускаем скрипт без параметров:

# python3 tg_mon.py

Он ругнётся, что не переданы параметры и нет файла конфигурации. Создаст пустой ~/.config/tg_log.ini. Заполняем его:

filename=/var/log/auth.log
keyword=Accepted password,session opened
n=100
bot_id=5731668668:AAFxcwvp8XjvepZzDMIAN87l1D_MuiI1Ve9
chat_id=210856265
debug=true

В этом примере я указал две строки из файла auth.log, куда записывается вся информация об SSH сессиях. В данном случае в Telegram прилетят две строки:

2024-12-04T18:35:23.679324+03:00 debian12-vm sshd[4282]: Accepted password for root from 10.8.2.2 port 9669 ssh2
2024-12-04T18:35:23.680422+03:00 debian12-vm sshd[4282]: pam_unix(sshd:session): session opened for user root(uid=0) by (uid=0)

То есть полная информация о подключении - IP адрес и пользователь.

Запускаем скрипт:

# python3 tg_mon.py

Открываем новую SSH сессию и наблюдаем уведомление в телеге. В данном случае обе строки не нужны, сделал так для примера.

Всё очень просто и быстро. Код скрипта можете сами посмотреть, он небольшой. В репе лежит простенький шаблон для создания systemd службы, чтобы запускать скрипт в фоне.

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

#script #logs

Популярный open source продукт, который можно развернуть на своём оборудовании, Gitlab требует для своей работы приличное количество ресурсов. Для того, чтобы он в установке по умолчанию работал бодрячком лучше всего начать с 4 CPU и 8 GB оперативной памяти. Можно выделить 4 GB, но будет заметно тормозить, иногда 500-е ошибки выдавать.

Для того, чтобы иметь возможность использовать Gitlab для единоличного использования, либо очень небольшого коллектива, многие из стандартных компонентов и настроек программного комплекса можно безболезненно отключить. В документации есть отдельная статья на этот счёт:

⇨ Running GitLab in a memory-constrained environment (Запуск GitLab в среде с ограниченным объемом памяти)

Следуя этим рекомендация, можно заставить работать систему с использованием всего 2 GB оперативной памяти. Если вы запускаете его для себя на арендованном железе, то можно получить существенную экономию ресурсов.

Я взял виртуальную машину с 1 CPU и 2 GB памяти и попробовал на ней запустить Gitlab. Что для этого нужно сделать?

1️⃣ Подключаем 1 GB свопа.

# dd if=/dev/zero of=/swap bs=1024 count=1000000
# mkswap /swap
# chmod 0600 /swap
# swapon /swap

Добавляем в /etc/fstab:

/swap swap swap defaults 0 0

2️⃣ Меняем параметр swappiness:

# sysctl vm.swappiness=10

Добавляем в /etc/sysctl.conf:

vm.swappiness=10

3️⃣ Устанавливаем Gitlab.

# curl https://packages.gitlab.com/install/repositories/gitlab/gitlab-ce/script.deb.sh | bash
# EXTERNAL_URL="http://10.20.1.36" apt-get install gitlab-ce

4️⃣ Отключаем службу puma, которая помогает обрабатывает конкурентные запросы. Без большой нагрузки можно обойтись без неё. В /etc/gitlab/gitlab.rb добавляем:

puma['worker_processes'] = 0

5️⃣ Уменьшаем число фоновых процессов Sidekiq:

sidekiq['concurrency'] = 10

6️⃣ Оптимизируем Gitaly. Туда же в конфиг добавляем:

gitaly['configuration'] = {
  concurrency: [
   {
    'rpc' => "/gitaly.SmartHTTPService/PostReceivePack",
    'max_per_repo' => 3,
   }, {
    'rpc' => "/gitaly.SSHService/SSHUploadPack",
    'max_per_repo' => 3,
   },
  ],
}

gitaly['env'] = {
 'GITALY_COMMAND_SPAWN_MAX_PARALLEL' => '2'
}

❗️Обращаю ваше внимание, что я убрал из этого раздела настройки, касающиеся cgroups. В инструкции судя по всему какая-то ошибка. Если их оставить, то сокет gitaly не поднимается. А в интерфейсе при создании каких-либо сущностей, например, нового проекта, вылетает 502 ошибка. И это не зависит от выделенных ресурсов.

7️⃣ Отключаем мониторинг:

prometheus_monitoring['enable'] = false

8️⃣ Уменьшаем потребление памяти процессам GitLab:

gitlab_rails['env'] = {
 'MALLOC_CONF' => 'dirty_decay_ms:1000,muzzy_decay_ms:1000'
}

gitaly['env'] = {
 'MALLOC_CONF' => 'dirty_decay_ms:1000,muzzy_decay_ms:1000'
}

9️⃣ Перезапускаем Gitlab:

# gitlab-ctl reconfigure

🔟 Идём в веб интерфейс и отключаем в настройках мониторинга метрики Prometheus: Admin Area ⇨ Settings ⇨ Metrics and profiling ⇨ Metrics - Prometheus ⇨ отключаем Enable Prometheus Metrics.

После перезапуска Gitlab будет очень долго подниматься. Но в итоге заработает. Смотрим потребление памяти и проверяем, как всё работает:

# free -h

Более подробно всё это описано по ссылке в статье из начала заметки. Для комфортной работы лучше всё же добавить до 2CPU и 3GB памяти. Тогда всё это будет бодро работать с предложенными параметрами. Если этого не сделать, то иногда будете видеть 500-е ошибки.

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

#gitlab #devops #cicd

В пятничной подборке видео был ролик с open source системой для ведения заметок, которую можно развернуть на своём сервере. То есть это полностью бесплатная система пока без каких-то намёков на монетизацию. Речь идёт о Blinko. Я сначала прохладно к ней отнёсся, но зацепил внешний вид. Смотрится легковесно и аккуратно. Решил всё же попробовать.

Развернул у себя и немного поработал с ней. Функциональности пока немного. Проект ушёл в первый релиз только в конце октября этого года. Развивается очень активно. Судя по всему, это какая-то китайская компания ведёт разработку. Есть демо:

🌐 https://blinko-demo.vercel.app
👨‍💻 blinko / blinko

Из-за обилия китайского текста смотрится не очень, поэтому проще развернуть у себя чистую установку и попробовать. Там буквально 2 контейнера: веб интерфейс и субд postgresql.

# curl -s https://raw.githubusercontent.com/blinko-space/blinko/main/install.sh | bash

Дальше мои замечания по Blinko.

🔹Сервис полностью работает через браузер. Интерфейс адаптивный, отлично смотрится на смартфонах. Отдельно отмечу, что интерфейс очень лёгкий. Комфортно пользоваться, мгновенный отклик, быстро работает поиск. Красивое оформление. Мне понравилась больше светлая тема. Есть русский язык, но мне привычнее английский.

🔹У программы своя идея организации работы с заметками. На первом экране одноимённый с программой раздел Blinko. Это что-то вроде свалки идей. В течении дня вы быстро добавляете туда какие-то записи или файлы. Потом переходите в раздел Daily Review и поочереди просматриваете все добавленные и ещё не обработанные записи. Соответственно обрабатываете их и превращаете в Заметки (Notes). При желании можно сразу Notes создавать, минуя обработку и раздел Blinko.

🔹Данные могут храниться локально в директории на запущенном сервере или в S3. Можно загружать картинки и видео. Есть встроенный плеер для просмотра своих видео.

🔹Программа позволяет регистрироваться и работать разным пользователям. Совместной работы пока нет, но думаю, что появится. Это было бы логично. Не знаю, насколько безопасно выставлять окно с аутентификацией в публичный доступ. Я бы не стал это делать.

🔹Поддерживаются следующие типы заметок: список, нумерованный список, чек-лист, таблица, код, картинка, видео. Со смартфона можно сразу фотки прикреплять. Я попробовал, нормально работает.

🔹У Blinko удобный механизм для предоставления публичного доступа к заметкам, картинкам и видео. Просто жмёте на кнопку Copy share link и отправляете скопированную публичную ссылку. Человек сможет посмотреть видео через встроенный плеер, а не просто загрузить файл.

🔹Каталогизация заметок происходит на основе тэгов. При этом поддерживается вложенная иерархия. Выглядит почти так же, как и деление по проектам, папкам и блокнотам. Тэги появляются в левом меню, по ним можно быстро перемещаться.

🔹Поддерживается Markdown. Можно переносить записи с сохранением разметки. Импорта нет, перенос только вручную.

🔹Авторы делают акцент на интеграцию с ИИ. Поддерживаются провайдеры OpenAI и Ollama. С их помощью можно задавать человекоподобные запросы к своему хранилищу. Я не пробовал, как это работает, ничего сказать не могу.

В целом мне программа понравилась. Особенно будет актуально, если вам нужен сервис для нескольких человек. С такой функциональностью бесплатных self-hosted аналогов уже не так много. Подозреваю, что в скором будущем Blinko обзаведётся командной работой и облачной версией. И будет продаваться с сохранением open source в каком-то виде.

⇨ 🌐 Исходники

#заметки

Небольшие советы из практики по настройке Zabbix, которые уменьшат спам от триггеров. Если развернуть Zabbix, взять стандартные шаблоны, применить к хостам и всё это запустить в работу, то очень скоро на мониторинг никто не будет обращать внимание. Мониторинг всегда нуждается в калибровке. Она может быть очень простой на базе небольших изменений стандартных настроек, а может быть очень глубокой с полной заменой всех базовых шаблонов на свои. Я расскажу про первый вариант.

1️⃣ Я практически везде настраиваю отложенные уведомления. Это не очень красивый, но самый простой и быстрый вариант существенно уменьшить спам уведомлений. Не очень красивый он потому, что триггеры всё равно будут срабатывать, но уведомления будут приходить только о тех триггерах, что активны более 5-ти минут. Настраивается это в стандартном правиле уведомлений о триггерах. Там всё делается очень просто. Настройка описана в моей статье.

2️⃣ Триггеры в стандартных шаблонах могут вести себя в целом нормально, но на каких-то хостах вызывать спам. Например, у вас триггер на занятое место на диске в 80%. Если ночью делается дамп БД, потом он сжимается, копируется и удаляется на исходном хосте, вы каждую ночь будете получать уведомление о занятом месте. То есть в момент окончания создания дампа у вас занято 82%, дамп сжимается, пересылается и удаляется, и занято снова 70%, что в целом нормально. И 80% нормально для этой ситуации.

В этой ситуации вам нет смысла менять триггер в изначальном шаблоне. Можно его просто отключить на этом хосте, но не хочется. Конкретно в этом примере вопрос можно решить изменением макроса, если он используется в выражении триггера, но так бывает не всегда. Я в этом случае просто копирую в этом хосте данный триггер, настраиваю его так, как мне нужно, а тот, что наследуется из шаблона, отключаю. Получается не очень красиво, так как появляется непереносимая привязка на конкретном хосте, но если это нужно редко и не хочется готовить для таких хостов отдельные шаблоны, то пойдёт.

3️⃣ У меня часто бывает так, что какой-то триггер или несколько спамят, но прямо сейчас мне лень ими заниматься или нет возможности. Чтобы потом разом их все откалибровать, можно зайти в раздел Отчёты ⇨ Топ 100 триггеров, посмотреть там самые активные и вручную с ними поработать.

4️⃣ Очевидный совет, но добавлю, чтобы был готовый список действий. Я почти всегда отключаю те или иные правила обнаружения, которые мне не нужны, либо правлю их. На Windows хостах всегда в стандартном шаблоне отключаю правило автообнаружения служб, а на Linux - в правиле автообнаружения блочных устройств отключаю триггер на отклик диска при операциях чтения/записи. Я не скажу, что эти данные бесполезны, но на практике они дают очень много срабатываний, которые лично для меня практической пользы не несут.

Альтернатива всем этим действиям - создание собственных шаблонов, где во-первых, стоит использовать только те айтемы, что вам реально нужны. Во-вторых, стоит особое внимание обратить на зависимость триггеров. Их грамотная настройка очень сильно снижает количество бесполезных событий мониторинга. Это в разы увеличивает затраты на начальное внедрение, но компенсируется в процессе эксплуатации. Особенно на больших инфраструктурах, где не вы один следите за мониторингом.

#zabbix

Решил дома обновить свой старенький Mikrotik RB951G-2HnD на более производительную и современную модель hAP ax³. Купил его на Озоне почти по номиналу согласно текущему курсу. Он стоит $139.00, я взял за 17000₽. Вроде и дороговато для роутера, так как нужды в нём большой не было. У меня несколько RB951G работают уже более 10 лет и полностью устраивают.

Решил взять hAP ax³ по нескольким причинам:

1️⃣ Надо уже потихоньку переходить на ROS7 и знакомиться с ней. Я старые устройства для избежания лишних проблем обновлять на 7-ю версию не планирую, пока будет поддерживаться 6-я.

2️⃣ Может показаться странным, но мне очень хотелось иметь возможность отключать мигание светодиодов на роутере. На старых моделях заклеивал их картонкой и скотчем. Напрягает ночью в жилых помещениях это мигание. У меня из коридора мигание было видно в спальне через матовое стекло на двери.

3️⃣ Взял именно hAP ax³, так как этот роутер наиболее мощный за эти деньги: 4 ARM ядра, 1G оперативной памяти, USB порт для внешнего хранилища. Хочу на нём пару контейнеров запустить с pi-hole и каким-нибудь reverse proxy.

4️⃣ Если будут какие-то проблемы с обходом блокировок и замедлений, опять же, контейнеры дадут более широкое поле для манёвров.

А в целом по настройкам там всё то же самое, что и на старых моделях. Кое-что изменилось, но не кардинально. Хотя WiFi без помощи интернета настроить не смог 😄

Сейчас Микротики продаются с преднастроенной конфигурацией, где уже заданы пароли от учётной записи и WiFi. Причём припечатаны они прям жёстко на специальной табличке на самом роутере. С учётом того, что я первым делом сразу же удаляю конфигурацию по умолчанию, для меня это бесполезная возможность. Подумал, что после сброса, пароль админа наверное будет, как на этой табличке, но нет. По умолчанию после сброса учётка как и раньше - admin без пароля.

Роутер понравился. Внешне он довольно крупный, не ожидал. Думал, он по размеру что-то вроде RB951G, только с антеннами. Но на деле он почти в 2 раза больше. У него удобное крепление к стене через специальную площадку. Прошлые модели были без площадки, крепились напрямую через заднюю стенку. Ну и выглядит он стильно.

По долговечности Mikrotik могу сравнить только с Keenetic. Те тоже, все, что покупал, до сих пор работают уже 10+ лет. Все другие домашние роутеры типа D-Link или TP-Link выходили из строя раньше. Но они и стоили заметно меньше.

#mikrotik

Существует очень простой и функциональный мониторинг в режиме реального времени - Netdata. Я уже писал о нём ранее. Кратко поясню, как он работает. Netdata состоит из трёх основных компонентов:

1️⃣ Netdata Agents, которые устанавливаются на конечные сервера. Это полностью open source продукты, которые можно скачать из репозитория на github. Они есть под все популярные системы. Установленный на хост он представляет из себя саму службу, базу данных и веб интерфейс. То есть полностью самостоятельный продукт для одиночного сервера. Можно заходить в веб интерфейс по IP адресу сервера и смотреть все метрики.
2️⃣ Netdata Cloud - публичный облачный сервис, к которому можно подключать свои хосты и хранить там метрики. Это закрытый платный продукт с бесплатным тарифным планом на 5 хостов.
3️⃣ Netdata UI - веб интерфейс, в котором можно управлять и смотреть за хостами, которые подключены к облаку. Open source версии общего для всех хостов интерфейса нет. Это полностью закрытый платный продукт, неотъемлемая часть облака.

Таким образом, для одиночных серверов это очень удобный мониторинг. Ставится в пару действий, имеет много модулей и расширений для мониторинга за различными службами: nginx, docker, postgresql и т.д. Там в маркетплейсе почти 1000 интеграций для всех известных служб. Есть и для Proxmox. Можно прям на хост поставить и мониторить его.

В Linux ставится так:

# wget -O /tmp/netdata-kickstart.sh https://get.netdata.cloud/kickstart.sh
# sh /tmp/netdata-kickstart.sh --no-updates --stable-channel --disable-telemetry

Он подключает свои репозитории, оттуда ставит софт и все необходимые зависимости. После установки можно идти на http://IP:19999, пропускать аутентификацию в облаке и смотреть всё локально.

Написать эту заметку меня побудило то, что недавно у него вышел нативный агент под Windows. До этого он метрики с винды собирал через Prometheus exporter. И вот появился свой бесплатный агент. Я его развернул, запустил и был очень разочарован. Пишут заметку, чтобы вы не тратили время.

При входе в веб интерфейс агента под Windows он прямым текстом пишет, что локальных дашбордов нет, а работает он только в связке с облаком, где можно его добавить так же, как и остальные агенты. Я сначала подумал, что возможно изменилась политика партии и все агенты работают только с облаком. Но нет. На Linux можно так же, как и раньше пользоваться полностью бесплатно локальной версией. Так что если интересно, можете попробовать. Мониторинг выглядит прикольно.

Возможно локальные дашборды под Windows ещё не допилили, так как агент был анонсирован недавно. Ещё даже описание на github не успели поправить. Там он всё ещё в статусе coming soon. А может так всегда и будет. В таком виде от него толку в бесплатном использовании 0.

Для объединения нескольких бесплатных агентов в единый интерфейс есть некоторый официальный костыль. Любой агент может принимать метрики с других агентов. Для этого в том агенте, кто отправляет, настраивается так называемый parent, куда будут отправлять метрики. Этот parent может их собирать с разных агентов и отображать в своём веб интерфейсе, где можно будет выбирать каждую ноду в отдельности. Управлять такой структурой не очень удобно, но для 5-10 хостов нормальный вариант.

В целом, это интересный и функциональный мониторинг, который выводит метрики в веб интерфейс почти в режиме реального времени. То есть он больше для ситуативного наблюдения, а не исторического. При этом очень прост и быстр в настройке. Ресурсов кушает прилично, не для слабых машин. На одноплатники ставить не надо.

⇨ 🌐 Сайт / Исходники

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

#мониторинг #netdata

🔝 ТОП постов за прошедший месяц. Все самые популярные публикации по месяцам можно почитать со соответствующему хэштэгу #топ. Отдельно можно посмотреть ТОП за прошлый год.

Пользуясь случаем, хочу попросить проголосовать за мой канал, так как это открывает некоторые дополнительные возможности по настройке: https://t.me/boost/srv_admin.

📌 Больше всего пересылок:
◽️Следы на сервере после подключения по SSH (590)
◽️Техсобес на позицию Junior DevOps Engineer (572)
◽️Просмотр логов в браузере через logdy (445)

📌 Больше всего комментариев:
◽️Скрипт с датами и пример работы с ChatGPT (185)
◽️Проблемы со спиной от сидячей работы (178)
◽️История с шифровальщиком от подписчика (115)

📌 Больше всего реакций:
◽️Следы на сервере после подключения по SSH (756)
◽️Каталог IT блогов (226)
◽️Копирование файла из Docker образа (201)

📌 Больше всего просмотров:
◽️Лекции по SRE на Youtube (10774)
◽️Шутки про сисадминов от ChatGPT (10380)
◽️Утилита с GUI XCA для локального CA (10307)

Недавно я сделал предложение для авторов IT блогов объединиться в небольшое сообщество. Предложил периодически делать анонсы новых материалов с сайтов. Собралось некоторое количество авторов. Пока материала на подборку не накопилось, просто опубликую список сайтов. Он ценен прежде всего тем, что за ними стоят реальные люди, специалисты в своей области знаний. Это не рерайт, не текст нейросетей. Сейчас текст реальных людей начинает представлять ценность сам по себе.

▪️https://r4ven.me/
▪️https://wiki-it.ru/
▪️https://www.gurin.ru/
▪️https://sysadminhub.ru/
▪️https://it-skills.online/
▪️https://devopslife.ru/
▪️https://bite-byte.ru/
▪️https://sysadminium.ru/
▪️https://desoft.ru/
▪️https://www.pc360.ru/
▪️https://bafista.ru/
▪️https://it-experience.ru/
▪️https://blogadminday.ru/

#топ

🎓 Если у вас есть желание развиваться в сторону машинного обучения, то могу предложить 2 хороших бесплатных курса (точнее только лекции от них):

▶️ Введение в машинное обучение
▶️ Прикладное машинное обучение

Это очень качественные в плане подаваемой информации материалы на основе лекций ФПМИ (Физтех-школа прикладной математики и информатики на базе МФТИ). Это один из лучших технических вузов нашей страны. Возможно, лучший.

Отмечу, что из системного администрирования очень выгодно развиваться в сторону ML (Machine Learning). Обычно таким специалистам необходимо не только понимать принцип работы моделей, обучать их и подбирать под разные задачи, но и банально обслуживать всю инфраструктуру вокруг них. А это те же контейнеры, различные скрипты и базы данных. Нужно настроить систему, а сейчас это Linux, подобрать под неё железо, зачастую специфическое. Всё это настроить, запустить в контейнерах разные модели, проверить их, замерить производительность, выгрузить результаты и т.д.

Без базы в виде системного администрирования это будет сложно. А это самое администрирование изучить ничуть не легче, чем непосредственно нейросети. Так что в этом плане администраторы, девопсы и некоторые программисты имеют хорошие стартовые данные для работы с нейросетями.

Так что у вас есть база по системному администрированию, но поднадоела эта работе и ищите себя, посмотрите в сторону ML. Мне кажется, это интересное и перспективное направление, особенно если вы ещё молоды и любознательны. Попробуйте себя.

#обучение #ml

▶️ Очередная подборка авторских IT роликов, которые я лично посмотрел и посчитал интересными/полезными. Как обычно, ниже те видео из моих подписок за последнее время (обычно беру период в 2 недели), что мне показались интересными и полезными.

⇨ Proxmox helper scripts. Важные изменения в скриптах помощниках проксмокс
Печальные новости об известном продукте Proxmox Helper-Scripts. Уже слышал об этом ранее. К сожалению, автор умер от рака. Неизвестно, будет ли кто-то теперь развивать и обновлять проект.

⇨ MikroTik настройка GeoIP
Автор показал свой вариант настройки фильтрации трафика на файрволе по странам. Сделал отдельную страничку для быстрой настройки. В видео он рассказал, какие тут есть проблемы и почему готовые решения из интернета ему не подошли.

⇨ АРМИЯ Telegram БОТОВ с ИИ на Python
Думаю, все замечают комментарии ботов к публикациям. Они обычно самые первые. Автор показал, как просто можно это всё реализовать, даже толком не умея программировать. Всё, что надо, запрограммирует ChatGPT.

⇨ ClamAV + Wazuh, powerful Anti-Virus protection for Linux
Подробный материал на тему связки антивируса для Linux ClamAV с платформой Wazuh - полноценная бесплатная open source SIEM-система.

⇨ Установка Nextcloud в Docker Traefik Cron Memories HW Transcoding
Настройка связки Nextcloud с локальной галереей для хранения своих фоток и видео Memories. Плюс, там идёт речь ещё о некоторых дополнительных программах, которые дополняют эту связку. Эта связка будет распознавать лица, обнаруживать объекты и т.д. То есть это попытка сделать условный аналог google photos, только у себя дома и бесплатно.

⇨ Never Lose Another Thought: Self-Host Blinko with Docker
Обзор очередного open source проекта Blinko для ведения заметок. Их сейчас очень много, так что лично я уже ничего не выбираю. Интересно будет только тем, кто сейчас занимается подбором какого-то решения себе. Из особенностей, тут идёт некий ИИ из коробки, который будет помогать искать заметки на основе ваших вопросов, а не привычного поиска по фразам. Выглядит в целом ничего. Можно сразу в раздел Demonstration перейти и посмотреть.

⇨ Monitoring Retail Stores With ZABBIX
Dmitry Lambert, сотрудник Zabbix, рассказал необычное применение мониторинга, которое сам от кого-то услышал. С помощью Zabbix можно следить за количеством посетителей в магазине, показывать графики и делать триггеры, если есть большие отклонения от средних значений. Технически это можно сделать с помощью системы видеонаблюдения, если она умеет считать проходящих людей. Другой вариант - простые ИК датчики и какой-то одноплатник, на котором накостылен скрипт для отправки данных.

⇨ Best Windows Monitoring: Netdata 2.0 Native Windows Agent
Обзор известного мониторинга Netdata, где в версии 2.0 появился агент для Windows. Я, кстати, раньше об этом не слышал и данный агент не видел. Для одиночных хостов агенты бесплатны. Попробую сам и сделаю отдельную заметку об этом агенте.

⇨ Dozzle мониторинг логов для нормальных людей
Обзор небольшой программы для просмотра логов докера Dozzle.

#видео

В сентябре делал подборку бесплатных программ для инвентаризации и учета оборудования и программного обеспечения. В комментариях читатель посоветовал программу Open-AudIT, про которую я ранее не слышал. Решил развернуть её у себя и посмотреть, чтобы дополнить список.

Программа в целом понравилась. Сразу назову основные особенности:

🔹Написана на PHP, использует MySQL. Работает на стандартном стеке веб сервера. Есть единый установщик под Linux и под Windows. Устанавливается полностью автоматически.
🔹Принцип работы очень простой. Сразу после установки указываете учётные данные для подключения к Linux и Windows хостам. Система сама сканирует выбранный диапазон сети, находит хосты, подключается к ним и собирает информацию.
🔹Сбор информации происходит через запуск bash или vbs скриптов, сетевые устройства опрашивает по snmp. Скрипты можно самому запускать любым доступным способом. Например, через GPO для Windows.
🔹У системы есть несколько лицензий. Community - бесплатная, самая простая, есть существенные ограничения по функциональности, но не по хостам. Работает сразу, ничего получать не надо. Есть лицензия Free, которая сразу даётся на год на 100 хостов. Тоже без каких-то особых телодвижений. Надо только свою почту указать, лицензия автоматом применяется.

Open-AudIT максимально проста в установке и настройке базовой функциональности. Я разобрался сходу, в документацию даже не заглядывал. Сделал следующее:

1️⃣ Скачал установщик под Linux.
2️⃣ Сделал его исполняемым и запустил. Автоматом установились необходимые пакеты для Debian - apache2, mysql, php и т.д. Все конфиги с исходниками тоже. Ничего самому настраивать не пришлось. Под винду установщик такой же.
3️⃣ Зашёл в веб интерфейс. Учётка - admin / password. Сразу предложили указать учётки хостов и диапазон IP для сканирования.
4️⃣ Запустил правило обнаружения. Процесс нашёл доступные хосты, зашёл на них и забрал информацию о ПО, железе, службах и т.д.
5️⃣ Открыл список хостов и посмотрел собранную информацию.

В целом продукт неплохой. Для тех, кому не хочется заморачиваться и настраивать какие-то расширенные возможности, бесплатной версии будет достаточно. Чуть позже я повнимательнее посмотрел на возможности после активации временной лицензии, почитал документацию. Программа навороченная. Там очень много возможностей, но всё это в платной версии.

Понравился набор информации, которую собирает программа даже в бесплатной версии. Там чего только нет:

◽️Всё железо
◽️Информация об ОС
◽️Службы и приложения
◽️Системные логи
◽️Сетевые настройки, открытые порты, IP адреса, маршруты
◽️Пользователи и группы
◽️Даже список сертификатов из /etc/ssl/certs есть.
◽️На Proxmox собрал в том числе информацию о виртуалках. Сама поняла, что это гипервизор.

Программа явно старая. Внешний вид выдаёт. Так делали интерфейс лет 15 назад. Его освежили, как смогли, но всё равно заметно. Тем не менее, это не брошенный проект. Постоянно дорабатывается, выходят новые версии. Последний релиз был 2024-11-04. Ещё сразу привлекло внимание, что проект упаковали в run файл, а не Docker контейнер. Это выглядит непривычно.

⇨ 🌐 Сайт / ▶️ Установка и обзор

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

#управление #ITSM

В комментариях один подписчик поделился open source проектом в виде сервера для управления и использования скриптов - script-server. Штука вроде интересная. Я развернул и начал тестировать. Но всё как-то неинтуитивно и неудобно. В процессе я понял, что уже видел на эту тему готовые продукты, но более функциональные и проработанные. В итоге бросил script-server, вспомнил аналог, которым я когда-то давно пользовался - Rundeck. Решил написать про него.

Кратко скажу, что такое Rundeck. Это веб интерфейс для управления своими костылями в виде различных скриптов. Их можно запускать как вручную, так и по расписанию, заменяя локальные cron на отдельных узлах. Вы добавляете в систему свои сервера, пишите скрипты и связываете эти скрипты с серверами. Это альтернатива крупным CI/CD системам для тех, кому они не нужны, но хочется как-то упорядочить управление своими костылями в небольшой инфраструктуре.

📌 Основные возможности Rundeck:

🔹Запуск составных заданий, которые могут состоять из локальных команд и скриптов, скриптов из централизованного хранилища, HTTP запросов, Ansible плейбуков, задач на копирование файлов.
🔹Задания могут запускаться вручную через веб интерфейс или по расписанию.
🔹Выполнение заданий логируется, после выполнения могут отправляться уведомления.
🔹Функциональность системы расширяется плагинами и интеграциями. Например, можно запускать задачи Rundeck после билдов в Jenkins, или добавлять результат работы команды в комментарии в задачам в Jira. Список плагинов большой.
🔹Различные планы исполнения массовых заданий: последовательные, параллельные сразу на всех хостах, остановка или продолжение исполнения в случае неудач и т.д.
🔹Управление правами доступа в проектах на основе групп и ролей.
🔹На Linux сервера ходит по SSH, на виндовые через WinRM.

Продукт уже зрелый и развитый. Настолько развитый, что загрузку Community версии спрятали за форму регистрации. Я знаю, что есть Docker версия, поэтому просто сходил в hub, посмотрел номер свежего релиза и запустил его:

# docker run --name rundeck -e RUNDECK_GRAILS_URL=http://10.20.1.36:4440 -p 4440:4440 -v data:/home/rundeck/server/data rundeck/rundeck:5.7.0

Можно идти по IP адресу на порт 4440, учётка по умолчанию - admin / admin. Интерфейс и логика работы интуитивно понятны. Создаём job с различными параметрами, добавляем хосты (делается в настройках проекта), настраиваем запуск заданий на хостах. Есть несколько механизмов по автоматическому добавлению хостов. Rundesk их может брать из:

◽️Ansible inventory
◽️Директории, где лежат подготовленные файлы с описанием хостов
◽️Единого конфига, где описаны все хосты

Соответственно, хосты он подгружает из заранее подготовленного места. Пример файла с описанием нод есть в документации. Там всё просто. Надо заполнить основные поля - имя, адрес, архитектура, система, тэги и т.д. То ли я затупил, то ли такую возможность убрали из бесплатной версии. Не понял, как одну ноду вручную добавить в веб интерфейс. Каждый раз редактировать файл неудобно.

В качестве примеров можете посмотреть готовые задания из репозитория. Они в формате yml. Можете скачать и импортировать к себе.

Я пару часов поразбирался с этой системой, в целом, всё получилось, но есть нюансы. Последовательность действий такая:

1️⃣ Добавляем проект.
2️⃣ В свойствах проекта в разделе Default Node Executor указываем SSH Authentication privateKey.
3️⃣ Идём в Key Storage, добавляем ключ. Сохраняем его Storage path.
4️⃣ Готовим файл с нодами resources.yml. Описываем там ноды, в параметре ssh-key-storage-path указываем Storage path из предыдущего пункта.
5️⃣ Копируем этот файл в контейнер:
# docker cp ~/resources.yml rundeck:/home/rundeck/resources.yml
6️⃣ В разделе Edit Nodes добавляем Node Source в виде File. Путь указываем /home/rundeck/resources.yml. Сохраняем настройку.

Всё, теперь можно создавать задания и выполнять их на нодах.

⇨ 🌐 Сайт / Исходники

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

#script #devops