NetworkAdmin.ru

🔎 TCP keepalive: как находить мертвые соединения до того, как они создадут проблему

Иногда TCP-соединение выглядит живым, хотя в реальности удаленная сторона уже давно недоступна.

Например:

клиент выключился;
оборвался VPN;
пропал маршрут;
firewall удалил state;
NAT-сессия протухла;
сервер завис без корректного закрытия соединения.

Если по соединению нет трафика, приложение может еще долго считать его активным.

Для таких случаев в TCP есть механизм keepalive.

▪️ Проверить текущие настройки linux:

sysctl net.ipv4.tcp_keepalive_time
sysctl net.ipv4.tcp_keepalive_intvl
sysctl net.ipv4.tcp_keepalive_probes

Типичная логика такая:

tcp_keepalive_time - сколько ждать простоя до первой проверки
tcp_keepalive_intvl - интервал между проверками
tcp_keepalive_probes - сколько неудачных попыток сделать

Например:

sysctl -w net.ipv4.tcp_keepalive_time=300
sysctl -w net.ipv4.tcp_keepalive_intvl=30
sysctl -w net.ipv4.tcp_keepalive_probes=5

В этом случае после 5 минут простоя ядро начнет проверять соединение, а при отсутствии ответа будет делать повторные попытки.

▪️ Для постоянной настройки:

cat > /etc/sysctl.d/99-tcp-keepalive.conf <<'EOF'
net.ipv4.tcp_keepalive_time=300
net.ipv4.tcp_keepalive_intvl=30
net.ipv4.tcp_keepalive_probes=5
EOF

sysctl --system

▪️ Посмотреть активные TCP-соединения:

ss -nto

▪️ Подробнее по конкретному соединению:

ss -ti

Но есть важный нюанс: системные значения работают только для сокетов, где приложение вообще включило SO_KEEPALIVE. То есть одной настройки sysctl иногда недостаточно. Например, nginx, PostgreSQL, HAProxy, SSH и различные runtime могут иметь собственные keepalive-параметры.

▪️ У SSH есть похожий механизм на уровне приложения:

ServerAliveInterval 30
ServerAliveCountMax 3

Это уже не TCP keepalive, но задача похожая - быстрее понять, что удаленная сторона больше не отвечает.

#tcp #keepalive

🧑‍💻 NetworkAdmin

🤩 Как расшифровать код ошибки Windows через certutil

При установке обновлений Windows рано или поздно встречаются ошибки вида:

0x80070422

По одному шестнадцатеричному коду не всегда понятно, что именно произошло. Но в Windows есть встроенная утилита, которая умеет переводить многие системные коды ошибок в нормальное текстовое описание - certutil.exe. Например:

certutil -error 0x80070422

В ответ получим примерно следующее:

ERROR_SERVICE_DISABLED
The service cannot be started, either because it is disabled or because it has no enabled devices associated with it.

То есть вместо непонятного:

0x80070422

мы сразу получаем подсказку: служба отключена и не может быть запущена.

Дальше уже можно искать проблему предметно. Например, проверить службы Windows Update:

Get-Service wuauserv,bits,cryptsvc

И посмотреть их состояние:

Get-Service wuauserv | Select-Object Name,Status,StartType

certutil -error полезен не только для Windows Update. Команда помогает расшифровывать различные HRESULT, Win32 и системные коды ошибок, которые встречаются в:

Event Viewer
PowerShell
установщиках
службах Windows
DISM
сетевых компонентах
сертификатах и криптографии

Например:

certutil -error 0x80070005

вернет:

E_ACCESSDENIED
Access is denied.

А это уже намного полезнее для диагностики, чем просто код.

#windows #troubleshooting

🧑‍💻 NetworkAdmin

💻 Как жестко перезагрузить linux, когда обычный reboot уже не помогает

Иногда сервер зависает настолько неприятно, что обычные команды:

reboot
shutdown -r now
systemctl reboot

либо не отрабатывают, либо висят вместе со всей системой. В таких случаях у Linux есть более низкоуровневый механизм - Magic SysRq.

▪️ Одна из самых известных команд:

echo b > /proc/sysrq-trigger

Она отправляет команду на перезагрузку напрямую ядру. По эффекту это примерно как нажать аппаратный Reset.

⚠️ Важно понимать: это нештатная перезагрузка.

▪️ Команда:

• не завершает процессы корректно;
• не размонтирует файловые системы;
• не делает sync;
• не ждет systemd;
• практически сразу перезапускает машину.

Именно поэтому она может помочь там, где обычный reboot уже не работает.

Если shell уже открыт, запись в /proc/sysrq-trigger может сработать даже в довольно поврежденной системе.

▪️ Проверить состояние SysRq:

cat /proc/sys/kernel/sysrq

0 - SysRq отключен
1 - разрешены все функции
>1 - разрешена только часть функций по битовой маске

▪️ Полный список доступных команд можно запросить так:

echo h > /proc/sysrq-trigger

Подсказка обычно попадет в kernel log:

journalctl -k

или:

dmesg

▪️ Кроме b, есть и другие полезные команды. Например:

echo s > /proc/sysrq-trigger

пытается синхронизировать файловые системы.

echo u > /proc/sysrq-trigger

пытается перемонтировать файловые системы в read-only.

И только потом:

echo b > /proc/sysrq-trigger

Есть даже известная последовательность: REISUB, где поэтапно пытаются вернуть управление клавиатурой, завершить процессы, синхронизировать диски, перемонтировать FS в read-only и только затем перезагрузиться.

#linux #reboot

🧑‍💻 NetworkAdmin

🌚 watch: простая динамическая диагностика в терминале

Иногда не нужен отдельный мониторинг, графики и дашборд. Нужно просто увидеть, как меняется состояние системы прямо сейчас. Для этого в линукс есть простая команда watch. Она периодически запускает другую команду и обновляет вывод в терминале.

Например, смотреть свободное место:

watch df -h

По умолчанию команда выполняется каждые 2 секунды.

▪️ Изменить интервал:

watch -n 1 df -h

Теперь обновление идет раз в секунду.

▪️ Полезный режим - подсветка изменений:

watch -d free -h

watch выделит строки и значения, которые изменились между обновлениями.

▪️ Где это удобно:

cмотреть рост файловой системы

watch -n 1 'du -sh /var/log'

следить за памятью

watch -n 1 free -h

наблюдать TCP-соединения

watch -n 1 'ss -s'

проверять очередь systemd-задач

watch -n 1 'systemctl --failed'

следить за конкретным процессом

watch -n 1 'ps -p 1234 -o pid,%cpu,%mem,etime,cmd'

смотреть состояние RAID

watch -n 1 cat /proc/mdstat

наблюдать число файлов в каталоге

watch -n 1 'find /data/incoming -type f | wc -l'

▪️ Иногда удобно скрыть заголовок watch:

watch -t 'ss -s'

▪️ А если команда использует pipe, redirect или несколько операций, лучше брать ее в кавычки:

watch -n 1 'ps aux | sort -rk 3 | head'

#linux #watch

🧑‍💻 NetworkAdmin

👌 Firewall default deny: как внедрять без внезапного отрезания доступа

Идея простая: разрешаем только то, что действительно нужно, все остальное блокируем. На бумаге это выглядит идеально. На практике одна неправильная команда - и SSH-сессия заканчивается вместе с доступом к серверу.

Поэтому default deny лучше внедрять не одной командой, а поэтапно.

▪️ Для nftables базовая политика может выглядеть так:

table inet filter {
    chain input {
        type filter hook input priority 0;
        policy drop;

        iif lo accept
        ct state established,related accept

        tcp dport 22 ip saddr 10.20.0.0/16 accept
        tcp dport { 80, 443 } accept
    }
}

Критически важные строки:

iif lo accept
ct state established,related accept

Первая не ломает localhost-взаимодействия сервисов.
Вторая разрешает пакеты уже установленных соединений.

▪️ Перед включением policy drop сначала выпишите все, что сервер реально принимает:

ss -lntup

Проверьте текущие соединения:

ss -nt

И не забудьте про инфраструктурный трафик:

SSH / RDP
мониторинг
бэкап
DNS
NTP
балансировщики
кластеры

▪️ Хороший порядок внедрения:

1. Создать явные allow-правила.
2. Проверить доступ из отдельной сессии.
3. Сохранить текущую SSH-сессию открытой.
4. Иметь доступ через console/IPMI/iDRAC/VM console.
5. Только после этого включать drop.

▪️ Перед применением конфигурации:

nft -c -f /etc/nftables.conf

Ключ -c проверит синтаксис, не применяя правила.

▪️ Еще полезнее - заранее сделать автооткат. Например:

echo "nft flush ruleset" | at now + 5 minutes

Применили firewall, проверили доступ - отменили задание:

atq
atrm <job_id>

Если сами себя отрезали, через несколько минут правила сбросятся.

#firewall #nftables

🧑‍💻 NetworkAdmin

🖥 Windows зависла на "Подготовке Windows": как проверить состояние удаленно

Типичная ситуация: после установки обновлений, компонентов или серверных ролей отправляем Windows в перезагрузку и видим сообщение:

Выполняется подготовка Windows.
Не выключайте компьютер.

В большинстве случаев лучше действительно подождать. Установка обновлений может занимать от нескольких минут до нескольких часов, особенно на медленном диске или при большом накопительном обновлении. Но если экран не меняется очень долго, хочется сначала разобраться, что происходит, а не сразу выключать сервер по питанию.

Локально войти в систему на этом этапе нельзя, однако иногда удаленные службы уже доступны. Подключиться к консоли можно через PsExec:

PsExec.exe \\192.168.158.10 -u localadmin powershell.exe

Если нужно запустить процесс в интерактивной сессии:

PsExec.exe \\192.168.158.10 -i 1 -u localadmin powershell.exe

В открывшейся консоли первым делом стоит проверить свободное место:

Get-Volume

Посмотреть процессы с высокой нагрузкой:

Get-Process |
Sort-Object CPU -Descending |
Select-Object -First 15 Name, Id, CPU

И найти службы, зависшие в переходном состоянии:

Get-CimInstance Win32_Service |
Where-Object State -eq "Stop Pending" |
Select-Object Name, DisplayName, ProcessId, State

Часто во время обновлений в списке встречается служба установщика модулей Windows:

TrustedInstaller

Перед завершением процесса желательно проверить журналы и убедиться, что установка действительно не продвигается:

Get-Content C:\Windows\Logs\CBS\CBS.log -Tail 50

Принудительное завершение процесса - крайняя мера:

taskkill /PID <ProcessId> /F

После этого система может продолжить выключение или выполнить откат незавершенных изменений.

Когда Windows загрузится, стоит проверить хранилище компонентов и системные файлы:

DISM /Online /Cleanup-Image /RestoreHealth
sfc /scannow

Дополнительно проверьте результат установки обновлений:

Get-WinEvent -FilterHashtable @{
    LogName = "System"
    StartTime = (Get-Date).AddHours(-6)
} |
Where-Object Message -match "update|servicing|TrustedInstaller" |
Select-Object TimeCreated, Id, LevelDisplayName, Message

#windows #psexec

🧑‍💻 NetworkAdmin

🌲 Как посмотреть дерево процессов в Linux: htop, ps и pstree

Когда нужно понять, какой процесс кого запустил, обычного списка ps часто недостаточно. Намного удобнее посмотреть процессы в виде дерева: родительский процесс -> дочерние процессы -> подпроцессы. Есть несколько простых способов.

1️⃣ Дерево процессов в htop. Если htop уже установлен, нажмите: t. Это переключит список в режим Tree View. Так удобно быстро посмотреть структуру процессов прямо в интерактивном интерфейсе: например, какие worker-процессы запустил nginx, systemd или приложение.

Но если процессов много и вывод нужно спокойно изучить, интерактивный интерфейс бывает не самым удобным.

2️⃣ Команда ps axf Консольный вариант:

ps axf

Ключ f показывает процессы в виде ASCII-дерева. Если вывод большой, его можно сохранить в файл:

ps axf > ~/process-tree.txt

После этого список удобно открыть в редакторе, искать по нему и прикладывать к разбору инцидента.

Более информативный вариант:

ps -eo user,pid,ppid,stat,lstart,cmd --forest

Здесь дополнительно видны пользователь, PID, PPID, статус, время запуска и полная команда.

3️⃣ Утилита pstree. pstree входит в пакет psmisc, который часто уже установлен в системе.

Установка:

apt install psmisc

Базовый запуск:

pstree

Показать PID:

pstree -p

Показать аргументы команд:

pstree -a

Вывести дерево для конкретного процесса:

pstree -p 1234

Или для пользователя:

pstree -p username

Полезные параметры:

-p - показывает PID
-a - показывает аргументы командной строки
-n - сортирует процессы по PID
-u - показывает смену пользователя
-s - показывает родителей указанного процесса
-c - не объединяет одинаковые ветки

Например:

pstree -p -a -u

#linux #terminal #processes

🧑‍💻 NetworkAdmin

😐

#юмор

🧑‍💻 NetworkAdmin

💚 Bonding в Linux: active-backup, LACP и типовые ошибки настройки

Bonding объединяет несколько сетевых интерфейсов в один логический bond0. Обычно его используют для:

• резервирования сетевого подключения
• распределения нагрузки
• защиты от отказа кабеля, порта или сетевой карты
• увеличения суммарной пропускной способности

Два самых популярных режима - active-backup и 802.3ad.

▪️ Active-backup. В каждый момент работает только один интерфейс. Второй находится в резерве и включается при отказе основного.

[NetDev]
Name=bond0
Kind=bond

[Bond]
Mode=active-backup
MIIMonitorSec=100ms
Primary=eno1

Главный плюс - простота. Специальная настройка коммутатора обычно не требуется. Подходит, когда нужна прежде всего отказоустойчивость.

▪️ LACP - 802.3ad. Оба интерфейса могут передавать трафик одновременно:

[Bond]
Mode=802.3ad
MIIMonitorSec=100ms
LACPTransmitRate=fast
TransmitHashPolicy=layer3+4

Но на коммутаторе порты должны быть объединены в один LAG с поддержкой LACP.

Важно понимать: одно TCP-соединение обычно не получит скорость двух интерфейсов. Трафик распределяется по хешу между разными потоками.

Проверить состояние bonding:

cat /proc/net/bonding/bond0

Там видно:

текущий активный интерфейс
состояние каждого slave
скорость и duplex
количество переключений
состояние LACP

Дополнительно:

ip -br link
ip -s link show bond0
ethtool eno1

▪️ Типовые ошибки

• включили 802.3ad, но не настроили LAG на коммутаторе
• порты подключены к разным независимым коммутаторам без MLAG/stack
• IP назначен одновременно на bond0 и физические интерфейсы
• интерфейсы имеют разную скорость или MTU
• забыли удалить старые маршруты и конфигурации slave-интерфейсов
• считают, что LACP удвоит скорость одного соединения
• проверяют только link up, хотя трафик через порт не проходит

#linux #bonding #network

🧑‍💻 NetworkAdmin

👁 Linux audit rules: минимальный набор для контроля критичных файлов

Обычные логи не всегда отвечают на главный вопрос: кто изменил конфигурацию и какой процесс это сделал? Для таких задач в Linux есть auditd. Он фиксирует обращения к файлам на уровне ядра и сохраняет пользователя, процесс, команду и время события.

▪️ Установка:

apt install auditd audispd-plugins
systemctl enable --now auditd

Правила лучше хранить в отдельном файле:

nano /etc/audit/rules.d/critical-files.rules

▪️ Минимальный набор:

-w /etc/passwd -p wa -k identity
-w /etc/group -p wa -k identity
-w /etc/shadow -p wa -k identity
-w /etc/gshadow -p wa -k identity

-w /etc/sudoers -p wa -k sudoers
-w /etc/sudoers.d/ -p wa -k sudoers

-w /etc/ssh/sshd_config -p wa -k ssh_config
-w /root/.ssh/ -p wa -k ssh_keys

-w /etc/systemd/system/ -p wa -k systemd_units
-w /etc/cron.d/ -p wa -k cron_changes
-w /etc/crontab -p wa -k cron_changes

-w /etc/audit/ -p wa -k audit_config

-w - файл или каталог для наблюдения
-p w - запись в файл
-p a - изменение атрибутов и прав
-k - удобная метка для поиска

▪️ Загружаем правила:

augenrules --load

▪️ Проверяем:

auditctl -l

▪️ Примеры использования:

Ищем изменения, например, SSH-конфига:

ausearch -k ssh_config -i

Посмотреть события за сегодня:

ausearch -k sudoers -ts today -i

Краткий отчет по измененным файлам:

aureport -f -i

▪️ В событии можно увидеть:

какой файл изменили
UID и реального пользователя
PID процесса
исполняемую команду
успешность операции
точное время

#linux #auditd

🧑‍💻 NetworkAdmin

📁 Логирование скриптов в Windows Event Viewer

Для логов PowerShell и BAT-скриптов необязательно создавать отдельные текстовые файлы. Важные события можно записывать прямо в Event Viewer. Это удобно, потому что такие записи проще искать, фильтровать и собирать централизованно через WEF, SIEM или систему мониторинга.

▪️ Сначала создадим отдельный источник событий:

New-EventLog -LogName Application -Source "MyScript"

Эту команду обычно достаточно выполнить один раз с правами администратора.

▪️ Теперь можно записать событие в журнал Application:

Write-EventLog `
  -LogName Application `
  -Source "MyScript" `
  -EntryType Information `
  -EventID 1 `
  -Message "Запущен PowerShell-скрипт проверки состояния сервера"

▪️ Для ошибок и предупреждений меняем тип события:

Write-EventLog `
  -LogName Application `
  -Source "MyScript" `
  -EntryType Error `
  -EventID 1001 `
  -Message "Не удалось подключиться к серверу"

Полезно заранее определить свою схему Event ID:

1 -запуск скрипта
2 - успешное завершение
100 - предупреждение
1001 - ошибка выполнения

▪️ Если не хочется смешивать записи с общим журналом Application, можно создать отдельный EVTX-журнал:

New-EventLog -LogName CustomPSLog -Source "PS1Script"

А затем писать события уже в него:

Write-EventLog `
  -LogName CustomPSLog `
  -Source "PS1Script" `
  -EntryType Information `
  -EventID 1 `
  -Message "Скрипт запущен"

▪️ В BAT- и CMD-скриптах для этого есть команда eventcreate:

eventcreate /t information /l application /id 1 /d "BAT script started"

Для записи ошибки:

eventcreate /t error /l application /id 1001 /d "BAT script failed"

Подробный debug-вывод удобнее оставлять в обычном текстовом логе. Хорошая схема выглядит так: детали — в файл, важные события — в Event Viewer.

#windows #eventviewer

🧑‍💻 NetworkAdmin

Вы не заставите меня их закрыть. 🤩

#юмор

🧑‍💻 NetworkAdmin

⏰ Точное время до запуска сервисов: одноразовая синхронизация через chrony

Обычно синхронизация времени в Linux работает незаметно: установили chrony, systemd-timesyncd или другой NTP-клиент - и забыли. Но после загрузки виртуальной машины системное время иногда отличается на несколько минут. Служба синхронизации исправит его, однако часть сервисов к этому моменту уже может успеть запуститься.

В результате появляются:

• события в логах с неправильным временем
• ошибки проверки сертификатов
• проблемы с Kerberos и токенами
• некорректный порядок событий
• странности в распределенных системах и мониторинге

Для обычной работы постепенная коррекция времени подходит. Но на старте иногда нужно сначала выставить часы, а уже потом запускать приложение. Для этого можно создать одноразовый systemd-unit с chronyd -q.

▪️ Устанавливаем chrony:

apt install chrony

▪️ Создаем unit:

systemctl edit --force --full chrony-once-sync.service

▪️ Добавляем:

[Unit]
Description=Initial time synchronization with chrony
Wants=network-online.target
After=network-online.target
Before=myapp.service

[Service]
Type=oneshot
ExecStart=/usr/sbin/chronyd -q -t 10

[Install]
WantedBy=multi-user.target

-q - один раз выставить время и завершить работу
-t 10 - прекратить попытку через 10 секунд
After=network-online.target - запускать после готовности сети
Before=myapp.service - выполнить синхронизацию раньше критичного приложения

▪️ Активируем юнит:

systemctl daemon-reload
systemctl enable chrony-once-sync.service

▪️ Проверяем после перезагрузки:

systemctl status chrony-once-sync.service
journalctl -u chrony-once-sync.service -b

▪️ Посмотреть порядок запуска:

systemd-analyze critical-chain myapp.service

#linux #systemd #chrony

🧑‍💻 NetworkAdmin

💚 Как один неверный chmod -R ломает прод сильнее, чем падение сервиса

Падение сервиса обычно видно сразу. Мониторинг красный, пользователи жалуются, в логах ошибка. Перезапустили, откатили, восстановили. А вот один неверный chmod -R может сломать прод намного тише и неприятнее. Классический сценарий:

chmod -R 777 /var/www

или еще хуже:

chmod -R 755 /

Хотели быстро пофиксить права, а получили хаос.

▪️ Почему это опасно?

Права в linux - это не просто можно читать или нельзя.
От них зависит работа сервисов, безопасность, SSH, sudo, systemd, базы данных, веб-приложения и приватные ключи.

▪️ Что может сломаться:

• SSH перестанет принимать ключи, потому что ~/.ssh и authorized_keys стали слишком открытыми
• приватные ключи начнут считаться небезопасными
• nginx/apache потеряют доступ к нужным файлам или, наоборот, получат лишний доступ
• база данных откажется стартовать из-за неправильных прав на data directory
• sudo может начать ругаться на права конфигов
• приложения начнут писать туда, куда не должны
• исполняемые файлы потеряют нужные биты

▪️ Особенно опасны рекурсивные команды с переменными:

chmod -R 755 "$DIR"

Если $DIR пустой, неправильный или подставился не тот путь - последствия могут быть очень неприятными.

Перед такими командами лучше явно проверять переменные:

: "${DIR:?DIR is empty}"

И сначала смотреть, куда команда попадет:

find "$DIR" -maxdepth 2 -print

Для файлов и директорий права часто должны отличаться.

🤩 Плохо:

chmod -R 755 /var/www/app

🤩 Лучше:

find /var/www/app -type d -exec chmod 755 {} +
find /var/www/app -type f -exec chmod 644 {} +

Так директории остаются проходимыми, а обычные файлы не становятся исполняемыми без необходимости.

▪️ Если нужно дать права конкретному пользователю, часто правильнее менять владельца:

chown -R www-data:www-data /var/www/app/storage

А не открывать все через 777.
777 - это почти всегда сигнал, что проблему не поняли, а просто выключили защиту.

Для диагностики полезно смотреть текущие права:

ls -la
namei -l /var/www/app/storage/file.log
stat /var/www/app/storage

namei -l особенно удобен: он показывает права на каждом уровне пути.
Иногда файл доступен, но один из родительских каталогов не дает пройти дальше.

#linux #chmod

🧑‍💻 NetworkAdmin

😩 systemd-analyze: почему сервер долго загружается и кто виноват

Иногда сервер после reboot поднимается подозрительно долго. Вроде железо нормальное, диск живой, сервисов не так много, но до нормального состояния система доходит через минуту, две или даже дольше.

В systemd для такого разбора есть удобная утилита:

systemd-analyze

Она покажет общее время загрузки:

Startup finished in 5.2s (kernel) + 28.4s (userspace) = 33.6s

Здесь видно, сколько заняло ядро и сколько - userspace, то есть запуск systemd-сервисов.

▪️ Чтобы понять, какие иниты запускались дольше всего:

systemd-analyze blame

Пример вывода:

12.834s docker.service
8.421s NetworkManager-wait-online.service
6.102s postgresql.service
3.451s nginx.service

Это хороший первый ориентир, но есть важный нюанс.

blame показывает длительность запуска юнитов, но не всегда показывает реального виновника. Сервисы могут запускаться параллельно, и длинный сервис не обязательно блокировал всю загрузку.

▪️ Для понимания цепочки зависимостей лучше использовать:

systemd-analyze critical-chain

Эта команда показывает критический путь загрузки - что действительно задерживало достижение нужного target.

▪️ Можно посмотреть цепочку для конкретного сервиса:

systemd-analyze critical-chain docker.service

▪️ Частые причины долгой загрузки:

ожидание сети
зависший mount из /etc/fstab
медленный DNS
NFS/SMB mount без `nofail`
долгий старт базы данных
Docker/container runtime
cloud-init
некорректные зависимости в юнитах
таймауты несуществующих устройств

▪️ Отдельно стоит проверить failed-юниты:

systemctl --failed

▪️ Логи текущей загрузки:

journalctl -b

Если проблема была на предыдущем boot:

journalctl -b -1

▪️ Еще полезная команда - построить SVG-график загрузки:

systemd-analyze plot > boot.svg

Файл boot.svg можно открыть в браузере и визуально посмотреть, какие сервисы когда стартовали и сколько длились.

▪️ Для поиска ошибок в unit-файлах:

systemd-analyze verify /etc/systemd/system/myapp.service

Это помогает поймать неправильные директивы, опечатки и странности в конфигурации.

#linux #systemd

🧑‍💻 NetworkAdmin

🤩 Почему места достаточно, но приложение всё равно не может записать файл

Иногда на сервере возникает странная ситуация. Проверяем диск:

df -h

Свободное место есть. Например, десятки гигабайт. Но приложение всё равно пишет: No space left on device

▪️ Первая частая причина - закончились inodes. inode - это запись о файле в файловой системе. Если маленьких файлов очень много, можно упереться не в объем, а в количество файлов. Проверить:

df -i

Если IUse% близко к 100%, новые файлы создаваться не будут, даже если свободные гигабайты еще есть. Типичные виновники: миллионы мелких cache-файлов, сессии приложения, временные файлы, мелкие логи и т.д. Найти каталоги с большим количеством файлов:

find /var -xdev -type f | cut -d/ -f1-3 | sort | uniq -c | sort -nr | head

▪️ Вторая причина - квоты. Для пользователя или группы может быть ограничение, хотя на файловой системе место есть. Проверить:

quota -s

или для XFS:

xfs_quota -x -c 'report -h' /mountpoint

▪️ Третья причина - приложение пишет не туда, куда вы смотрите. Например, вы проверяете /data, а сервис пишет в /var/lib/app, /tmp или внутрь контейнера. Полезно посмотреть mount point:

df -h /path/to/file

И понять, какая файловая система реально используется.

▪️ Четвертая причина - лимиты systemd. У сервиса могут быть ограничения через unit:

systemctl cat myapp.service
systemctl show myapp.service | grep -i limit

▪️ Пятая причина - read-only файловая система. Например, после ошибок диска система могла перемонтировать раздел в ro. Проверить:

findmnt -o TARGET,OPTIONS

или:

mount | grep ' ro,'

#linux #filesystem #storage

🧑‍💻 NetworkAdmin

👀 inotifywait: реакция на изменения файлов без cron

Иногда нужно выполнить действие сразу после изменения файла или каталога. Например:

• изменился конфиг - перезапустить сервис
• появился новый файл - обработать его
• загрузили архив - распаковать
• изменился сертификат - перечитать nginx
• в каталог упал лог - отправить уведомление

Первое решение, которое часто приходит в голову - cron. Но cron работает по расписанию. Он не реагирует на событие сразу, а просто периодически проверяет состояние. Для событий в файловой системе удобнее использовать inotifywait.

▪️ Установка:

apt install inotify-tools

▪️ Посмотреть изменения файла:

inotifywait -m /etc/nginx/nginx.conf

Ключ -m включает постоянное наблюдение.

Пример вывода:

/etc/nginx/nginx.conf MODIFY

▪️ Следить за каталогом:

inotifywait -m /var/www

Рекурсивно:

inotifywait -m -r /var/www

Можно выбрать конкретные события:

inotifywait -m -e create,modify,delete /var/www

▪️ Простой пример: перезагрузить nginx после изменения конфига.

while inotifywait -e modify /etc/nginx/nginx.conf; do
  nginx -t && systemctl reload nginx
done

Смысл простой:

• ждем изменение файла
• проверяем конфиг
• если всё нормально - reload nginx
• снова ждем следующее изменение

▪️ Еще пример: обработать новые файлы в каталоге.

inotifywait -m -e close_write --format '%w%f' /data/incoming |
while read -r file; do
  echo "new file: $file"
  /opt/scripts/process-file.sh "$file"
done

Почему close_write, а не просто create? Потому что файл может появиться, но запись в него еще не закончилась. close_write срабатывает, когда файл уже записан и закрыт.

⚠️ inotifywait - не замена очередям, брокерам сообщений и нормальной event-driven архитектуре. У него есть лимиты ядра, события можно потерять при перегрузке, а рекурсивное наблюдение за огромными деревьями может быть тяжелым. Проверить лимиты можно так:

sysctl fs.inotify.max_user_watches
sysctl fs.inotify.max_user_instances

#linux #inotify

🧑‍💻 NetworkAdmin

✏️ Пишем события скриптов в Windows Event Viewer

В Windows-скриптах часто делают логирование в обычные текстовые файлы:

C:\Scripts\Logs\script.log

Это рабочий вариант, но не всегда удобный. Логи могут лежать в разных папках, забываться при переносе скрипта, не попадать в централизованный сбор и быстро превращаться в зоопарк форматов. Иногда удобнее писать важные события прямо в Event Viewer.

▪️ Плюсы такого подхода:

• события видны в стандартном журнале Windows;
• их можно собирать через WEF, SIEM или агент мониторинга;
• проще фильтровать по источнику, Event ID и уровню;
• не нужно отдельно искать лог-файл скрипта;
• события попадают в привычный механизм аудита и диагностики.

▪️ Например, в PowerShell можно создать отдельный источник событий:

New-EventLog -LogName Application -Source "MyScript"
После этого можно писать события в журнал Application:
Write-EventLog `
  -LogName Application `
  -Source "MyScript" `
  -EntryType Information `
  -EventID 1 `
  -Message "Запущен PowerShell-скрипт опроса состояния сервера"

В Event Viewer появится событие с источником MyScript.

Тип события можно менять:

-EntryType Information
-EntryType Warning
-EntryType Error

Например, если скрипт завершился с ошибкой:

Write-EventLog `
  -LogName Application `
  -Source "MyScript" `
  -EntryType Error `
  -EventID 1001 `
  -Message "Скрипт завершился с ошибкой при подключении к серверу"

▪️ Можно использовать свою схему Event ID:

1 - старт скрипта
2 - успешное завершение
100 - предупреждение
1001 - ошибка подключения
1002 - ошибка доступа

Так потом проще строить фильтры и алерты.

▪️ Если не хочется смешивать события с общим Application, можно создать отдельный журнал:

New-EventLog -LogName CustomPSLog -Source "PS1Script"

И писать уже туда:

Write-EventLog `
  -LogName CustomPSLog `
  -Source "PS1Script" `
  -EntryType Information `
  -EventID 1 `
  -Message "PowerShell script started"

▪️ Для BAT/CMD-скриптов тоже есть вариант - команда eventcreate:

eventcreate /t information /l application /id 1 /d "BAT script started"

Для ошибки:

eventcreate /t error /l application /id 1001 /d "BAT script failed"

Event Viewer удобен не вместо всех логов, а как место для важных событий, которые должны быть видны системе мониторинга и администратору. Если скрипт делает что-то важное, он должен не просто молча выполниться. Он должен оставить понятный след: когда стартовал, чем закончился и где сломался.

#windows #powershell #eventviewer

🧑‍💻 NetworkAdmin

📂 sshfs: монтируем удаленный каталог через SSH и systemd

sshfs позволяет монтировать удаленную файловую систему через обычное SSH-соединение. То есть если у вас есть SSH-доступ к серверу, можно подключить его каталог как локальную директорию. Это не самый быстрый способ: SSHFS работает через FUSE в user space, плюс само SSH-соединение добавляет накладные расходы. Но для некоторых задач это очень удобно. Особенно когда: SSH уже открыт; NFS/SMB поднимать не хочется; нужен быстрый доступ к отдельному каталогу или нужно временно подключить данные

▪️ Установка:

apt install sshfs

▪️ Для автомонтирования лучше сразу настроить доступ по ключу. Генерируем ключ:

ssh-keygen -t ed25519

Копируем его на удаленный сервер:

ssh-copy-id root@10.20.1.6

Можно подключаться и по паролю, но для systemd-автомонтирования это неудобно: пароль придется вводить интерактивно. С ключом все проще и надежнее.

▪️ Пример. Допустим, нужно смонтировать каталог:

root@10.20.1.6:/etc/letsencrypt

в локальный путь:

/mnt/letsencrypt

Создаем точку монтирования:

mkdir -p /mnt/letsencrypt

Монтируем вручную:

sshfs root@10.20.1.6:/etc/letsencrypt /mnt/letsencrypt

Проверяем:

df -h | grep 10.20.1.6

Размонтировать можно так:

fusermount -u /mnt/letsencrypt

▪️ Теперь сделаем systemd-unit, чтобы монтировать каталог автоматически. Создаем service:

systemctl edit --force --full sshfs-letsencrypt.service

Пример unit-файла:

[Unit]
Description=Mount /etc/letsencrypt over SSHFS
After=network-online.target
Wants=network-online.target

[Service]
Type=oneshot
RemainAfterExit=true

ExecStart=/usr/bin/sshfs root@10.20.1.6:/etc/letsencrypt /mnt/letsencrypt -o reconnect,ServerAliveInterval=15,ServerAliveCountMax=3
ExecStop=/usr/bin/fusermount -u /mnt/letsencrypt

[Install]
WantedBy=multi-user.target

Перечитываем systemd:

systemctl daemon-reload

Запускаем:

systemctl start sshfs-letsencrypt.service

Добавляем в автозагрузку:

systemctl enable sshfs-letsencrypt.service

Если нужно размонтировать каталог:

systemctl stop sshfs-letsencrypt.service

▪️ Полезные опции:

• reconnect - Пытаться восстановить подключение при обрыве.
• ServerAliveInterval=15 - Периодически проверять, живо ли SSH-соединение.
• ServerAliveCountMax=3 - После нескольких неудачных проверок считать соединение мертвым.

В примере все сделано от root для простоты. Для постоянной схемы лучше использовать отдельного пользователя с минимальными правами. В systemd можно указать:

User=sftp-user
Group=sftp-user

Но тогда важно, чтобы у этого пользователя были права на точку монтирования и SSH-ключи.

#linux #sshfs

🧑‍💻 NetworkAdmin

📎 TCP retransmits: как понять, что сеть теряет пакеты, а не тормозит приложение

Иногда приложение вроде бы работает, CPU нормальный, память есть, база живая, но пользователи жалуются: "все медленно". И начинается классика: смотрим логи приложения, nginx, базу, systemd, load average. А причина может быть ниже - на сетевом уровне. Один из важных признаков сетевых проблем - TCP retransmits.

TCP - надежный протокол. Если пакет потерялся по дороге, получатель его не подтвердил, и отправитель через время отправит этот сегмент заново. Это и есть retransmission. Небольшое количество повторных передач в сети бывает всегда. Но если их много - это уже симптом:

• перегруженный канал;
• проблемы на интерфейсе;
• плохой Wi-Fi или VPN;
• перегруженный firewall/NAT;
• проблемы у провайдера.

Снаружи это часто выглядит не как "сеть упала", а как странная деградация: страницы открываются медленно, API иногда отвечает долго, SSH подвисает, загрузка файлов идет рывками и т.д.

Первое, что можно посмотреть на linux:

netstat -s | grep -i retrans

или через ss:

ss -ti

В выводе ss -ti можно увидеть детали по TCP-соединениям, включая retrans, rtt, cwnd и другие параметры.

Для конкретного направления лучше использовать tcpdump. Например, смотрим трафик между сервером и клиентом:

tcpdump -i any -nn host 203.0.113.10 and port 443

Если нужно сохранить дамп для Wireshark:

tcpdump -i any -nn host 203.0.113.10 and port 443 -w retrans.pcap

В wireshark потом удобно фильтровать:

tcp.analysis.retransmission

Также полезные фильтры:

tcp.analysis.fast_retransmission
tcp.analysis.lost_segment
tcp.analysis.duplicate_ack

Если видите много retransmission, duplicate ACK и lost segment - это уже повод смотреть сеть, а не только приложение.

Быстрая проверка маршрута:

mtr -rw -c 100 203.0.113.10

Но тут важно помнить: mtr показывает потери по ICMP/UDP/TCP-проверкам, а не всегда идеально отражает конкретный TCP-трафик приложения. Зато помогает понять, где примерно начинаются проблемы.

Еще полезно проверить ошибки на сетевом интерфейсе:

ip -s link

или:

ethtool -S eth0

#linux #network

🧑‍💻 NetworkAdmin