BashTex | Linux

Как отслеживать изменения в файлах в реальном времени

Если нужно отслеживать изменения в файлах или каталогах в реальном времени, inotifywait - нужный инструмент.

🟢 Где полезно?

Мониторинг логов и конфигураций
Обнаружение изменений в коде в dev-среде
Автоматический перезапуск сервисов при изменении файлов
Обнаружение нежелательных изменений (удаление файлов)

⚙️ Базовое использование

1️⃣ Следить за изменениями в файле:

inotifywait -m /var/log/syslog

Флаг -m (monitor) заставляет команду работать в фоновом режиме.

2️⃣ Отслеживать изменения в каталоге:

inotifywait -m -e modify,create,delete /home/user/documents

Флаг -e указывает события, за которыми следим:

modify – изменение файла
create – создание нового файла
delete – удаление файла

3️⃣ Вывод событий в реальном времени:

inotifywait -m -r -e modify,create,delete /var/www/html

Флаг -r включает рекурсивный мониторинг всех вложенных папок.

⚙️ Применение в автоматизации

1️⃣ Автоперезапуск сервиса при изменении конфигурации

inotifywait -m -e modify /etc/nginx/nginx.conf | while read; do
    systemctl restart nginx
done

Перезапускает Nginx, если конфигурация изменена.

2️⃣ Автоматическое архивирование изменённых файлов

inotifywait -m -e modify /home/user/data | while read file; do
    cp "$file" "/backup/$(basename "$file").bak"
done

3️⃣ Обнаружение подозрительных изменений в /etc

inotifywait -m -r -e modify,delete /etc | while read change; do
    echo "[ALERT] Изменение в /etc: $change" | mail -s "Файлы изменены!" admin@bashtex.com
done

BashTex 📱 #linux #utils

Отслеживание открытых файлов и портов в реальном времени

Когда нужно выяснить, какие файлы, сокеты и устройства заняты процессами в системе, lsof (list open files) приходит на помощь.

📌 Этот инструмент полезен для:

Диагностики зависших процессов
Поиска утечек файловых дескрипторов
Проверки какие порты и файлы использует приложение

▪️ Быстрые примеры использования

1️⃣ Проверить, какие файлы использует процесс по PID

lsof -p 1234

2️⃣ Найти, кто использует файл

lsof /var/log/syslog

3️⃣ Какие процессы используют порт 443?

lsof -i :443

4️⃣ Найти процессы, использующие сеть

lsof -i

5️⃣ Обновлять вывод в реальном времени (-r)

lsof -r 2 -i :22

Выведет список процессов, использующих SSH-порт, обновляя данные каждые 2 секунды.

▪️ Применение для отладки и безопасности

1️⃣ Закрытый файл все еще используется? Если файл удалён, но место на диске не освободилось, ищем процессы, которые его держат:

lsof +L1

2️⃣ Поймать подозрительные соединения

lsof -i -nP | grep ESTABLISHED

Выведет все установленные сетевые соединения, без попытки разрешать IP в DNS.

3️⃣ Какие процессы пишут в лог?

lsof /var/log/auth.log

BashTex 📱 #linux #utils

Автоматическая очистка старых бэкапов

Когда бэкапы копятся месяцами, место на диске неумолимо заканчивается. Сегодня рассмотрим процесс автоматизации процесса очистки старых резервных копий, чтобы всё важное сохранялось, а лишнее удалялось.

❓ Какую стратегию выбрать?

FIFO (First In, First Out) - удаление самых старых файлов
GFS (Grandfather-Father-Son) - оставляем дневные, недельные, месячные
По размеру диска - чистим, если занято > 80%

Я использую FIFO - удаление самых старых файлов, какую выбрать Вам - зависит от вас и конкретной задачи.

▪️ Удаляем файлы старше 7 дней в /backups/

find /backups/ -type f -name "*.tar.gz" -mtime +7 -exec rm {} \;

▪️ Удаляем, если свободного места < 20%

if [[ $(df /backups --output=pcent | tail -1 | tr -d '% ') -gt 80 ]]; then
    find /backups/ -type f -name "*.tar.gz" -mtime +3 -exec rm {} \;
fi

▪️ Оставляем 3 последние копии

ls -t /backups/*.tar.gz | tail -n +4 | xargs rm -f

▪️ Добавим выполнение скрипта раз в день:

0 2 * * * /usr/local/bin/cleanup_backups.sh

Не забудьте перед этим сделать cleanup_backups.sh исполняемым:

chmod +x cleanup_backups.sh

BashTex 📱 #bash #utils

disown и nohup - выполнение команд после выхода из терминала

А вы знали как сделать, чтобы команды не зависели от сессии и продолжали работать даже после выхода? Для этого можно использовать disown и nohup.

▪️ nohup - команда живёт даже после выхода. nohup позволяет запустить процесс, который не завершится, даже если вы выйдете из системы.

Пример: Запускаем длительный процесс и отправляем в фон

nohup long-running-script.sh > output.log 2>&1 &

Процесс не привязан к терминалу
Вывод пишется в output.log
Можно закрыть терминал, процесс не остановится

▪️ disown - открепление процесса от сессии. Если уже запустили команду без nohup, но хотите её сохранить:

1️⃣ Запускаем процесс в фоне

long-running-script.sh &

2️⃣ Просматриваем фоновые задачи

jobs -l

3️⃣ Открепляем процесс

disown -h %1

Теперь даже если вы выйдете из терминала, процесс останется работать.

📌 Разница между nohup и disown

Команда Когда использовать Что делает?

nohup - необходимо использовать при запуске процесса. В таком случае это делает процесс независимым
disown - работает для уже запущенных команд Открепляет процесс от сессии

🔥 Комбо: Можно использовать nohup + disown, чтобы запущенный процесс не зависел от терминала и не получал SIGHUP.

nohup ./script.sh & disown

Теперь можно спокойно выйти из SSH, процесс продолжит работать.

BashTex 📱 #linux #utils

Динамическое ограничение ресурсов для процессов с cgroups

Когда процесс начинает пожирать всю CPU или RAM, система может начать тормозить. 🐢 Но есть способ держать всё под контролем - cgroups.

📌 cgroups (Control Groups) — механизм ядра Linux, который позволяет ограничивать, учитывать и изолировать ресурсы (CPU, RAM, сеть) для процессов.

Применение:

Ограничение потребления ресурсов процессами
Контроль за службами и контейнерами
Создание "огороженных" сред для тестирования

⚙️ Простая настройка cgroups

1️⃣ Проверяем поддержку cgroups:

mount | grep cgroup

Если вывод есть - поддержка включена

2️⃣ Создаём группу и ограничиваем процесс. Создадим новую группу и ограничим процесс по CPU и RAM:

sudo mkdir /sys/fs/cgroup/mygroup
echo $$ | sudo tee /sys/fs/cgroup/mygroup/cgroup.procs
echo 50000 | sudo tee /sys/fs/cgroup/mygroup/cpu.max
echo 100M | sudo tee /sys/fs/cgroup/mygroup/memory.max

cgroup.procs - добавляем текущий процесс
cpu.max - ограничение CPU
memory.max - ограничение RAM

🔢 Применение на практике. Допустим, у тебя есть скрипт, который загружает процессор:

while :; do :; done

Чтобы он не съел всю систему, запускаем его в cgroups:

echo $$ > /sys/fs/cgroup/mygroup/cgroup.procs

Теперь процесс работает в ограниченной среде и не забивает ресурсы.

👀 Мониторинг нагрузки. Можно проверить использование CPU и памяти группой:

cat /sys/fs/cgroup/mygroup/cpu.stat
cat /sys/fs/cgroup/mygroup/memory.current

BashTex 📱 #bash #utils

Ну мы

BashTex 📱 #юмор

Вывод списка установленных пакетов по дате

Хочешь узнать, какие пакеты и когда были установлены в системе? В Ubuntu это можно сделать с помощью dpkg и awk.

✅ Базовый способ. Чтобы получить список всех установленных пакетов с датой их установки, используй:

grep " install " /var/log/dpkg.log

Этот лог содержит записи о каждом установленном или обновлённом пакете.

🗯 Вывод с сортировкой. Если нужен полный список с датами и сортировкой:

awk '$3 == "install" {print $1, $2}' /var/log/dpkg.log | sort

$1 - дата установки
$2 - имя пакета
sort упорядочивает по дате

Пример вывода:

2025-03-01 coreutils
2025-03-02 openssh-server
2025-03-04 htop

📌 Фильтр по определённому дню. Допустим, надо узнать, что было установлено 3 февраля 2025 года:

grep "2025-02-03" /var/log/dpkg.log | grep "install"

📂 Вывод списка недавно установленных пакетов

zgrep " install " /var/log/dpkg.log* | tail -20

BashTex 📱 #bash #utils

Ты бл#, ты сказал, что ты шаришь в этой теме..

BashTex 📱 #юмор

stdbuf - отключение буферизации вывода в командах

Когда выполняешь команды в терминале, их вывод иногда задерживается из-за буферизации. Это мешает при логировании, мониторинге в реальном времени и пайпах. stdbuf решает эту проблему, управляя буферизацией стандартного ввода, вывода и ошибок.

🚪 Как отключить буферизацию? Запустим ping, но без задержек в выводе:

stdbuf -oL ping 8.8.8.8

-oL - отключает буферизацию вывода (line-buffered mode). Теперь каждая строка появляется сразу.

❌ Для ошибок (stderr):

stdbuf -eL some_command

👀 Использование с пайпами. Некоторые команды задерживают вывод в пайпах. Например, grep в цепочке:

ping 8.8.8.8 | grep "time="

Ничего не показывает? Это из-за буферизации! Исправляем:

ping 8.8.8.8 | stdbuf -oL grep "time="

⚡️ Полезные примеры

1️⃣ Логирование в реальном времени

stdbuf -oL tail -f /var/log/syslog | grep "error"

2️⃣ Скрипт без задержек в выводе

#!/bin/bash
stdbuf -o0 my_script.sh

-o0 полностью отключает буферизацию.

3️⃣ Буферизация при вводе

stdbuf -i0 -o0 -e0 cat

Позволяет мгновенно обрабатывать ввод/вывод.

BashTex 📱 #bash #utils

Вошли и вышли, приключение на 15 минут 🪞

BashTex 📱 #юмор

Скрипт автоматического создания и удаления временных файлов

Временные файлы нужны для логов, кэша и промежуточных вычислений, но если их не удалять – они засоряют систему. Сегодня про то, как автоматизировать их создание и удаление с помощью Bash и mktemp.

➕ Создание временных файлов и директорий. Используем mktemp:

TEMP_FILE=$(mktemp)
echo "Временный файл: $TEMP_FILE"

Или создаем временную папку:

TEMP_DIR=$(mktemp -d)
echo "Временная папка: $TEMP_DIR"

📂 Автоматическое удаление. trap удалит временные файлы при завершении скрипта:

#!/bin/bash
TEMP_FILE=$(mktemp)
trap "rm -f $TEMP_FILE" EXIT

echo "Создан временный файл: $TEMP_FILE"
sleep 5  # Эмуляция работы скрипта

trap выполняет rm -f $TEMP_FILE при завершении скрипта – даже если он аварийно прерван.

👩‍🎨 Скрипт для очистки старых временных файлов. Удалим файлы старше 1 дня в /tmp:

find /tmp -type f -mtime +1 -delete

Для папок:

find /tmp -type d -empty -mtime +1 -exec rmdir {} \;

🤖 Добавим в crontab ежедневную очистку /tmp:

0 3 * * * find /tmp -type f -mtime +1 -delete

В 3 часа ночи старые временные файлы будут автоматически удаляться.

BashTex 📱 #bash #utils

Создание зашифрованных контейнеров с cryptsetup и LUKS

LUKS (Linux Unified Key Setup) + cryptsetup позволяют создавать зашифрованные контейнеры, доступ к которым можно получить только после ввода пароля.

📦 Что можно хранить в зашифрованном контейнере?

🔹 Личные файлы и документы
🔹 Бэкапы с конфиденциальными данными
🔹 Временные файлы, которые нужно удалять без следов

🧑‍💻 Создание зашифрованного контейнера

1️⃣ Создаем файл-контейнер. Допустим, нам нужен контейнер размером 1 ГБ:

dd if=/dev/zero of=secure.img bs=1M count=1024

2️⃣ Настраиваем LUKS-шифрование

cryptsetup luksFormat secure.img

⚠️ Важно: Этот шаг удалит все данные в файле!

При появлении запроса укажите сложный пароль для доступа к контейнеру.

3️⃣ Открываем зашифрованный контейнер

cryptsetup luksOpen secure.img secure_container

Теперь в системе появился виртуальный шифрованный диск /dev/mapper/secure_container.

4️⃣ Форматируем в файловую систему

mkfs.ext4 /dev/mapper/secure_container

5️⃣ Монтируем и используем

mkdir /mnt/secure
mount /dev/mapper/secure_container /mnt/secure

Теперь файлы, скопированные в /mnt/secure, будут автоматически зашифрованы.

🚫 Отключение контейнера. Чтобы отключить зашифрованный диск:

umount /mnt/secure
cryptsetup luksClose secure_container

🏠 Автоматическое подключение по паролю. Можно хранить ключ для автоматического подключения в файле:

dd if=/dev/random of=/root/luks.key bs=1 count=256
chmod 600 /root/luks.key
cryptsetup luksAddKey secure.img /root/luks.key

Теперь можно открыть контейнер без ввода пароля:

cryptsetup luksOpen secure.img secure_container --key-file /root/luks.key

BashTex 📱 #linux #security

Автоматическое монтирование сетевых папок при загрузке системы

Если вам нужно подключать сетевые папки автоматически при старте системы, лучше всего использовать /etc/fstab или systemd automount. Разберем оба способа.

1️⃣ Использование /etc/fstab. Добавьте строку в /etc/fstab, чтобы система монтировала папку при загрузке:

//192.168.1.100/share  /mnt/share  cifs  username=user,password=pass,iocharset=utf8,_netdev  0  0

//192.168.1.100/share - путь к папке на сервере
/mnt/share - локальная точка монтирования
cifs - используемый протокол (для Windows/Samba)
_netdev - монтирование после установки сети

⚠️ После изменения /etc/fstab примените команду:

mount -a

2️⃣ Автоматическое монтирование через systemd. Создайте юнит /etc/systemd/system/mnt-share.mount:

[Unit]
Description=Автоматическое монтирование сетевой папки
After=network-online.target

[Mount]
What=//192.168.1.100/share
Where=/mnt/share
Type=cifs
Options=username=user,password=pass,iocharset=utf8

[Install]
WantedBy=multi-user.target

Затем включите монтирование:

systemctl daemon-reload
systemctl enable --now mnt-share.mount

💡 Какой способ выбрать?

fstab - если подключение постоянно и предсказуемо
systemd - если нужна гибкость и управление через systemctl

BashTex 📱 #linux #utils

Масштабируемое развертывание приложений с Bash и Docker

😎 Основная идея:

Проверять текущую загрузку CPU/памяти
Автоматически запускать дополнительные контейнеры при высокой нагрузке
Останавливать лишние контейнеры при снижении нагрузки

▪️ Bash-скрипт для масштабирования

#!/bin/bash

APP_NAME="myapp"
IMAGE="myapp_image"
LIMIT=70  # Порог загрузки CPU в процентах
MAX_CONTAINERS=5

# Получаем текущую загрузку CPU
CPU_LOAD=$(awk '{print $1}' <(grep 'cpu ' /proc/stat | awk '{print ($2+$4)*100/($2+$4+$5)}'))

# Получаем текущее количество запущенных контейнеров
RUNNING_CONTAINERS=$(docker ps -q -f "name=$APP_NAME" | wc -l)

if (( $(echo "$CPU_LOAD > $LIMIT" | bc -l) )); then
    if (( RUNNING_CONTAINERS < MAX_CONTAINERS )); then
        echo "Высокая нагрузка ($CPU_LOAD%). Запускаем новый контейнер..."
        docker run -d --name "$APP_NAME-$RUNNING_CONTAINERS" $IMAGE
    else
        echo "Достигнут лимит контейнеров ($MAX_CONTAINERS)."
    fi
else
    if (( RUNNING_CONTAINERS > 1 )); then
        STOP_CONTAINER=$(docker ps -q -f "name=$APP_NAME" | tail -n 1)
        echo "Нагрузка низкая ($CPU_LOAD%). Останавливаем контейнер $STOP_CONTAINER..."
        docker stop $STOP_CONTAINER && docker rm $STOP_CONTAINER
    fi
fi

⚙️ Как использовать?

1. Сохраните скрипт, например, как autoscale.sh
2. Сделайте его исполняемым:

chmod +x autoscale.sh

3. Настройте запуск через cron (например, каждые 5 минут):

crontab -e

Добавьте строку:

*/5 * * * * /path/to/autoscale.sh >> /var/log/autoscale.log 2>&1

🏳️ Что получаем:

При нагрузке выше 70% добавляются контейнеры
При снижении нагрузки контейнеры удаляются
Управление происходит автоматически

BashTex 📱 #bash

Никаких Windows в этом доме! ❌

BashTex 📱 #юмор

mtr vs traceroute: анализ сетевых маршрутов

Когда нужно диагностировать сетевые проблемы, чаще всего используют traceroute или mtr. Оба инструмента помогают определить путь пакетов до целевого хоста, но mtr значительно превосходит traceroute по функциональности. Разберем различия.

▪️traceroute - классический анализ маршрута

traceroute показывает последовательность узлов, через которые проходит пакет до цели.

traceroute bashtex.com

 1  192.168.1.1 (192.168.1.1)  1.234 ms  1.567 ms  1.678 ms
 2  10.0.0.1 (10.0.0.1)  2.345 ms  2.678 ms  2.789 ms
 3  203.0.113.1 (203.0.113.1)  10.345 ms  11.456 ms  12.567 ms

📌 Показывает только один запуск, без динамики.

▪️ mtr - интерактивный анализ сети

mtr комбинирует traceroute и ping, предоставляя динамическое обновление маршрута.

mtr bashtex.com

  HOST: myhost            Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- 192.168.1.1       0.0%    10    1.2    1.3   1.0   1.5  0.2
  2.|-- 10.0.0.1          0.0%    10    2.4    2.5   2.2   3.0  0.3
  3.|-- 203.0.113.1       10.0%   10    10.4  11.2  10.0  13.5  1.2

📌Отличия от traceroute:

Постоянно обновляет данные (динамический анализ).
Показывает потерю пакетов (Loss%), среднее и максимальное время отклика (Avg, Wrst).
Удобно для выявления нестабильных узлов.

💡 Когда использовать?

traceroute - если нужен единоразовый снимок маршрута.
mtr - если важно видеть динамику и выявить нестабильные узлы.

BashTex 📱 #linux #networks

Создание временных файлов и директорий

Временные файлы часто нужны в скриптах, но их создание вручную может привести к конфликтам имен или уязвимостям. mktemp решает эту проблему, создавая уникальные файлы и директории с безопасными правами доступа.

1️⃣ Создание временного файла

tmpfile=$(mktemp)
echo "Временный файл: $tmpfile"

Временный файл: /tmp/tmp.BX9G7f9a6Z

Файл создается с правами 600 (только владелец может читать и записывать).

2️⃣ Создание временного файла с заданным шаблоном

mktemp /tmp/mytemp.XXXXXX

XXXXXX заменяется случайными символами, исключая конфликты имен.

3️⃣ Создание временной директории

tmpdir=$(mktemp -d)
echo "Временная директория: $tmpdir"

Временная директория: /tmp/tmp.P8Z3K1qGfJ

⚠️ Удаление временных файлов:

rm -f "$tmpfile"
rm -rf "$tmpdir"

Или используем trap, чтобы удалить временные файлы при завершении скрипта:

trap 'rm -f "$tmpfile"' EXIT

BashTex 📱 #linux #utils

😱

BashTex 📱 #юмор

Скрытая мощь { } и (( )) в Bash: работа с диапазонами и числами

В Bash есть два механизма - фигурные скобки { } для работы с диапазонами и двойные круглые скобки (( )) для арифметики. Как их использовать эффективно?

1️⃣ Диапазоны и генерация последовательностей с { }. Фигурные скобки позволяют быстро создавать списки значений.

ℹ️ Простая генерация чисел:

echo {1..5}

1 2 3 4 5

ℹ️ Шаг в последовательности:

echo {0..10..2}

0 2 4 6 8 10

ℹ️ Генерация букв:

echo {a..e}

a b c d e

ℹ️ Использование в for-циклах:

for i in {1..3}; do
    echo "Файл_$i.txt"
done

Файл_1.txt  
Файл_2.txt  
Файл_3.txt

ℹ️ Создание файлов за раз:

touch file_{1..3}.txt

Создаст file_1.txt, file_2.txt, file_3.txt.

2️⃣ Арифметика с (( )) - быстрее и лаконичнее. (( )) используется для работы с числами без expr или let.

ℹ️ Базовые операции:

((sum = 5 + 3))
echo $sum

8

ℹ️ Инкремент и декремент:

x=10
((x++))  # Увеличить на 1
((x--))  # Уменьшить на 1
echo $x

ℹ️ Проверка условий без if:

x=5
(( x > 3 )) && echo "x больше 3"

x больше 3

ℹ️ Битовые операции:

((x = 5 & 3))  # Побитовое И
echo $x

1

3️⃣ Сочетание { } и (( ))

ℹ️ Сумма чисел от 1 до 10 с for:

sum=0
for i in {1..10}; do
    ((sum += i))
done
echo "Сумма: $sum"

Сумма: 55

ℹ️ Выбор только чётных чисел:

for i in {1..10}; do
    ((i % 2 == 0)) && echo "$i — чётное"
done

BashTex 📱 #bash #utils

Проверка архивов на целостность: избегаем битых бэкапов

Создавать бэкапы - хорошая практика. Но что, если архив оказался битым в самый нужный момент? 😱 Разберемся, как проверять целостность архивов, чтобы не потерять важные данные.

1️⃣ Проверка tar-архива. Если архив создавался с помощью tar, его можно проверить без распаковки:

tar -tvf backup.tar.gz

Если файл поврежден, команда выдаст ошибку:

gzip: stdin: unexpected end of file
tar: Child returned status 1
tar: Error is not recoverable: exiting now

🧑‍💻 Автоматическая проверка в скрипте:

if tar -tzf backup.tar.gz &>/dev/null; then
    echo "Архив исправен"
else
    echo "Архив поврежден!"
fi

2️⃣ Проверка архивов .zip. Для .zip можно использовать встроенную проверку:

unzip -t backup.zip

Если файл битый, команда выдаст ошибки.

🧑‍💻 Автоматическая проверка в скрипте:

if unzip -t backup.zip | grep -q "No errors detected"; then
    echo "Архив исправен"
else
    echo "Архив поврежден!"
fi

3️⃣ Проверка и автоматическое исправление rar. Если архив в формате .rar, его можно проверить так:

rar t backup.rar

Если архив поврежден, rar может попытаться его восстановить:

rar r backup.rar

4️⃣ Защита от битых архивов при создании

📁 Контрольные суммы. Считаем SHA256-хеш перед передачей или копированием:

sha256sum backup.tar.gz > backup.sha256

А потом проверяем:

sha256sum -c backup.sha256

📦 Двойная упаковка с тестированием

tar -cvf - logs/ | gzip | tee backup.tar.gz | gzip -t

📌 Здесь tee дублирует поток, а gzip -t сразу проверяет целостность.

BashTex 📱 #linux #utils