Bash Советы

🎯 Bash-совет: Найти и удалить все .DS_Store файлы на сервере (или любые другие "мусорные" файлы)

Файлы .DS_Store автоматически создаются macOS и часто попадают на серверы при деплое. Они бесполезны и могут мешать.

Вот простой скрипт для их поиска и удаления:

#!/bin/bash

# Каталог, в котором ищем (по умолчанию текущий)
DIR="${1:-.}"

echo "🔍 Ищу .DS_Store файлы в: $DIR"

find "$DIR" -name '.DS_Store' -type f -print -delete

echo "🧹 Удаление завершено."

📌 Можно адаптировать под удаление Thumbs.db, __MACOSX или других ненужных артефактов.

✅ Используй как утилиту перед деплоем или в CI/CD.

👉@bash_srv

🔍 Поиск строк с IP-адресами в логах

Иногда нужно быстро найти все IP-адреса в лог-файле, например, чтобы отследить активность пользователей или подозрительную активность. Вот как это можно сделать с помощью grep и регулярки:

grep -Eo '([0-9]{1,3}\.){3}[0-9]{1,3}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | head

🔧 Разбор команды:
- -Eo — используем расширенные регулярные выражения и выводим только совпадения
- ([0-9]{1,3}\.){3}[0-9]{1,3} — регулярка для IPv4-адресов
- sort | uniq -c — считаем, сколько раз встречается каждый IP
- sort -nr | head — выводим топ 10 по количеству

📊 Это простой способ быстро узнать, кто чаще всего стучится к вашему серверу.

👉@bash_srv

🎯 Bash-совет дня: быстрое сравнение файлов по хэшу

Иногда нужно убедиться, что два файла идентичны. Вместо diff, который сравнивает содержимое построчно, проще сравнить их контрольные суммы.

Вот удобная однострочная команда:

[ "$(sha256sum file1 | awk '{print $1}')" = "$(sha256sum file2 | awk '{print $1}')" ] && echo "✅ Файлы одинаковые" || echo "❌ Файлы разные"

📌 Пояснение:
- sha256sum — создаёт SHA-256 хэш от файла.
- awk '{print $1}' — достаёт только сам хэш (без имени файла).
- [...] && ... || ... — условие в стиле bash: если хэши совпадают — выводим "файлы одинаковые", иначе — "разные".

🔥 Подходит для проверки резервных копий, дистрибутивов и любых бинарников.

👉@bash_srv

🖥 Скрипт Bash для для проверки производительности системы в реальном времени, а также для сбора статистики использования за определенное время.

#!/bin/bash
# автор: https://t.me/bash_srv
# This script monitors CPU and memory usage

while :
do 
  # Get the current usage of CPU and memory
  cpuUsage=$(top -bn1 | awk '/Cpu/ { print $2}')
  memUsage=$(free -m | awk '/Mem/{print $3}')

  # Print the usage
  echo "CPU Usage: $cpuUsage%"
  echo "Memory Usage: $memUsage MB"
 
  # Sleep for 1 second
  sleep 1
done

👉@bash_srv

🖥 Bash скрипт проверки существования файла, каталога, пользователя


Проверка существования файла:

?
if ! [ -f /path/to/file ]; then
echo 'No file'
fi

Проверка существования директории:

if ! [ -d /path/directory/ ]; then
echo 'No directory'
fi

Проверка существования пользователя:

grep "username:" /etc/passwd >/dev/null
if [ $? -ne 0 ]; then
echo 'No username found'
fi

👉@bash_srv

🖥 Bash скрипт перекодировки всех файлов в директории

#!/bin/bash
#=====================================
# скрипт изменения кодировки файлов.
#=====================================
# суть для одного файла: iconv -f Исходная_кодировка -t В_какую_кодировку > выходной_файл
# CONFIG:
TYPES="*.txt"; # на случай поиска по расширению. напр. "*.log"
FROM='cp1251'; # из какой кодировки.
TO='utf8'; # в какую кодировку.
FILEPREFIX='.utf8'; # к названию перекодированного файла добавится.
 
# START:
if [ -z $1 ]
then
        echo "Encoding all $TYPES in directory From $FROM To $TO";
        echo "use $0 /Path_to_recoding_directory/"; echo;
        exit 1;
else
        echo "Encoding all $TYPES in directory $1 From $FROM To $TO";
        echo;
        find $1 -name "$TYPES" -type f -print0|while read -d '' SOURCE; do
                echo "========== SOURCE: $SOURCE FROM: $FROM TO: $TO ==========";
                cat "$SOURCE"|iconv -f $FROM -t $TO > "$SOURCE$FILEPREFIX";
                wait;
        done;
        exit 0;
fi
# end

👉@bash_srv

В чем разница между объявлением переменной export VAR="VALUE" и VAR="VALUE" в bash?

В bash (и других оболочках Unix) разница между командами export VAR="VALUE" и VAR="VALUE" связана с областью видимости переменной:

1. VAR="VALUE":
- Это обычное объявление переменной в текущей оболочке (сессии).
- Переменная VAR будет доступна только внутри текущей сессии, и не будет передаваться дочерним процессам, запущенным этой сессией.
- Например, если вы запустите новую команду или скрипт из текущей оболочки, VAR не будет доступна в этом дочернем процессе.

2. export VAR="VALUE":
- Команда export делает переменную VAR доступной для всех дочерних процессов текущей оболочки.
- То есть, VAR будет установлена и доступна не только в текущей сессии, но и во всех процессах, запущенных из этой сессии.
- Это полезно, когда необходимо передать значение переменной в другие программы или скрипты, запущенные из текущей оболочки.

Для примера

# Присвоение переменной без export
VAR="Hello"
bash -c 'echo $VAR'  # Ничего не выведет, так как VAR не экспортирована

# Присвоение переменной с export
export VAR="Hello"
bash -c 'echo $VAR'  # Выведет "Hello", так как VAR экспортирована

Таким образом, export используется для того, чтобы переменная была доступна в дочерних процессах, тогда как обычное присвоение без export ограничивает переменную только текущей сессией.

👉@bash_srv

🧹 Автоматическая очистка логов старше N дней

Если логи разрастаются, а места становится всё меньше — пора автоматизировать их очистку! Вот простой способ удалить файлы старше, скажем, 14 дней:

find /var/log -type f -name "*.log" -mtime +14 -exec rm -f {} \;

🔧 Объяснение:
- /var/log — каталог с логами (можно заменить на нужный путь);
- -type f — только файлы;
- -name "*.log" — ищем только .log-файлы;
- -mtime +14 — которым больше 14 дней;
- -exec rm -f {} — удаляем.

🛡️ Сухой запуск перед удалением:

find /var/log -type f -name "*.log" -mtime +14

Так ты увидишь, что будет удалено, прежде чем запускать rm.

📌 Добавь в cron, чтобы забыть о рутине навсегда.

👉@bash_srv

🚀 Bash-совет дня: Быстрый мониторинг TCP/UDP портов

Иногда нужно оперативно узнать, какие порты слушает сервер и какие подключения активны. Вот простой однострочник, который поможет:

sudo ss -tunlp

📌 Пояснение ключей:
- -t — TCP
- -u — UDP
- -n — не разрешать имена хостов и портов (быстрее)
- -l — только слушающие сокеты
- -p — показать PID и имя процесса

🔍 Хочешь отсортировать по порту или найти конкретный? Добавь grep:

sudo ss -tunlp | grep 8080

🎯 Альтернатива на случай, если нет ss:

sudo netstat -tunlp

Полезно для отладки фаервола, проверки работы сервисов или просто для уверенности, что сервер не слушает ничего лишнего 😉

👉@bash_srv

🚀 Очистка кэша пакетного менеджера APT

Иногда кэш пакетов APT разрастается и занимает лишнее место. Ниже написал простой скрипт, который поможет автоматизировать очистку и освободить дисковое пространство 💾

#!/bin/bash

# Очищаем кэш APT
echo "🧼 Очистка кэша APT..."
sudo apt clean
sudo apt autoclean

# Удаляем неиспользуемые пакеты
echo "🗑 Удаление неиспользуемых пакетов..."
sudo apt autoremove -y

# Отчёт о свободном месте
echo "📊 Свободное место после очистки:"
df -h /

📌 Как использовать:
1. Сохрани как clean_apt.sh
2. Сделай исполняемым: chmod +x clean_apt.sh
3. Запускай по необходимости или добавь в cron

👉@bash_srv

🧠 Логи — Самые частые IP-адреса в access.log

Когда нужно быстро понять, кто чаще всего лупит по серверу — вот простой однострочник:

awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | head

🔍 Что делает:
1. awk '{print $1}' — вытаскивает IP из первой колонки.
2. sort и uniq -c — считает повторы.
3. sort -nr | head — выводит топ-10 по частоте.

📊 Вывод будет примерно такой:

  152 192.168.1.10
  103 203.0.113.45
   87 172.16.0.5

🔥 Подходит для NGINX, Apache и других web-логов с классическим форматом.

👉@bash_srv

📌 Регулярки - ищем email-адреса в тексте

Если необходимо быстро вытащить email-адреса из логов или текстов, скрипт ниже для вас.

grep -Eo '[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}'

Примеры использования:

cat файл.txt | grep -Eo '[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}'

Оно находит валидные email'ы вроде:
- support@domain.com
- test.user+admin@sub.domain.co

⚙️ Флаг -o в grep выводит только совпадения, без строк целиком.

👉@bash_srv

Отключаем историю Bash (~/.bash_history)

🔒Отключение истории в текущей сессии

Просто обнуляем переменные истории:

unset HISTFILE
export HISTSIZE=0
export HISTFILESIZE=0

💥 После этого Bash не будет сохранять историю вообще. Даже после выхода из сессии.


🧼 Стереть историю прямо сейчас

history -c    # очистить историю из памяти
> ~/.bash_history  # стереть файл истории

🔁 Отключить навсегда (для пользователя)

Добавь в ~/.bashrc или ~/.bash_profile:

export HISTFILE=
export HISTSIZE=0
export HISTFILESIZE=0

📌 После перезапуска оболочки история вестись не будет.


🧙 Дополнительно (опционально)

Чтобы Bash не пытался писать историю на выходе:

unset HISTFILE
trap "" EXIT

💡Без истории сложнее откатить действия, иногда это нужно.

👉@bash_srv

🚀 Утилита timeout: автоматическое завершение зависших команд

Когда ты запускаешь какую-то команду, и она может зависнуть - это беда. Особенно в скриптах. На помощь приходит утилита timeout из пакета coreutils.

Пример использования:

timeout 30s ./backup.sh

Эта команда завершит ./backup.sh, если она не завершится за 30 секунд.

Можно задать время в секундах (s), минутах (m), часах (h) и даже днях (d).

Что произойдёт при превышении тайм-аута?

По умолчанию timeout отправляет сигнал SIGTERM, а через 5 секунд - SIGKILL, если процесс всё ещё жив.


Изменение сигнала:

timeout -s SIGINT 10s ./script.sh

Проверка кода возврата:

if timeout 5s ./some_command; then
  echo "Успешно"
else
  echo "Команда завершена по таймауту или с ошибкой"
fi

👉@bash_srv

🛡 Проверка SSL-сертификатов с помощью Bash

Иногда нужно быстро проверить срок действия SSL-сертификата удалённого сайта. Вот удобный однострочник на Bash, который покажет дату окончания действия сертификата:

echo | openssl s_client -servername example.com -connect example.com:443 2>/dev/null \
| openssl x509 -noout -dates | grep notAfter

📆 Чтобы получить только оставшиеся дни до окончания:

end_date=$(echo | openssl s_client -servername example.com -connect example.com:443 2>/dev/null \
| openssl x509 -noout -enddate | cut -d= -f2)

end_ts=$(date -d "$end_date" +%s)
now_ts=$(date +%s)
echo "Осталось дней: $(( (end_ts - now_ts) / 86400 ))"

🔒 Полезно для автоматического мониторинга или проверки перед продлением сертификатов!

👉@bash_srv

📁Как отрезать расширение у файла в Bash

filename="example.txt"
name="${filename%.*}"
echo "$name"

📌 Что тут происходит:

- ${filename%.*} — удаляет последнюю точку и всё после неё, то есть расширение.

👀 Примеры:

filename="backup.tar.gz"
name="${filename%.*}"  # Результат: backup.tar

Если хочешь убрать все расширения (в т.ч. .tar.gz), можно использовать вот так:

filename="backup.tar.gz"
name="${filename%%.*}"  # Результат: backup

🧠 Под капотом:
- %.* — удаляет самую правую точку и всё после.
- %%.* — удаляет самую левую точку и всё после.

Мощно и без внешних команд! 🚀

👉@bash_srv

Как быстро найти и удалить пустые директории

Иногда в системах с большим количеством файлов и директорий накапливаются пустые папки. Вот простой способ найти и удалить их одним махом:

find /path/to/search -type d -empty -delete

🔍 Разбор:
- /path/to/search — укажи директорию, где искать.
- -type d — ищем только директории.
- -empty — фильтруем только пустые.
- -delete — удаляем найденные.

🛡 Важно:
Перед удалением рекомендую посмотреть, что именно будет удалено:

find /path/to/search -type d -empty

👉@bash_srv

Если вам часто приходится искать файлы по содержимому, то для этого есть мощная связка grep + find 🔍

Например, чтобы найти все файлы с текстом "ERROR" в /var/log:

find /var/log -type f -exec grep -H "ERROR" {} \;

📌 А если хотите искать рекурсивно по каталогу проще, используйте grep -r:

grep -r "ERROR" /var/log

✨ Добавим подсветку совпадений:

grep --color=always -r "ERROR" /var/log

Теперь нужные строки будут выделяться цветом

👉@bash_srv

Чтобы быстро проверить соединение с набором хостов, можно использовать след. скрипт

#!/bin/bash
for host in server1.example.com server2.example.com 8.8.8.8; do
    if ping -c1 -W1 "$host" &>/dev/null; then
        echo "✅ $host доступен"
    else
        echo "❌ $host недоступен"
    fi
done

🔧 Можно добавить свои сервера в список и за пару секунд проверить доступность.

👉@bash_srv

Как быстро проверить, какие процессы занимают больше всего памяти или CPU?

Вместо длинных top или htop, можно использовать скрипт ниже.

ps -eo pid,ppid,cmd,%mem,%cpu --sort=-%mem | head -n 15

🔍 Что делает скрипт:

ps -eo ... - выводит список процессов с PID, PPID, командой, % памяти и CPU.
--sort=-%mem - сортировка по памяти (от большего к меньшему).
head -n 15 - показываем только топ-15 процессов.

📌 Если хотите отсортировать по CPU - замените %mem на %cpu:

ps -eo pid,ppid,cmd,%mem,%cpu --sort=-%cpu | head -n 15

Удобно для быстрой диагностики «прожорливых» процессов без лишних инструментов! ⚡

👉@bash_srv