Расскажу ужасную историю сегодняшнего дня.
Утром, во время кофе, начинают приходить уведомления о логировании ошибок API. Бегу смотреть и понимаю, что на сервере осталось мало места. Мы недавно перенесли терабайт базы, но не почистили место, и на сервере осталось меньше 20% свободного пространства. Поэтому Kubernetes пометил сервер как проблемный, и MongoDB решила “умереть”. Трижды проверяю команду, зачищаю папку на диске, через Bashtop проверяю, что всё в порядке: на одном диске стало много места, на втором, где находится база, тоже всё ок. Но сервер всё ещё тормозит, и для ускорения процесса решаю перезагрузить его.
Сервер перезагружается, но ClickHouse не стартует, ругается на разрешения папки. Захожу по SSH, обновляю права — сервис поднимается, но базы нет. Проверяю через Bashtop — диска нет! Проверяю размер диска — диск пустой, но пути на этот диск работают! Пять минут паники (слава богу, я проверял, что всё было на месте), и до меня доходит, что, скорее всего, что-то с монтированием диска.
Предыстория: у нас сервера на
Hetzner, и мы купили дополнительный диск на 7 ТБ. Монтировать его пришлось самостоятельно (автоматом ничего не заработало — трэш какой-то). Я понимаю, что, возможно, сейчас нужно как-то специально перезагрузить сервер, но спрашиваю GPT, что могло пойти не так и как это починить. Он советует выполнить команды для проверки дисков, места и монтирования. Пять минут выполнения команд и ругани — диск смонтирован, ура! Всё работает, и не нужно восстанавливать базу из бэкапов (а она, на минуточку, уже больше 2 ТБ). Всё приключение заняло 20 минут, но…
