У вас есть Docker-контейнер, который запускается с помощью следующей команды:
docker run -d --name tricky_container -v /opt/app/logs:/app/logs my-app-image
Приложение внутри контейнера ежедневно генерирует важный лог-файл:
/app/logs/important.log
В течение дня файл корректно пишется и виден в директории на хосте:
/opt/app/logs/important.log
Но ежедневно ровно в 3:00 ночи файл внезапно исчезает из папки на хосте, хотя приложение продолжает работать без ошибок и даже продолжает писать логи. После перезапуска контейнера утром, файл снова появляется и снова становится видимым на хосте.
🎯 Задача для специалиста:
Выяснить причину исчезновения файла ровно в 3:00 ночи.
Объяснить, почему приложение продолжает успешно писать лог, хотя на хосте он не виден.
Предложить решение, которое предотвращает исчезновение файла.
🔍 Подсказки и ограничения (подвохи):
На хосте нет видимых cron-задач и systemd-таймеров, удаляющих файл.
Контейнер запускается без рестартов и остается активным круглосуточно.
Внутри контейнера тоже нет cron-задач.
Docker-контейнеры не пересоздаются автоматически.
Подсказка: хостовая папка /opt/app/logs монтируется на сетевой диск (NFS), и у неё есть внешнее резервное копирование с моментальными снимками (snapshots), которые делаются каждую ночь в 3:00.
🔧 Команды и подходы для расследования:
Шаг 1: Проверить состояние контейнера
docker ps
docker inspect tricky_container
docker logs tricky_container
Шаг 2: Проверить, есть ли файл внутри контейнера
docker exec -it tricky_container ls -l /app/logs/
docker exec -it tricky_container tail /app/logs/important.log
Шаг 3: Проверить монтирование томов и слои файловой системы
docker inspect tricky_container --format '{{json .Mounts}}' | jq
Шаг 4: Исследовать NFS-папку и поведение в момент создания snapshot
df -hT /opt/app/logs
mount | grep nfs
Шаг 5: Проверить inode-файл внутри контейнера и на хосте
docker exec tricky_container ls -li /app/logs/important.log
ls -li /opt/app/logs/important.log
🎲 Ответ :
Файл исчезает, потому что каждую ночь в 3:00 NFS-сервер создает snapshot папки /opt/app/logs, который включает операцию очистки или пересоздания директории.
В результате на хосте директория монтирования получает новый inode, и предыдущий файл перестаёт быть доступен через старый inode, хотя внутри контейнера файл с прежним inode остаётся открыт приложением и продолжает записываться, пока не закрыт.
То есть файл есть (открыт процессом приложения в контейнере), но на хосте его inode больше не соответствует новому inode директории, и файл становится «невидимым».
✅ Решение проблемы:
Приложению необходимо после каждой операции snapshot заново открывать файлы логов, либо перезапускать контейнер после snapshot.
Либо использовать локальное монтирование (local volume) вместо NFS с snapshot, либо настроить snapshot так, чтобы он не менял inode директории.
@DevopsDocker