#shitcode
Как-то так получилось, что в очередной раз у нас фиаско, за которое пц стыдно.
Не смотря на то, что основная масса баз у нас -- это DBaaS(облачка), все же есть и пара своих инсталяций на VM. Ничего не предвещало беды, но тут завопили мониторы а-ля "братишки, у вас даунтайм". Выяснилось, что на одной из таких виртуалок закончилось место и базенка перестала обрабатывать транзакции. Где был мониторинг на диски? А не было его! Забыли(
Дальше-больше! Выяснилось, что система и данные лежали на одном диске, т.е. из-за объевшейся базы система не могла сделать практически ничего.
Ладно, диски увеличили, базу запустили и выяснили, что 90% содержимого не нужно. Совсем! Просто лень было написать крон-джоб что бы вычистить мусор.
Кароч, поцоны и поцонессы, мораль сей басни такова: мониторьте на всех уровнях, думайте сразу о ЖЦ данных и будет вам счастье!