Домен
sysadmin.pm восстановлен и работает в обычном режиме. За оперативное решение проблемы я должен сказать спасибо поддержке
cloudns.net, я в очередной раз убедился в том, что они большие молодцы. Короткий postmortem, так как некоторые просили о нём. Причин у произошедшего две:
1. Человеческий фактор. Т. е. я, который в силу происходящего сейчас в оффлайне не продлил во время домен, и не заметил сообщения о необходимости его продления в ящике.
2. Технический фактор. Тут вот интереснее. Произошло следующее - после истечения домена, он не был отключен вышестоящим регистратором. По какой-то причине, в двум моим NS добавились два парковочных NS регистратора (
*.ibspark.com).
ns-list: NSL52452-FRNIC
nserver: becky.ns.cloudflare.com
nserver: lou.ns.cloudflare.com
nserver: ns1.ibspark.com
nserver: ns2.ibspark.com
source: FRNIC
Это привело к очень интересным последствиям (и тот, кто сталкивался с проблемами на уровне dns, скорее всего уже понимает к чему я). Для части интернета, домен продолжил быть доступен. Например,
8.8.8.8 по прежнему резольвил домен с правильного IP несколько дней, почта на этом домене частично работала вплоть до сегодняшней ночи. Но для части интернета, домен оказался не доступен, например
1.1.1.1 резольвил домен на IP, который отдавали парковочные NS.
Есть ли у меня мониторинг? Конечно же есть. Только вот он оказался с той частью интернета, для которой домен отдавался корректно. Равно как и сторонний мониторинг от UptimeRobot тоже. У меня есть несколько VPN серверов, и часть сконфигурирована с NS от Google, а часть с NS от Cloudflare. Так вот, проблему я сам заметил только после того, как переключился с одного VPN на другой (тот, который работает с неймсервером
1.1.1.1 от CF). Далее уже последовала перепроверка всего и обращение в поддержку.
Выводы. Ситуация достаточно банальна, на мой взгляд, и выводы тут соответствующие. Быть внимательнее к важным сообщениям (возможно, вывести их отдельно, что бы они были заметны даже в случае завала и текучки), включить автопродление домена, донастроить мониторинг с учётом произошедшего на уровне NS, и по возможности настроить мониторинг даты истечения домена.
Спасибо всем за советы, скрипты и фидбек.
ЗА 
