👉 Публикуемся через @dezhurka_hellgate_bot
😈 Анонимный выброс боли, кринжа и безумия из айти-дешёвки.
🤫 Всё, что не осмелился сказать на стендапе — скажи здесь.
🔥 Добро пожаловать в Дежурку Ада. Мы горим красиво.
Post #351
759

Он запустил rm -rf
... в shell, воткнутом в БОЕВУЮ базу. Пока жал Ctrl+C (Галя, отмена!), из 300 гигов прода осталось 4.5.😱
Реальная история, которая произошла 31 января 2017. Инженер GitLab чистил спам и снёс каталог с данными в проде. А дальше начался настоящий ад. У компании было ПЯТЬ методов бэкапа. Дословно из их же постмортема: «5 из 5 методов бэкапа не сработали». Снапшоты выключены, дампы битые, S3 пустой, репликация отвалилась — по всем пяти дверям пусто. Спасла их СЛУЧАЙНАЯ staging-копия, которую кто-то снял вручную часов шесть назад. Просто повезло, что она вообще существовала. Прод крупной компании висел на волоске от «случайно снятого» бэкапа полудневной свежести. Потеряли ~6 часов данных: тысячи проектов, комментов и аккаунтов. А потом GitLab сделал то, что вошло в историю: вёл восстановление прода в ПРЯМОМ ЭФИРЕ на YouTube, где тысячи разрабов смотрели, как чинят труп.
Байки про «джун удалил прод в первый день» травят на каждой кухне. А вот реальный кейс — с постмортемом и именитой компанией. И вопрос он задаёт тебе: а твои-то бэкапы точно живые? Ты restore хоть раз своими руками проверял? Или они у тебя тоже «шрёдингеровские» — вроде есть, а вроде и нихуя))
Раскалывайся! Ты удалял прод, базу, ветку или чужую работу? Восстановился — или бэкап оказался пустышкой? На сколько данных попал, как выкручивался, кто узнал первым?
Исповеди «я удалил прод» ждём от тебя — в @dezhurka_hellgate_bot. Анонимность ГАРАНТИРУЕМ! Форварни коллеге, у которого «бэкапы точно есть, но это не точно. 🔥😈
... в shell, воткнутом в БОЕВУЮ базу. Пока жал Ctrl+C (Галя, отмена!), из 300 гигов прода осталось 4.5.😱
Реальная история, которая произошла 31 января 2017. Инженер GitLab чистил спам и снёс каталог с данными в проде. А дальше начался настоящий ад. У компании было ПЯТЬ методов бэкапа. Дословно из их же постмортема: «5 из 5 методов бэкапа не сработали». Снапшоты выключены, дампы битые, S3 пустой, репликация отвалилась — по всем пяти дверям пусто. Спасла их СЛУЧАЙНАЯ staging-копия, которую кто-то снял вручную часов шесть назад. Просто повезло, что она вообще существовала. Прод крупной компании висел на волоске от «случайно снятого» бэкапа полудневной свежести. Потеряли ~6 часов данных: тысячи проектов, комментов и аккаунтов. А потом GitLab сделал то, что вошло в историю: вёл восстановление прода в ПРЯМОМ ЭФИРЕ на YouTube, где тысячи разрабов смотрели, как чинят труп.
Байки про «джун удалил прод в первый день» травят на каждой кухне. А вот реальный кейс — с постмортемом и именитой компанией. И вопрос он задаёт тебе: а твои-то бэкапы точно живые? Ты restore хоть раз своими руками проверял? Или они у тебя тоже «шрёдингеровские» — вроде есть, а вроде и нихуя))
Раскалывайся! Ты удалял прод, базу, ветку или чужую работу? Восстановился — или бэкап оказался пустышкой? На сколько данных попал, как выкручивался, кто узнал первым?
Исповеди «я удалил прод» ждём от тебя — в @dezhurka_hellgate_bot. Анонимность ГАРАНТИРУЕМ! Форварни коллеге, у которого «бэкапы точно есть, но это не точно. 🔥😈
- ❤ 7
- 🔥 4
- ❤🔥 1




