Разбор сетевой проблемы

29 октября с 11:00 мск зафиксировали проблемы с сетью на некоторых облачных серверах.

Причина — ошибка в новой конфигурации во время планового рефакторинга сетевых сервисов, отвечающих за старт сети при создании и миграции облачных серверов.

Это привело к тому, что стартовый скрипт, поднимающий сеть, некорректно обрабатывал события запуска и рестарта облачных серверов.

Хронология событий:

11:00 — заметили проблему с недоступностью части серверов, приступили к локализации.

11:57 — выпустили минорный фикс и для части серверов серверов восстановили доступность. Проблема сохранялась на вновь запускаемых облачных сервисах и части сервисов, которым фикс не помог.

12:32 — доставили финальный фикс в прод по всем нодам. По первичной оценке восстановление ожидалось в течение 20 минут.

13:36 — финальное исправление для небольшой части серверов заняло больше времени (ETA ~2 часа). Было рекомендовано временное решение — выключить и включить сервер в панели управления (простая перезагрузка не помогала).

14:28 — восстановили работу всех сервисов.

Что сделали:

Ввели дополнительные ручные проверки и алгоритм канареечного деплоя, чтобы в будущем уменьшить влияние на клиентские сервисы.