🛑 Сетевая недоступность 🌐 Зона: KZ ⚒️ Проблема: Наблюдаем недоступность управления серверами в локации Казахстан и её связность с другими зонами Timeweb. При этом внешняя доступность серверов из интернета сохраняется. Инженеры погружены в выявление проблемы и её решение.
Timeweb Cloud Alerts🟢 Работы завершены. Для затронутых серверов на обновленных нодах сеть поднимается автоматически. Позже опубликуем разбор инцидента.
Разбор сетевой проблемы
29 октября с 11:00 мск зафиксировали проблемы с сетью на некоторых облачных серверах.
Причина — ошибка в новой конфигурации во время планового рефакторинга сетевых сервисов, отвечающих за старт сети при создании и миграции облачных серверов.
Это привело к тому, что стартовый скрипт, поднимающий сеть, некорректно обрабатывал события запуска и рестарта облачных серверов.
Хронология событий:
11:00 — заметили проблему с недоступностью части серверов, приступили к локализации.
11:57 — выпустили минорный фикс и для части серверов серверов восстановили доступность. Проблема сохранялась на вновь запускаемых облачных сервисах и части сервисов, которым фикс не помог.
12:32 — доставили финальный фикс в прод по всем нодам. По первичной оценке восстановление ожидалось в течение 20 минут.
13:36 — финальное исправление для небольшой части серверов заняло больше времени (ETA ~2 часа). Было рекомендовано временное решение — выключить и включить сервер в панели управления (простая перезагрузка не помогала).
14:28 — восстановили работу всех сервисов.
Что сделали:
Ввели дополнительные ручные проверки и алгоритм канареечного деплоя, чтобы в будущем уменьшить влияние на клиентские сервисы.
Timeweb Cloud AlertsФикс запущен, доступность большинства виртуальных серверов восстановлена. Для части клиентов исправление ожидается в течение 20 минут.
Финальное исправление для небольшой части серверов проходит дольше запланированного. ETA приблизительно 2 часа.
Проблему можно решить самостоятельно через рестарт сервера – для этого необходимо выключить и включить сервер в панели управления. Обычная перезагрузка не решит проблему.
Timeweb Cloud AlertsДля большой части уже созданных серверов неполадки с доступностью устранены. Проблема сохраняется для вновь запускаемых серверов, работаем над исправлением.
Фикс запущен, доступность большинства виртуальных серверов восстановлена. Для части клиентов исправление ожидается в течение 20 минут.
Timeweb Cloud Alerts🛑 Авария на трассе Франкфурт - Москва Могут быть задержки и замедления. Сетевые инженеры перераспределяют трафик до момента устранения аварии.
Timeweb Cloud Alerts🛑 Возник программный сбой в работе S3-хранилища. Это влияет на доступность реестра контейнеров. Уже решаем проблему. Все данные на месте.
Timeweb Cloud Alerts🛑 Сбой в работе с образами в панели управления. Создание образов недоступно. Наши инженеры уже занимаются восстановлением. Остальные сервисы работают в штатном режиме.
✅ Создание образов работает исправно, неполадки устранены.
Timeweb Cloud AlertsС 19 августа у части клиентов возникает кратковременная недоступность при подключении к серверам — примерно на 10 минут. Сами серверы работают нормально: пинг проходит, трафик идет, другие пользователи заходят без проблем. Что помогает клиентам • Смена IP…
Решение сетевой проблемы
Разобрались в ситуации и делимся результатами. По последним данным — проблема обнаружена и устранена на стороне операторов связи.
Причина инцидента: технические ошибки в фильтрации на промежуточном оборудовании вне нашей сети и зоны ответственности.
Что выяснили:
• Наша сеть не подвергалась блокировкам или ограничениям • Внутренняя инфраструктура работала стабильно — задержки и трафик не демонстрировали аномалий • Корректировка системы фильтрации полностью решила проблему
Сейчас подключение стабилизировано, сбоев не наблюдается. Мы продолжаем усиливать координацию с операторами, чтобы быстрее выявлять подобные инциденты.
