Timeweb Cloud Alerts⚠️ Обновление по инциденту Зоны: ams-1 Тип: ❗️ Major Сетевая связность в ams-1 восстановлена. Инженеры продолжают поэтапное восстановление сервисов. Следующее обновление — через час или раньше, если изменится статус.
⚠️ Обновление по инциденту Зоны: ams-1 Тип: ❗️ Major
Продолжаем поэтапно поднимать сервисы в ams-1. На данный момент подняли 53% всех сервисов. После запускаем фикс зависших статусов в панели управления.
Ориентир на полное завершение работ — 1-2 часа.
Следующее обновление — после закрытия инцидента. По итогам отчета площадки выпустим постмортем.
Timeweb Cloud Alerts⚠️ Обновление по инциденту Зоны: ams-1 Тип: ❗️ Major Инженеры площадки Qupra начали поэтапный запуск оборудования. На текущий момент часть систем уже поднята. Наша команда приступила к проверке инфраструктуры, запуску коммутации и сетевых сервисов. Следующий…
⚠️ Обновление по инциденту Зоны: ams-1 Тип: ❗️ Major
Сетевая связность в ams-1 восстановлена. Инженеры продолжают поэтапное восстановление сервисов.
Следующее обновление — через час или раньше, если изменится статус.
Timeweb Cloud Alerts⚠️ Обновление по инциденту Зоны: ams-1 Тип: ❗️ Major Новый чиллер доставлен в дата-центр. Сейчас инженеры занимаются установкой и подключением оборудования. Работы на площадке продолжаются. После завершения монтажа и проверок перейдем к следующему этапу…
⚠️ Обновление по инциденту Зоны: ams-1 Тип: ❗️ Major
Инженеры площадки Qupra начали поэтапный запуск оборудования. На текущий момент часть систем уже поднята.
Наша команда приступила к проверке инфраструктуры, запуску коммутации и сетевых сервисов. Следующий этап — запуск нод и дальнейшее восстановление.
По результатам проверок и восстановительных работ выпустим апдейт.
Timeweb Cloud Alerts⚠️ Обновление по инциденту Зоны: ams-1 Тип: ❗️ Major Работа панели управления восстановлена — нагрузка стабилизирована, оптимизации применены. В дата-центре работы продолжают инженеры вендора системы кондиционирования. Следующее обновление — к 18:00 мск.…
⚠️ Обновление по инциденту Зоны: ams-1 Тип: ❗️ Major
Новый чиллер доставлен в дата-центр. Сейчас инженеры занимаются установкой и подключением оборудования.
Работы на площадке продолжаются. После завершения монтажа и проверок перейдем к следующему этапу восстановления сервисов.
Следующее обновление — по статусу запуска и результатам проверок.
Timeweb Cloud Alerts⚠️ Обновление по инциденту Зоны: ams-1 Тип: ❗️ Major Работы по восстановлению системы охлаждения в дата-центре продолжаются. За простой в зоне ams-1 за 23, 26 и 27 мая будет сделан перерасчет после полного восстановления площадки. Следующее обновление —…
⚠️ Обновление по инциденту Зоны: ams-1 Тип: ❗️ Major
Работа панели управления восстановлена — нагрузка стабилизирована, оптимизации применены.
В дата-центре работы продолжают инженеры вендора системы кондиционирования.
Следующее обновление — к 18:00 мск. Ориентируемся к этому времени на старт работ по запуску площадки.
Timeweb Cloud Alerts⚠️ Обновление по инциденту Зоны: ams-1 Тип: ❗️ Major Сегодняшний пик нагрузки на ПУ оказался выше вчерашнего — добавленных ресурсов хватило, но все равно на один из модулей идет повышенная нагрузка. Сейчас оптимизируем нагрузку в самом коде ПУ, чтобы снизить…
⚠️ Обновление по инциденту Зоны: ams-1 Тип: ❗️ Major
Работы по восстановлению системы охлаждения в дата-центре продолжаются.
За простой в зоне ams-1 за 23, 26 и 27 мая будет сделан перерасчет после полного восстановления площадки.
Следующее обновление — через час или раньше, если изменится статус.
Timeweb Cloud Alerts⚠️ Обновление по инциденту Зоны: ams-1 Тип: ❗️ Major Продолжаются восстановительные работы на системе кондиционирования в дата-центре Qupra. Привлечены дополнительные инженеры. Следующее обновление — через час или раньше, если изменится статус.
⚠️ Обновление по инциденту Зоны: ams-1 Тип: ❗️ Major
Сегодняшний пик нагрузки на ПУ оказался выше вчерашнего — добавленных ресурсов хватило, но все равно на один из модулей идет повышенная нагрузка. Сейчас оптимизируем нагрузку в самом коде ПУ, чтобы снизить ресурсопотребление на запрос.
Timeweb Cloud Alerts⚠️ Обновление по инциденту Зоны: ams-1 Тип: ❗️ Major Система охлаждение в машинном зале в эту минуту полностью выключилась. Инженеры дата-центра занимаются перезапуском чиллеров. Для предотвращения потери данных и выхода из строя оборудования принято решение…
⚠️ Обновление по инциденту Зоны: ams-1 Тип: ❗️ Major
Продолжаются восстановительные работы на системе кондиционирования в дата-центре Qupra. Привлечены дополнительные инженеры.
Следующее обновление — через час или раньше, если изменится статус.
Timeweb Cloud Alerts🛑 Сетевая недоступность в Нидерландах Зоны: ams-1 Тип: ❗️ Major Фиксируем повторный инцидент на системе кондиционирования в дата-центре Qupra в Нидерландах. По запросу дата-центра снижаем нагрузку на серверах — возможно замедление работы серверов и кратковременная…
⚠️ Обновление по инциденту Зоны: ams-1 Тип: ❗️ Major
Система охлаждение в машинном зале в эту минуту полностью выключилась. Инженеры дата-центра занимаются перезапуском чиллеров. Для предотвращения потери данных и выхода из строя оборудования принято решение временно обесточить все стойки.
Ориентировочное время восстановления охлаждения в дата-центре Qupra — около 1 часа, затем потребуется время на постепенный запуск стоек. Сроки могут увеличиться — будем держать в курсе.
Следующее обновление — через час или раньше, если изменится статус.
Timeweb Cloud Alerts⚠️ Обновление по инциденту Зоны: ams-1 Тип: ❗️ Major Коммутаторы во всех стойках запущены в работу, большая часть серверов снова доступны. 19 нод не запустились автоматически после отключения, инженеры запускают их в ручном режиме. Следующий апдейт будет…
✅ Инцидент закрыт Зоны: ams-1 Тип: ❗️ Major
Все оставшиеся VDS запущены в ручном режиме. Сервисы в зоне ams-1 работают штатно, инфраструктура стабилизирована.
Timeweb Cloud Alerts⚠️ Обновление по инциденту Зоны: ams-1 Тип: ❗️ Major Температура в машинном зале дата-центра снижается, серверы постепенно запускаются. Следующий апдейт в течение часа.
⚠️ Обновление по инциденту Зоны: ams-1 Тип: ❗️ Major
Коммутаторы во всех стойках запущены в работу, большая часть серверов снова доступны. 19 нод не запустились автоматически после отключения, инженеры запускают их в ручном режиме.
Следующий апдейт будет по итогам запуска оставшихся нод.
Timeweb Cloud Alerts⚠️ Обновление по инциденту Зоны: ams-1 Тип: ❗️ Major Возникла проблема с доступностью коммутаторов в нескольких стойках. В инциденте затронуты еще 34 ноды. Ожидаем информацию от инженеров дата-центра по времени восстановления. Следующий апдейт дадим…
⚠️ Обновление по инциденту Зоны: ams-1 Тип: ❗️ Major
Инженеры дата-центра сейчас запускают систему охлаждения и параллельно подключают резервные контуры для снижения температуры в машинном зале. Более подробной информации от площадки пока нет.
Часть оборудования в зоне ams-1 по-прежнему недоступна. Со своей стороны держим связь с инженерами дата-центра и готовы запустить инфраструктуру сразу после стабилизации температуры в зале.
Timeweb Cloud Alerts🛑 Сетевая недоступность в Нидерландах Зоны: ams-1 Тип: ❗️ Major Сегодня в дата-центре Qupra в Нидерландах повторно зафиксирован инцидент с электропитанием — второй за последнюю неделю после сбоя 23 мая. Часть оборудования в зоне ams-1 в моменте недоступна.…
⚠️ Обновление по инциденту Зоны: ams-1 Тип: ❗️ Major
Наблюдаются проблемы с системой охлаждения. Часть оборудования в зоне ams-1 в моменте недоступна, аффект на 7% нод в локации.
По запросу дата-центра снижаем нагрузку на серверах — возможно замедление работы серверов и кратковременная недоступность отдельных сервисов.
🛑 Сетевая недоступность в Нидерландах Зоны: ams-1 Тип: ❗️ Major
Сегодня в дата-центре Qupra в Нидерландах повторно зафиксирован инцидент с электропитанием — второй за последнюю неделю после сбоя 23 мая. Часть оборудования в зоне ams-1 в моменте недоступна.
Восстановление электропитания находится в зоне ответственности площадки. Наши инженеры на постоянной связи с командой дата-центра, отслеживают ход работ и готовы немедленно приступить к запуску инфраструктуры сразу после подачи питания.
Timeweb Cloud AlertsСегодня c 15:00 до 18:00 мск на стороне дата-центра Qupra в Нидерландах проводятся аварийные работы — специалисты площадки апгрейдят систему охлаждения машинных залов. Это реакция на инцидент 23 мая, тогда из-за жаркой погоды в Амстердаме произошла авария…
Обновление системы охлаждения дата-центра завершено. Оборудование работает в штатном режиме.
Сегодня c 15:00 до 18:00 мск на стороне дата-центра Qupra в Нидерландах проводятся аварийные работы — специалисты площадки апгрейдят систему охлаждения машинных залов.
Это реакция на инцидент 23 мая, тогда из-за жаркой погоды в Амстердаме произошла авария по электропитанию — система кондиционирования не справилась, и был обесточен машинный зал, поэтому наша инфраструктура в это время была недоступна.
Работы проводят инженеры дата-центра. На это время по их запросу мы снижаем нагрузку на серверах — возможно замедление работы серверов и кратковременная недоступность отдельных сервисов.
Держим связь с площадкой и следим за ситуацией. Сообщим, как появится новая информация.
Все оставшиеся VDS дозапущены в ручном режиме — количество запущенных виртуальных машин вернулось к доаварийным значениям. Сервисы в зоне ams-1 работают штатно, инфраструктура стабилизирована.
Подробный постмортем с разбором причин опубликуем отдельно.
