TGViewer
Channel Public Channel
Timeweb Cloud Alerts

Timeweb Cloud Alerts

@timewebcloud_alerts

Краткие оповещения о работе сервисов Клауда в реалтайме ⚡️

Новости: @timewebru
Медиа: @twc_media
Ченжлог: @twc_changelog
Open in Telegram
Subscribers
26.5K
Photos
3
Videos
0
Links
19

Showing posts older than #299 · Back to latest

Older Posts 20 shown
Post #298 13.7K
⚠️Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

На текущий момент восстановлено около 85% виртуальных машин в зоне ams-1. По оставшимся нодам ведётся индивидуальный разбор: инженеры диагностируют причины, по которым они не вернулись в работу автоматически после восстановления электропитания, и поэтапно вводят их в строй.

Следующий апдейт — через час.
  • 🔥 53
  • 😢 25
  • 👍 21
  • ❤ 8
  • 🙏 8
  • 🎉 4
  • 😱 3
Post #297 15.3K
⚠️Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

После прибытия инженера на площадку и проведённой диагностики электропитания работы по восстановлению были запущены. На текущий момент фиксируем положительную динамику — доступность сервисов в зоне ams-1 начала восстанавливаться.

Продолжаем контролировать ситуацию на месте. Следующий апдейт — через час.
  • 👍 79
  • 😱 31
  • 😢 29
  • 🔥 21
  • 🎉 12
  • ❤ 10
  • 🙏 8
  • ❤‍🔥 1
  • 👌 1
Post #296 20.5K
⚠️Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Подтверждённая причина — проблемы с электропитанием в дата-центре. Для дальнейших действий по восстановлению необходима диагностика оборудования на месте: инженер уже выехал на площадку, ожидаемое прибытие — в течение часа.

Следующий апдейт — в течение 2 часов.
  • 😢 247
  • 😱 70
  • 🙏 30
  • ❤ 11
  • 🎉 5
  • 👏 4
  • 👌 4
  • ❤‍🔥 3
  • 🔥 3
Post #295 17.6K
🛑Проблема с сетевой доступностью
Зоны: ams-1
Тип: ❗️ Major

Зафиксирована недоступность части сервисов в зоне ams-1. Инженеры изучают масштаб затронутых компонентов и работают над восстановлением.

Следующий апдейт — через 30 минут.
  • 😱 134
  • 😢 73
  • 🔥 12
  • 🙏 9
  • ❤ 6
  • 👏 4
  • 🎉 4
  • 👍 2
Post #294 18.9K
Timeweb Cloud Alerts ✅ Вернули корректное отображение баланса в панели управления. Создание новых сервисов и изменение конфигурации текущих работают в штатном режиме.
Разбор инцидента с балансами и блокировкой аккаунтов 4 мая

Что произошло
4 мая во время плановых работ с базой данных возникла техническая ошибка. В 19:45 мск была запущена миграция, которая из-за асинхронного выполнения в продакшн-среде привела к некорректному отображению балансов.

Последствия
В 20:00 система биллинга зафиксировала «нулевые балансы» и автоматически инициировала блокировку аккаунтов за неуплату. Автоматика приостановила процесс на отметке ~4500 аккаунтов.

Статус
К 5 мая в 00:36 мск все аккаунты разблокированы, корректность балансов восстановлена.

Всем затронутым пользователям будет начислена индивидуальная компенсация в ближайшее время.

Что меняем
Биллинг переводится в режим техосблуживания на время плановых и аварийных работ — отменяются любые блокирующие действия с аккаунтами. Также изменили пороговые значения для ложных блокировок и добавили временной лаг между решением и фактической блокировкой.
  • 🔥 103
  • 👍 50
  • 🙏 21
  • ❤ 9
  • 🎉 7
  • 😱 6
  • 😢 5
  • ❤‍🔥 3
  • 👌 3
  • 👏 2
Post #293 15K
Timeweb Cloud Alerts 🛑 Возникли технические неполадки во время проведения работ с базой данных. В личных кабинетах может отображаться нулевой баланс. Также может не отображаться список сервисов. Инженеры уже занимаются решением проблемы.
✅ Вернули корректное отображение баланса в панели управления.

Создание новых сервисов и изменение конфигурации текущих работают в штатном режиме.
  • 🔥 32
  • 👏 12
  • 😢 7
  • 👍 6
  • 🎉 6
  • ❤ 2
  • 🙏 2
Post #292 14.6K
Timeweb Cloud Alerts Работа сервисов, созданных до начала инцидента, полностью восстановлена. Было задето: 3927 аккаунтов Даунтайм: с 20:05 по 22:45 мск Сейчас мы фокусируемся на том, чтобы вернуть возможность создания новых ресурсов и поправить отображение баланса. Инженеры…
Получили апдейт от инженеров — было затронуто 4514 аккаунтов.

Сейчас разбираемся с зависшими статусами в панели управления.
  • 😱 30
  • 😢 9
  • ❤ 8
  • ❤‍🔥 3
  • 🎉 3
  • 👏 2
  • 👌 2
  • 🔥 1
Post #291 13.9K
Timeweb Cloud Alerts 🛑 Возникли технические неполадки во время проведения работ с базой данных. В личных кабинетах может отображаться нулевой баланс. Также может не отображаться список сервисов. Инженеры уже занимаются решением проблемы.
Работа сервисов, созданных до начала инцидента, полностью восстановлена.

Было задето: 3927 аккаунтов
Даунтайм: с 20:05 по 22:45 мск

Сейчас мы фокусируемся на том, чтобы вернуть возможность создания новых ресурсов и поправить отображение баланса.

Инженеры продолжают работу до полного устранения неполадок. Разбор инцидента будет отдельно.
  • 😱 36
  • ❤ 22
  • 🎉 7
  • 🔥 5
  • 🙏 5
  • 😢 4
  • 👏 1
Post #290 12.4K
Timeweb Cloud Alerts В течение 10 минут ожидаем запуск остановленных сервисов. Создание новых сервисов сейчас недоступно.
Производим постепенный запуск остановленных сервисов. Планируемое время восстановления — 1 час.

Дополнительно уведомим о завершении.
  • 🙏 21
  • 😱 11
  • ❤ 8
  • 😢 5
  • 👍 4
  • 🔥 1
Post #289 12.7K
Timeweb Cloud Alerts 🛑 Возникли технические неполадки во время проведения работ с базой данных. В личных кабинетах может отображаться нулевой баланс. Также может не отображаться список сервисов. Инженеры уже занимаются решением проблемы.
В течение 10 минут ожидаем запуск остановленных сервисов.

Создание новых сервисов сейчас недоступно.
  • 🙏 41
  • 😢 28
  • 😱 10
  • ❤ 7
  • 🔥 1
Post #288 13.2K
🛑 Возникли технические неполадки во время проведения работ с базой данных.

В личных кабинетах может отображаться нулевой баланс. Также может не отображаться список сервисов. Инженеры уже занимаются решением проблемы.
  • 😱 87
  • 😢 32
  • 👌 9
  • 👏 6
  • ❤ 5
  • 🔥 3
  • 🎉 2
  • 🙏 2
  • ❤‍🔥 1
Post #287 17.2K
Timeweb Cloud Alerts 🛑 Аппаратная проблема на роутере в Амстердам. Сетевые инженеры занимаются восстановлением.
✅ Работы завершены, сетевой трафик восстановился. Сервисы работают в штатном режиме.
  • 👏 65
  • 👍 28
  • ❤ 21
  • 😢 5
  • 😱 4
  • 🙏 1
  • 👌 1
Post #286 18.6K
🛑 Аппаратная проблема на роутере в Амстердам.

Сетевые инженеры занимаются восстановлением.
  • 😱 166
  • 😢 70
  • 🎉 17
  • 🙏 11
  • 🔥 5
  • 👏 5
  • ❤ 3
  • 👌 3
  • ❤‍🔥 2
  • 👍 2
Post #285 20.8K
Timeweb Cloud Alerts ⚠️ Модернизация зарубежной инфраструктуры: локация Амстердам Сегодня проведем срочную модернизацию сетевого сегмента в Европе. Обновление оборудования позволит повысить отказоустойчивость международных каналов и обеспечить стабильную работу при высоких нагрузках.…
✅ Работы завершены, сетевой трафик восстановился. Сервисы и панель управления работают исправно.
  • 🔥 74
  • 👏 31
  • 👍 16
  • 😢 7
  • 🙏 7
  • 👌 4
  • ❤ 2
Post #284 21K
Timeweb Cloud Alerts ⚠️ Модернизация зарубежной инфраструктуры: локация Амстердам Сегодня проведем срочную модернизацию сетевого сегмента в Европе. Обновление оборудования позволит повысить отказоустойчивость международных каналов и обеспечить стабильную работу при высоких нагрузках.…
Работы полностью завершены. Работоспособность серверов в Амстердаме восстановлена в 12:00 мск.

На данный момент восстанавливается трафик: могут наблюдаться задержки в работе панели и сервисов.
  • 😢 141
  • ❤ 28
  • 🙏 11
  • 😱 5
  • 🎉 5
  • 👍 4
  • 👌 2
Post #283 22.9K
⚠️ Модернизация зарубежной инфраструктуры: локация Амстердам

Сегодня проведем срочную модернизацию сетевого сегмента в Европе. Обновление оборудования позволит повысить отказоустойчивость международных каналов и обеспечить стабильную работу при высоких нагрузках.

Старт работ: сегодня в 11:45 мск
Длительность: до 30 мин

Влияние на сервисы:

• Временная недоступность сервисов в Амстердаме на период перезагрузки
• В остальных локациях возможно снижение скорости из-за автоматического перестроения маршрутов

Инфраструктура в РФ работает в штатном режиме. О завершении работ тоже проинформируем.
  • 😱 109
  • 🙏 63
  • 😢 48
  • 👍 12
  • 👌 11
  • ❤ 5
  • 🔥 3
  • ❤‍🔥 2
  • 🎉 2
Post #282 18.3K
Постмортем инцидента в зоне MSK-1 (09.04-10.04)

Подготовили подробный разбор инцидента с дисковой подсистемой. Детали, таймлайн и принятые меры по ссылке ниже.

Подробный технический разбор →

Коротко о причинах
• Ошибка СХД спровоцировала reboot loop узлов хранения. Рекурсивные перезагрузки вызвали оверлоад шины данных.
• Зависание процессов виртуальных машин на уровне гипервизоров, I/O wait и сетевая недоступность из-за блокировки системных процессов ОС.

Что сделано
• Внедрены сценарии каскадных отказов в протоколы тестирования.
• Запущен подбор альтернативных СХД для диверсификации рисков.
• Автоматизирован сброс сессий гипервизора при зависшем I/O.
  • 🔥 86
  • 😱 27
  • ❤ 18
  • 😢 10
  • 🙏 7
  • 🎉 6
  • 👍 4
  • ❤‍🔥 3
  • 👌 2
Post #281 26.7K
Фиксируем массовые сообщения о недоступности сервисов Telegram (включая api.telegram.org).

Симптомы
• Ошибки подключения (timeout) при обращении к Bot API.
• Нестабильная работа интеграций и уведомлений через Telegram-ботов.
• Задержки в обновлении статусов в веб-версии мессенджера.

Данная проблема не связана с работами на стороне Timeweb Cloud и наблюдается у большинства провайдеров и дата-центров.

Рекомендуем временно использовать альтернативные каналы уведомлений, если ваши бизнес-процессы завязаны на Telegram API.
  • 😢 261
  • 😱 88
  • 👌 10
  • 👍 9
  • ❤ 7
  • 👏 7
  • 🎉 5
  • ❤‍🔥 2
  • 🔥 2
Post #280 15.6K
Timeweb Cloud Alerts ⚠️ Временные задержки в работе дисковой подсистемы В данный момент часть виртуальных машин в Москве может работать с повышенными задержками (latency). Причина: выявлены программные несоответствия в работе подсистемы хранения. В настоящий момент инженеры…
✅ Массовые перезагрузки нод завершены. Сейчас работаем точечно — проверяем подключение и корректную работу виртуальных машин.

Параллельно исправляем зависшие статусы сервисов в панели управления. На доступность это не влияет.

Разбор инцидента опубликуем позднее.
  • 👍 47
  • 😢 37
  • 🔥 12
  • 😱 11
  • 🙏 8
  • ❤ 5
  • 👌 2
Post #279 16K
Timeweb Cloud Alerts ⚠️ Временные задержки в работе дисковой подсистемы В данный момент часть виртуальных машин в Москве может работать с повышенными задержками (latency). Причина: выявлены программные несоответствия в работе подсистемы хранения. В настоящий момент инженеры…
Мы локализовали проблему с частичным отсутствием доступа по SSH и зависанием части виртуальных машин. Для их возвращения в строй инженерам необходимо провести перезагрузку нескольких нод в Москве.

Суммарное время работ составит до 2 часов, и до 15-20 минут для конкретных виртуальных машин в рамках этого окна.
  • 😱 162
  • 😢 81
  • ❤ 6
  • 🔥 3
  • 🎉 3
  • 🙏 3
  • 👍 2
  • 👏 1
Older posts →
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →