⚡️ Почему у Cloudflare опять переполох

Вчера Cloudflare пережил значимый инцидент, который показал, как мелкая оплошность в базе данных может привести к остановке сети.

Изменение в правах ClickHouse позволило сгенерировать слишком большой файл конфигурации для Bot Management, из-за чего система достигла лимитов и перестала корректно работать.

Особенность сбоя — частая переотправка файла с дефектами. Это создавало эффект качелей: сеть то падала, то частично восстанавливалась, усложняя диагностику. Первоначально команда даже подумала о DDoS-атаке — настолько непредсказуемо менялась картина.

В итоге инженерам пришлось вручную остановить генерацию новых конфигураций и откатить к проверенной версии.

➡️ Ответ от Cloudflare

🐸 Библиотека devops'a

#разбор_полётов