Сегодня мы подвели весь интернет. Проблема в сети Cloudflare ударила по огромным объёмам трафика. Сайты, компании и организации, которые используют Cloudflare, рассчитывают на нашу доступность, и я прошу прощения за тот ущерб, который мы причинили. Это не была атака. Та проблема, тот ущерб, который она вызвала, и то, сколько заняло восстановление — всё это неприемлемо
18 ноября 2025 года, Cloudflare устроил глобальный сбой — с 11:20 до 17:06 UTC (почти 6 часов хаоса). Это была классическая "тихая бомба" в конфигурации. Хронология событий:
11:20 Начало деградации — трафик не проходит через сеть Cloudflare. Пользователи видят HTTP 5xx-ошибки.11:20–12:00 Подозрение на DDoS, статус-страница тоже падает.12:00–14:30 Диагностика: проблема в Bot Management. Конфигурационный файл (feature file для ML-модели ботов) удвоился из-за бага в ClickHouse-запросе (дубликаты строк). Файл превысил лимит размера, вызвав краш в прокси-софте (FL и FL2).14:30 Основной трафик восстанавливается — остановили распространение файла и вернули старую версию.14:30–17:06 Зачистка последствий — повышенная нагрузка от возвращающегося трафика. Полное восстановление.Затронутые сервисы:
⚪️ Core proxy (FL/FL2) — 5xx-ошибки
⚪️ Workers KV и Access — сбои
⚪️ сайты с bot-blocking правилами — ложные срабатывания (бот-скоры = 0)
Корень проблемы:
Баг в правах базы данных (ClickHouse) — дубликаты записей в feature file (конфиг для ML-модели Bot Management). Файл обновляется каждые несколько минут и распространяется по сети для адаптации к бот-угрозам.
👉 Смотреть полный разбор инцидента
@DevOpsKaz 😛