Cloudflare 管理面板以及API服务故障不可用

事发
北京时间11月2日晚上19:40分前后，陆续有多人反馈Cloudflare管理面板以及API服务不可用，API响应错误提示 504、1020、10000

影响
Logpush、WARP/零信任设备状态、管理面板、API服务、Stream API、Workers API、警报通知等系统
*未受影响部分: CDN、Magic Transit、Argo 智能路由、Workers KV、WAF、速率限制、规则(更新)、 WARP / 零信任注册、等候室、负载平衡和运行状况检查、Pages、零信任网关、DNS 权威和辅助、隧道、Workers KV 命名空间操作、Magic WAN、图片存储处理分发服务

进度
11月2日(UTC+8)
19:54 宣告事件已知
20:07 确认API以及API相关联的服务不可用
20:33 着手调查事故原因
21:18 调查排查事故原因尝试寻找解决方案
21:40 评估停电对数据中心的影响
21:58 尝试对主体服务进行迁移
23:31 对主体服务进行故障转移，期间部分服务不可用
11月3日
01:08 北美核心数据中心的电力已部分恢复，将一些核心服务故障转移到备用数据中心后，已有部分服务可用，目前正努力恢复其余受影响的服务并尝试让北美核心数据中心重新恢复上线
11月4日
12:25 所有应用服务恢复

事故分析
服务商电力系统故障导致核心数据中心断电离线，部分服务依赖核心数据中心引发单点故障，事故持续约36小时
Post Mortem on Cloudflare Control Plane and Analytics Outage

Cloudflare Dashboard and API service issues
#故障 #不可用 #事件
Via @Cloudflare_CN