4月15日晚Cloudflare管理面板以及API服务重大故障起因简述
起因
运维人员按计划在核心数据中心一个机柜更换设备,断开了机柜上的交换机连接,造成单点网络故障使得主核心数据处理中心(包含:主控制面板和数据库)与其它数据中心的网络连接中断,导致以下功能服务不可用:
Logging into the Dashboard
Using the API
Making any configuration changes (such as changing a DNS record)
Purging cache
Running automated Load Balancing health checks
Creating Argo Tunnel connections
Creating or updating Cloudflare Workers
Transferring domains to Cloudflare Registrar
Accessing Cloudflare Logs and Analytics
Encoding videos on Cloudflare Stream
Logging information from edge services (customers will see a gap in log data)
*即用户除无法访问管理面板、正常使用API管理更新应用配置和刷新缓存外,Cloudflare网络服务正常运行:代理访问回源、应用服务正常工作;Magic Transit,Cloudflare Access和Cloudflare Spectrum正常运行,所有安全服务(WAF等)正常运行
修复
北京时间4月16日
03:44,启用了10Gbps备用线路
03:51,线路修复1/4
03:52,管理面板以及API服务可用
04:16,线路修复2/4
04:19,线路修复3/4
04:31,修复了所有线路
事件:Cloudflare Dashboard and API Outage on April 15, 2020
Post #94
2.01K
Cloudflare 在中国频道 Cloudflare管理面板以及API服务异常 查看事件进度 北京时间 4月15日 23:38,出现:无法正常访问Cloudflare管理面板,大部分API接口不可用(返回非预期错误信息) 4月16日 00:01,对管理面板以及API服务展开调查 00:38,调查管理面板以及API服务所处数据中心网络连接问题 01:00,开始尝试修复 01:39,事件严重程度变更为:重大;主体核心服务离线维护状态,尝试修复到核心数据中心的网络连接 03:11,派遣网络工程师前往现场对设备进行故障排除,HKG节点网络异常(网络延迟响应、丢包)…
