Cloudflare 7月18日离线故障复盘

Cloudflare骨干网络中的配置错误导致网络和Cloudflare服务中断，整个网络的流量下降了约50％，持续约 27 分钟

中断发生原因
在处理从纽瓦克到芝加哥的部分骨干网无关的问题时，我们的网络工程团队更新了亚特兰大路由器上的配置，以缓解拥塞。该配置错误的导致跨主干网的所有流量都发送到亚特兰大。这很快使亚特兰大路由器不堪重负，并导致连接到主干网的Cloudflare各网络节点陆续出现故障

受影响的地点
圣何塞，达拉斯，西雅图，洛杉矶，芝加哥，华盛顿特区，里士满，纽瓦克，亚特兰大，伦敦，阿姆斯特丹，法兰克福，巴黎，斯德哥尔摩，莫斯科，圣彼得堡，圣保罗，库里蒂巴和阿雷格里港
*其他地区节点脱离Cloudflare骨干网，继续正常运行

时间线
04:25 EWR和ORD之间的主干链路丢失
04:25 ATL和IAD节点之间的骨干网拥塞
05:12~05:39 ATL吸引了来自整个骨干网的流量
05:39至05:47 ATL从主干网中删除，服务恢复
05:47至05:10 核心拥塞导致某些日志服务性能下降，边缘节点继续运行
06:10 全面恢复，包括日志和指标

*题图标注了当前Cloudflare全球骨干网节点

通告
Cloudflare outage on July 17, 2020

#故障 #复盘