Cloudflare 管理面板以及API服务不可用

事件
北京时间22:58左右，Cloudflare核心数据中心数据库集群同步复制错误，涉及Cloudflare API相关服务不可用

影响
登录/注册、DNS解析变更、CDN配置更新、API等功能服务受限或降级不可用
*已配置生效的CDN及防火墙相关功能服务不受影响

进度
23:30，登录恢复可用
00:50，域名解析（DNS）管理、CDN配置更新恢复可用
01:34，部分用户登录管理面板遇到身份验证问题
03:25，已确定找到与数据库复制问题有关的根本原因（错误配置）。它与任何外部事件或流量无关。正在努力完全恢复数据库集群。目前已恢复了大多数具有副本的功能服务，用户访问管理面板可看到延迟增加和间歇性服务不可用，在大多数情况下，这些问题可通过重试刷新解决，一小时后将再更新一次
04:37，数据库副本正在继续还原。没有配置或流量数据丢失，对流经边缘节点（CDN）的流量没有影响。正监视数据库集群恢复进度，努力提高整体服务可用性。用户使用管理面板将看到延迟增加和间歇性不可用，遇到异常刷新页面重试解决，半小时内再更新一次
05:27，预期数据库副本已还原并重新可用，即将还原更多数据库副本。服务已恢复至正常水平，部分功能服务延迟生效（例如SSL）有大量积压的证书要分发部署更新到边缘节点使生效
06:59，已解决

事件追踪
Cloudflare Dashboard and API service issues

故障复盘
A Byzantine failure in the real world
起因 部分交换机故障
引发 etcd开始出错
触发 副本升级为主数据库
尝试 重建数据库副本时过载
历时 6小时33分钟

#服务 #故障 #不可用
Via @Cloudflare_CN