Facebook的MySQL数据库遍布在我们位于全球的数据中心内,我们必须能在任何时间内从任何位置发生的故障中恢复。在发生此类灾难事件后,不仅需要尽量快速可靠地恢复服务,而且需要确保整个过程不会丢失任何数据。为此我们构建了一套能够对从备份中恢复数据库的能力进行持续不断测试的系统。我们的还原系统包含两个重要组件:持续还原层(ContinuousRestoreTier,CRT)-负责对所有还原操作进行调度和监控。该组件会查找包含新备份的数据库,为其创建还原作业,监控还原过程,并确保每个备份可以成功还