2021 年某云厂商机房起火,多家客户数据永久丢失;更早之前还有机房断电、光纤被挖断、机房进水的事故。这些事件的共同教训是:同一机房内的多副本只防硬件故障,不防机房级灾难。真正的数据安全必须跨机房。但跨机房带来的新问题也很棘手——网络延迟让复制追不上、专线带宽贵、延迟抖动导致半同步频繁降级、以及最难的:你从来没真正演练过恢复,不知道那堆备份到底能不能用。本文从架构选择讲到延迟治理,再到恢复演练的完整流程。
一、先定容灾目标:同城、异地与两地三中心
不同的容灾等级对应完全不同的成本和复杂度。选型前必须明确业务能接受多大的数据丢失(RPO)和多长的恢复时间(RTO)。
| 方案 | 机房距离 | 网络延迟 | RPO | RTO | 成本 | 适用场景 |
|---|---|---|---|---|---|---|
| 同城双活 | < 100 km | 1-3 ms | 0 | 秒级 | 高 | 核心交易,需要真正双写 |
| 同城主备 | < 100 km | 1-3 ms | 秒级(半同步可达 0) | 分钟级 | 中高 | 核心业务,可自动切换 |
| 两地三中心 | 同城 + 异地 | 同城 1-3ms / 异地 20-50ms | 同城 0 / 异地秒到分钟级 | 分钟到十分钟 | 很高 | 金融、支付等强监管行业 |
| 异地异步灾备 | > 500 km | 20-50 ms | 秒到分钟级 | 10-30 分钟 | 中 | 大多数互联网业务 |
| 异地冷备(仅备份) | 任意 | — | 上次备份时间点(通常小时级) | 小时级 | 低 | 非核心、可容忍较大丢失 |
关键判断依据:网络延迟决定了你能用什么复制方式。
- 同城(1-3ms):可以用半同步复制甚至 Group Replication 的多数派确认,做到 RPO=0。因为每次提交多等 1-3ms 是可接受的。
- 异地(20-50ms):绝对不要用半同步。每个事务提交多等 30ms,TPS 会从几千掉到几十,而且网络抖动时会频繁触发超时降级,主库性能剧烈波动。异地必须用异步复制,接受秒级 RPO。
- 跨公网:必须加密(TLS 或专线),并且压缩 binlog 传输。
二、跨机房复制的部署
2.1 基础架构:级联复制缓解带宽压力
如果异地有多个从库,不要让它们都直接从主库拉 binlog——主库出向带宽会成为瓶颈,而且主库的 binlog dump 线程数量有限。正确做法是用级联复制:主库只在同城推给一个中继节点,由中继节点向异地分发。
主库(机房 A)
├── 从库 A1(同城,半同步,用于切换候选)
├── 从库 A2(同城)
└── 中继从库(机房 B 或机房 A,log_slave_updates=ON)
├── 从库 B1(异地)
└── 从库 B2(异地)
# 中继从库的关键配置:必须开启 log_slave_updates(8.0 为 log_replica_updates) # 否则它不会把从主库收到的变更写进自己的 binlog,下游无从可拉 [mysqld] log_bin = /data/mysql/binlog/mysql-bin log_slave_updates = ON # 8.0.26+ 可用 log_replica_updates binlog_format = ROW gtid_mode = ON enforce_gtid_consistency = ON # 验证:中继从库的 binlog 应该在持续增长 SHOW MASTER STATUS;
2.2 建立跨机房复制
-- 1. 主库创建专用复制账号,限制来源 IP CREATE USER 'repl_dr'@'10.20.%' IDENTIFIED BY 'DrPass#2024' REQUIRE SSL; -- 跨公网时必须要求 SSL GRANT REPLICATION SLAVE ON *.* TO 'repl_dr'@'10.20.%'; -- 2. 用 xtrabackup 做初始数据同步(不要停机) # 在灾备机房执行,从主库在线备份并直接恢复 xtrabackup --backup --target-dir=/data/backup/full \ --host=10.0.0.11 --user=backup --password='xxx' \ --compress --compress-threads=4 --parallel=4 # 传输到灾备机房(用压缩 + 限速,避免占满专线) rsync -avzP --bwlimit=50000 /data/backup/full/ dr-host:/data/backup/full/ # 在灾备机恢复 xtrabackup --decompress --target-dir=/data/backup/full --parallel=4 xtrabackup --prepare --target-dir=/data/backup/full xtrabackup --copy-back --target-dir=/data/backup/full --datadir=/var/lib/mysql chown -R mysql:mysql /var/lib/mysql -- 3. 从 xtrabackup 的备份信息里获取 GTID 位点,建立复制 cat /data/backup/full/xtrabackup_binlog_info # mysql-bin.000018 194238 3e11fa47-71ca-11e1-9e33-c80aa9429562:1-98765 CHANGE MASTER TO MASTER_HOST='10.0.0.11', MASTER_USER='repl_dr', MASTER_PASSWORD='DrPass#2024', MASTER_AUTO_POSITION=1, MASTER_SSL=1; START SLAVE; -- MySQL 8.0.17+ 也可以用 Clone Plugin 直接克隆(更简单) CLONE INSTANCE FROM 'clone_user'@'10.0.0.11':3306 IDENTIFIED BY 'ClonePass#2024';
2.3 专线带宽估算
所需带宽 = binlog 生成速率 × 安全系数 实测 binlog 速率的方法: SHOW MASTER STATUS; # 记录 File / Position SELECT SLEEP(3600); SHOW MASTER STATUS; # 一小时后再记录,Position 差值 ÷ 3600 = 字节/秒 示例: 一小时 binlog 增长 5.4 GB 速率 = 5.4 × 1024 × 8 / 3600 ≈ 12.3 Mbps 峰值系数 3,安全系数 1.5 建议专线带宽 = 12.3 × 3 × 1.5 ≈ 55 Mbps → 选 100 Mbps 专线 注意:这只是稳态复制流量,不包含初始全量同步。 初始同步 500GB 数据在 100Mbps 专线上的理论时间: 500 × 1024 × 8 / 100 ≈ 40,960 秒 ≈ 11.4 小时(实际会更久,考虑压缩和开销) → 大库首次同步建议用压缩(xtrabackup --compress 通常能压到 1/3)或物理快递磁盘
三、复制延迟:监控、成因与治理
3.1 怎么看延迟才靠谱
-- 基础查看 SHOW REPLICA STATUS\G -- 关注字段: -- Replica_IO_Running / Replica_SQL_Running 是否 Yes -- Seconds_Behind_Master 延迟估算(秒) -- Seconds_Behind_Source 8.0.22+ 新名 -- Read_Master_Log_Pos IO 线程读到的位点 -- Exec_Master_Log_Pos SQL 线程执行到的位点 -- Retrieved_Gtid_Set / Executed_Gtid_Set GTID 进度 -- Last_IO_Error / Last_SQL_Error 错误信息 -- 更可靠的方法:比对 GTID 事务数 SELECT GTID_SUBTRACT( '3e11fa47-...:1-99000', -- Retrieved_Gtid_Set '3e11fa47-...:1-98800' -- Executed_Gtid_Set ) AS pending_gtid; -- 结果非空说明还有事务没回放完
跨机房场景下 Seconds_Behind_Master 的可信度更低,因为它依赖时间戳,而跨机房的时钟偏差会直接影响它。如果主从服务器没做 NTP 同步,这个值可能是负数或者虚高。跨机房监控建议:
- 强制 NTP 时间同步(
chronyd或ntpd),并保证所有数据库节点同步到同一时间源。 - 用位点差值做主监控指标:
Read_Master_Log_Pos - Exec_Master_Log_Pos的字节数,或 GTID 事务数差。 - 在监控侧埋一个心跳表:主库每秒写入一行带时间戳的记录,从库读取该行计算差值,这个方法最直观且不受大事务影响。
-- 心跳表法(Percona 的 pt-heartbeat 就是这个原理) CREATE TABLE heartbeat ( id INT PRIMARY KEY, ts TIMESTAMP(6) NOT NULL ); -- 主库每秒:REPLACE INTO heartbeat VALUES (1, NOW(6)); -- 从库查询:SELECT TIMESTAMPDIFF(MICROSECOND, ts, NOW(6))/1000000 AS lag_sec FROM heartbeat; # 用 pt-heartbeat 自动做 pt-heartbeat -D test --update --host=10.0.0.11 --user=monitor --password=xxx --daemonize pt-heartbeat -D test --monitor --host=10.20.0.11 --user=monitor --password=xxx
3.2 跨机房延迟的成因与对策
| 成因 | 症状 | 对策 |
|---|---|---|
| 网络带宽不足 | 延迟持续线性增长,主库出向带宽跑满 | 升专线带宽;开启 binlog 压缩(slave_compressed_protocol,8.0.19 后用 MASTER_COMPRESSION_ALGORITHMS='zstd') |
| 网络延迟高 | 延迟稳定在一个基线值上(如 30ms 网络对应 30-50ms 延迟) | 这是物理限制,无法消除;接受它并把 RPO 目标定为秒级 |
| 大事务 | 延迟突然跳到几百秒后又恢复 | 拆分事务;开发规范里禁止单次操作超过 1 万行 |
| 从库回放慢(单线程) | 延迟持续增长,从库 CPU 某核跑满 | 开 slave_parallel_workers=8 + LOGICAL_CLOCK |
| 表缺主键 | ROW 格式下从库回放极慢 | 所有 InnoDB 表必须有主键 |
| 从库 IO 能力弱 | 延迟增长,磁盘 util 100% | 从库磁盘规格不低于主库;用 SSD |
| 跨机房丢包重传 | 延迟周期性抖动 | 检查专线质量;调大 slave_net_timeout(默认 60 秒) |
# 8.0.18+ 支持 binlog 事务压缩,能显著降低跨机房带宽
SET GLOBAL binlog_transaction_compression = ON;
# 配合:binlog_transaction_compression_level_zstd = 3(1-22,默认 3)
# 实测压缩率通常在 3-5 倍,但会增加主库 CPU 开销
# 从库侧的压缩算法协商(8.0.19+)
CHANGE MASTER TO MASTER_COMPRESSION_ALGORITHMS = 'zstd',
MASTER_ZSTD_COMPRESSION_LEVEL = 3;
3.3 延迟从库:误操作的后悔药
跨机房灾备链路上有一个非常有价值的设计——延迟从库(delayed replica)。它故意比主库晚 N 秒(比如 1 小时或 6 小时),当有人在主库误执行 DROP TABLE 或 UPDATE 忘了加 WHERE 时,你有 N 秒时间赶到延迟从库上把数据抢救回来。
-- 设置延迟 3600 秒(1 小时) STOP SLAVE; CHANGE MASTER TO MASTER_DELAY = 3600; START SLAVE; -- 查看 SHOW REPLICA STATUS\G -- SQL_Delay: 3600 -- SQL_Remaining_Delay: 2412 -- 距离执行还有多久 -- 误操作后的抢救流程: -- 1. 立即在延迟从库上停止复制,防止误操作被回放 STOP SLAVE; -- 2. 找到误操作之前的 GTID 位点,让从库只回放到这里 -- 查看 relay log 里的事件,定位误操作对应的 GTID SHOW RELAYLOG EVENTS IN 'relay-bin.000002' LIMIT 100; -- 3. 用 START SLAVE UNTIL 只回放到位点之前 START SLAVE UNTIL SQL_BEFORE_GTIDS = '3e11fa47-...:98765'; -- 或用 mysqlbinlog 找到时间点: START SLAVE UNTIL MASTER_LOG_FILE='mysql-bin.000018', MASTER_LOG_POS=194238; -- 4. 确认数据正确后,把这批数据导出并导回主库 mysqldump --single-transaction --set-gtid-purged=OFF orderdb orders > orders.sql # 或只导出受影响的行 SELECT * INTO OUTFILE '/tmp/orders_recover.csv' FROM orders WHERE ...;
延迟从库的成本只是多一份数据副本,收益却是在最危急的时刻能救命。建议所有核心库都在灾备机房配置一个延迟 2-6 小时的从库。
四、备份策略:复制之外的第二道防线
复制不能替代备份。主库上误执行 DROP DATABASE,会在几秒内同步到所有从库,包括跨机房的。只有备份能救你。跨机房备份要解决两个问题:数据怎么传过去、传过去之后能不能恢复。
4.1 备份方式对比
| 方式 | 工具 | 优点 | 缺点 | 适用 |
|---|---|---|---|---|
| 物理备份(全量) | Percona XtraBackup 8.0 | 快(文件拷贝)、恢复快、支持增量 | 不能跨平台/跨大版本、文件大 | 主力方案,TB 级库 |
| 物理备份(增量) | xtrabackup --incremental | 只备份变化页,体积小 | 恢复要按顺序合并,链路长 | 配合全量做每日增量 |
| 逻辑备份 | mysqldump / mydumper | 跨版本、可选择性恢复单表、可读 | 慢、大库备份恢复耗时极长 | 小库、单表恢复 |
| Clone Plugin | MySQL 8.0.17+ CLONE INSTANCE | 官方原生、速度快、自动建复制 | 仅限 8.0.17+,会覆盖目标实例 | 快速搭建从库 |
| 快照备份 | LVM / 云盘快照 | 秒级完成、几乎无性能影响 | 需要快照一致性支持、依赖底层存储 | 云平台环境 |
| binlog 持续备份 | mysqlbinlog --read-from-remote-server | 支持任意时间点恢复(PITR) | 必须持续运行,断了就有缺口 | 所有场景必备补充 |
4.2 一套典型的跨机房备份方案
# 【备份周期设计】 # 每周日 02:00 全量备份(xtrabackup) # 周一至周六 增量备份(基于上周日的全量) # 实时 binlog 远程持续拉取 # 保留 本地 7 天,异地 30 天,归档到对象存储保留 1 年 # 1. 全量备份(在从库上做,避免影响主库) xtrabackup --backup --target-dir=/backup/full/$(date +%Y%m%d) \ --host=10.0.0.12 --user=backup --password='xxx' \ --compress --compress-threads=4 --parallel=4 \ --no-server-version-check # 2. 增量备份 xtrabackup --backup --target-dir=/backup/inc/$(date +%Y%m%d) \ --incremental-basedir=/backup/full/20241013 \ --host=10.0.0.12 --user=backup --password='xxx' \ --compress --parallel=4 # 3. 传输到异地(限速 + 断点续传) rsync -avzP --bwlimit=30000 --partial \ /backup/ dr-backup-host:/backup/mysql/ # 或传到对象存储(异地保存,成本低且自带多副本) # 具体价格视厂商、地域和存储类型而定 aws s3 sync /backup/ s3://company-dr-backup/mysql/ --storage-class STANDARD_IA # 4. binlog 实时远程备份(这是 PITR 的关键,必须持续运行) mysqlbinlog --read-from-remote-server --raw \ --host=10.0.0.11 --user=backup --password='xxx' \ --result-file=/backup/binlog/ \ --stop-never --stop-never-slave-server-id=999999 \ mysql-bin.000001 & # 5. 备份完整性校验(不要只备份不校验) xtrabackup --prepare --target-dir=/backup/full/20241013 # 能 prepare 成功即基本可用 # 更严格:定期把备份恢复到测试实例,跑一遍业务查询验证
4.3 备份文件的安全
- 加密:备份包含全量业务数据,异地存储必须加密。
xtrabackup --encrypt=AES256 --encrypt-key-file=或用 gpg 加密后再传输。 - 权限隔离:备份存储桶的权限要和生产环境隔离,避免生产凭证泄露后备份也被删。开启对象存储的版本控制和 MFA 删除保护。
- 不可变性:关键备份应启用 WORM(一次写入多次读取)或对象锁,保留期内无法删除,这是防勒索的最后一道防线。
五、恢复策略与演练
5.1 三种恢复场景
| 场景 | 目标 | 方法 | 预期 RTO |
|---|---|---|---|
| 单机房整体故障 | 灾备机房接管服务 | 提升灾备从库为主库 + 切换应用连接 | 5-30 分钟 |
| 误删表/误更新 | 找回误操作前的数据 | 延迟从库抢救 或 全量备份 + binlog PITR 到误操作前一秒 | 30 分钟 - 2 小时 |
| 数据损坏/勒索 | 完整重建 | 异地备份全量恢复 + binlog 回放 | 数小时(取决于数据量) |
5.2 灾备机房接管的标准流程
- 确认主机房不可逆:不要因为一次网络抖动就切换。切换本身有风险(可能丢数据、可能有双写)。设定明确的判定条件(如主库连续不可达 3 分钟且机房确认故障)。
- 停止应用到主机房的写入:如果主库还可能恢复,必须先在接入层切断流量,防止"脑裂"(主机房恢复后有部分写入,与灾备机房数据冲突)。
- 确认灾备从库的复制进度:
SHOW REPLICA STATUS,等 SQL 线程把所有 relay log 回放完(Exec_Master_Log_Pos追平Read_Master_Log_Pos)。 - 提升灾备从库为主库:
STOP SLAVE; RESET SLAVE ALL; SET GLOBAL read_only=OFF; SET GLOBAL super_read_only=OFF;,或直接用 Orchestrator 的graceful-master-takeover。 - 切换应用连接:修改 DNS / 配置中心 / ProxySQL 后端,把流量指向新主库。这一步要提前准备好脚本,不要在事故现场临时写。
- 验证:检查核心接口、数据一致性(抽样比对关键表的行数与最新记录)。
- 重建反向复制:主机房恢复后,把它作为新主库的从库重新接入,反向同步。
- 复盘:记录实际 RTO、RPO、遇到的问题,更新预案。
5.3 PITR:恢复到任意时间点
# 场景:今天 14:30 有人误删了 orders 表,要恢复到 14:29:59
# 1. 找一份 14:30 之前的全量备份(比如今天凌晨 02:00 的)
# 2. 准备备份(应用 redo 使其一致)
xtrabackup --decompress --target-dir=/backup/full/20241014 --parallel=4
xtrabackup --prepare --target-dir=/backup/full/20241014
# 3. 恢复到一个临时实例(不要直接覆盖生产)
xtrabackup --copy-back --target-dir=/backup/full/20241014 --datadir=/data/mysql_recover
chown -R mysql:mysql /data/mysql_recover
mysqld --datadir=/data/mysql_recover --port=3307 &
# 4. 查看备份对应的位点/GTID
cat /backup/full/20241014/xtrabackup_binlog_info
# mysql-bin.000021 157234 gtid_set: 3e11fa47-...:1-120000
# 5. 回放 binlog 到误操作之前的一刻
mysqlbinlog --start-position=157234 \
--stop-datetime='2024-10-14 14:29:59' \
/backup/binlog/mysql-bin.000021 \
/backup/binlog/mysql-bin.000022 \
| mysql -h 127.0.0.1 -P 3307 -u root -p
# 或用 GTID 精确控制
mysqlbinlog --include-gtids='3e11fa47-...:120001-125999' \
--exclude-gtids='3e11fa47-...:125800' \ # 排除误操作那条
/backup/binlog/mysql-bin.0000* | mysql -h 127.0.0.1 -P 3307
# 6. 验证数据后导出受影响的表,导回生产
mysqldump -h 127.0.0.1 -P 3307 orderdb orders > orders_recover.sql
mysql orderdb < orders_recover.sql
5.4 演练:不演练的灾备等于没有灾备
这一节值得单独强调。统计上,从未演练过的灾备方案在实际故障中的失败率极高——常见失败原因包括:备份文件损坏、备份脚本的定时任务早就停了、恢复出来的实例缺参数、应用连接串改不动、切换脚本依赖的工具在新机器上没装。
# 季度演练清单(建议每季度一次,核心系统半年内至少一次) # 1. 验证备份可用性(最关键) # 把最近一次备份恢复到隔离的测试实例,跑数据校验 xtrabackup --prepare --target-dir=/backup/latest # 启动实例后执行: CHECKSUM TABLE orderdb.orders; # 与生产值比对 SELECT COUNT(*) FROM orderdb.orders; # 2. 验证 binlog 链路完整 ls -l /backup/binlog/ | tail -5 # 确认最新的 binlog 文件时间在几分钟内,说明 --stop-never 还在跑 # 3. 验证延迟从库可用 SHOW REPLICA STATUS\G # 看 SQL_Delay 和 SQL_Remaining_Delay # 4. 演练切换(在业务低峰,且提前通知所有相关方) orchestrator-client -c graceful-master-takeover -i 10.0.0.11:3306 -d 10.0.0.12:3306 # 记录:切换耗时、应用报错数、是否有数据丢失 # 5. 演练灾备机房接管(年度演练,成本较高但必须做一次) # 真实地把应用流量切到灾备机房,跑 30 分钟,再切回来 # 6. 演练误删恢复 # 在测试环境模拟 DROP TABLE,用延迟从库 + PITR 恢复,计时
每次演练都要产出一份报告:实际 RTO、实际 RPO、失败点、改进项。这份报告是灾备体系最有价值的资产。
六、避坑清单
- 异地千万不要用半同步复制。30ms 的网络延迟会让每次提交多等 30ms,TPS 断崖式下跌,且抖动时频繁降级导致性能剧烈波动。异地一律用异步。
- 跨机房必须做 NTP 时间同步。否则
Seconds_Behind_Master会失真,PITR 的时间点也会不准。 Seconds_Behind_Master不能作为唯一延迟指标。大事务时它归零、断连时为 NULL。用位点差值或心跳表。- 复制不是备份。
DROP DATABASE会秒级同步到所有从库,包括延迟从库(延迟从库只是延迟,不是免疫)。必须有独立备份。 - 备份必须校验。只备份不恢复验证,等于买了一份不知道能不能理赔的保险。最低要求是每季度完整恢复一次并跑校验。
- binlog 远程备份进程要监控存活。
mysqlbinlog --stop-never挂掉之后不会自动重连,要配 supervisor 或 systemd 守护 + 存活告警。 - 灾备机房的硬件规格不能太差。如果灾备机房只有主机房一半的算力,切换过去之后业务会雪崩。至少要能承载核心流量。
- 切换脚本要提前写好并演练。事故现场临时写脚本,出错概率极高。
- 注意"脑裂"风险。切换前必须先切断主机房的写入,否则两边都有新数据,合并时极其痛苦。
- 级联复制的中继节点必须开
log_slave_updates,否则下游拉不到 binlog,这是级联复制最常见的配置遗漏。 - 初始全量同步要考虑专线时间。TB 级库在 100Mbps 专线上要跑十几小时甚至更久,可以考虑压缩后传输,或者先用物理磁盘快递(部分云厂商提供此服务)。
- 灾备演练不要只做读验证。要真的切换、真的写入、真的恢复,只读的演练发现不了 90% 的问题。
小结
数据库跨机房备份是一套由三层构成的体系,缺一层都不完整。第一层是复制链路:同城可用半同步追求 RPO=0,异地必须用异步并接受秒级 RPO,用级联复制缓解主库带宽压力,用 NTP 同步和心跳表来保证延迟监控的准确性。第二层是独立备份:每周全量加每日增量的 xtrabackup,配合 mysqlbinlog --stop-never 的 binlog 持续远程拉取实现 PITR,备份文件加密并开启不可变保护,异地保留至少 30 天。第三层是演练:每季度验证备份可恢复性、每半年演练一次切换、核心系统每年做一次真实的灾备机房接管。在这三层之上,还有一个成本极低但价值极高的补充——配置一个延迟 2-6 小时的延迟从库,它是应对人为误操作最快的救命手段。记住一句话:没有被恢复验证过的备份,和没有备份是一样的;没有被演练过的灾备方案,在真正的事故里大概率不会按你预想的方式工作。
企业QQ咨询




