凌晨三点,业务群里弹出一条消息:"支付接口全挂了。"你登上跳板机,发现主库所在的物理机已经失联,而从库因为复制延迟还有 40 秒没追上。更糟的是,你们从未真正演练过一次切换——没有人知道提升从库为主库之后,那缺失的几十秒事务该去哪里找回来。MySQL 高可用架构怎么搭建,从来不是一个"装上 MHA 就完事"的问题,它至少要回答三件事:数据怎么复制过去、主库挂了怎么换、换完之后数据是不是还一致。这三件事任何一件没想清楚,所谓的高可用都只是纸面上的。
一、先定义清楚:你要的是什么级别的高可用
在动手之前,必须先跟业务方对齐可接受的指标,否则架构设计会失去方向。行业内通常用两个数字描述:RTO(Recovery Time Objective,恢复时长目标)和 RPO(Recovery Point Objective,数据丢失量目标)。
举个例子:某电商订单库要求 RTO 小于 60 秒、RPO 等于 0,意味着切换必须在一分钟内完成,且不能丢任何一条已提交的事务。而一个内部报表库,RTO 15 分钟、RPO 5 分钟都能接受,那完全可以简化架构,用异步复制加定时备份就够了。用同一套架构去满足两种完全不同的需求,是很多团队踩的第一个坑——要么过度设计,要么保障不足。
| 可用性目标 | 典型架构 | RTO 量级 | RPO | 复杂度 |
|---|---|---|---|---|
| 99%(年停机约 87 小时) | 一主一从 + 手动切换 | 10-30 分钟 | 秒级到分钟级 | 低 |
| 99.9%(年停机约 8.7 小时) | 一主两从 + MHA/Orchestrator 自动切换 | 30-90 秒 | 依赖半同步,可做到 0 | 中 |
| 99.99%(年停机约 52 分钟) | InnoDB Cluster(Group Replication)+ MySQL Router | 数秒到十几秒 | 0(多数派确认) | 高 |
| 跨机房/跨地域容灾 | 异步复制 + 延迟从库 + 定期演练 | 分钟级 | 秒级 | 中高 |
需要强调的是,提高一个"九"的代价不是线性增长的。从 99% 到 99.9%,你可能只需要引入自动切换工具;从 99.9% 到 99.99%,你要引入多数派协议、要处理网络分区、要接受写入性能的一定下降。先算清楚业务停一分钟损失多少钱,再决定投入多少。
二、主从复制:把底层机制搞清楚
MySQL 主从复制的数据链路是三段式的:主库把变更写入 binlog(binary log,二进制日志);从库的 IO 线程拉取主库 binlog 并落地成本地 relay log(中继日志);从库的 SQL 线程读取 relay log 并回放。注意在 MySQL 8.0.22 之前,术语是 master/slave,之后改成 source/replica,命令也从 SHOW SLAVE STATUS 变成 SHOW REPLICA STATUS,旧写法在 8.0 里仍然兼容但已被标记为弃用。
2.1 最小可用的复制配置
主库侧必须开启 binlog 并且服务器 ID 唯一:
# /etc/my.cnf 主库 [mysqld] server_id = 101 log_bin = /data/mysql/binlog/mysql-bin binlog_format = ROW binlog_row_image = FULL sync_binlog = 1 innodb_flush_log_at_trx_commit = 1 gtid_mode = ON enforce_gtid_consistency = ON binlog_expire_logs_seconds = 604800 # 8.0 写法,替代旧的 expire_logs_days
从库侧配置相对简单,但有几个参数直接决定了崩溃后的安全性:
# /etc/my.cnf 从库 [mysqld] server_id = 102 log_bin = /data/mysql/binlog/mysql-bin binlog_format = ROW relay_log = /data/mysql/relaylog/relay-bin relay_log_recovery = ON read_only = 1 super_read_only = 1 gtid_mode = ON enforce_gtid_consistency = ON slave_parallel_workers = 8 # 8.0.22+ 用 replica_parallel_workers slave_parallel_type = LOGICAL_CLOCK slave_preserve_commit_order = ON
这里有几个点值得单独说明。binlog_format = ROW 几乎是必选项:STATEMENT 格式在执行 DELETE FROM t WHERE id > 100 LIMIT 10、INSERT ... SELECT、带 UUID() 或 NOW() 的语句时,主从回放结果可能不一致;MIXED 会在不确定时自动降级为 ROW,但判断逻辑并不总是可靠。ROW 格式的代价是 binlog 体积变大,尤其是批量 UPDATE 大表时,所以 binlog_row_image = MINIMAL 是一个常见的取舍——它只记录变更前后的差异列,能显著减小日志,但对某些没有主键的表和部分工具(比如部分 binlog 解析工具)兼容性要差一些。
relay_log_recovery = ON 解决的是从库崩溃后 relay log 损坏的问题:重启时它会丢弃未回放完的 relay log,重新从主库拉取,代价是需要主库上对应的 binlog 还在。这也是为什么主库的 binlog 保留期不能设得太短。
2.2 建立复制的两种方式
传统的基于位点的方式需要记录 SHOW MASTER STATUS 的文件名和偏移量:
-- 主库创建复制账号 CREATE USER 'repl'@'10.0.%' IDENTIFIED BY 'StrongPass#2024'; GRANT REPLICATION SLAVE ON *.* TO 'repl'@'10.0.%'; -- 查看位点 SHOW MASTER STATUS; -- 从库指向主库 CHANGE MASTER TO MASTER_HOST='10.0.0.11', MASTER_PORT=3306, MASTER_USER='repl', MASTER_PASSWORD='StrongPass#2024', MASTER_LOG_FILE='mysql-bin.000012', MASTER_LOG_POS=194238; START SLAVE;
开启 GTID 之后,不需要再关心位点,切换拓扑也变得安全很多:
CHANGE MASTER TO MASTER_HOST='10.0.0.11', MASTER_PORT=3306, MASTER_USER='repl', MASTER_PASSWORD='StrongPass#2024', MASTER_AUTO_POSITION=1; START SLAVE; -- 8.0.23+ 新写法 CHANGE REPLICATION SOURCE TO SOURCE_HOST='10.0.0.11', SOURCE_AUTO_POSITION=1;
GTID 的价值在于:每个事务都有一个全局唯一标识 server_uuid:transaction_id,从库只要告诉主库"我已经执行到哪些 GTID",主库就能算出缺什么并补发。做故障切换时,把一个从库指向新主库不需要人工计算位点,这一条就能消灭掉大量切换事故。
三、复制模式:异步、半同步与写入耐久性的关系
MySQL 默认是异步复制:主库提交事务后立刻返回客户端成功,binlog 是否到达从库并不在提交路径上。这意味着主库宕机时,那些已提交但未传出去的事务会永久丢失。要降低这个窗口,需要半同步复制(semi-synchronous replication)。
# 主库加载插件并启用(MySQL 5.7/8.0 早期写法) INSTALL PLUGIN rpl_semi_sync_master SONAME 'semisync_master.so'; SET GLOBAL rpl_semi_sync_master_enabled = 1; SET GLOBAL rpl_semi_sync_master_timeout = 10000; -- 默认 10000 毫秒 SET GLOBAL rpl_semi_sync_master_wait_for_slave_count = 1; # 从库 INSTALL PLUGIN rpl_semi_sync_slave SONAME 'semisync_slave.so'; SET GLOBAL rpl_semi_sync_slave_enabled = 1; STOP SLAVE IO_THREAD; START SLAVE IO_THREAD; # 查看状态 SHOW STATUS LIKE 'Rpl_semi_sync_master%';
在 MySQL 8.0.26 及以后,这些变量名做了术语替换:rpl_semi_sync_master_enabled 变成 rpl_semi_sync_source_enabled,rpl_semi_sync_master_wait_for_slave_count 变成 rpl_semi_sync_source_wait_for_replica_count,配置时要注意版本。
rpl_semi_sync_master_wait_for_slave_count 控制的是"要等几个从库确认"。设为 1 表示只要任意一个从库收到并落盘 relay log 就可以提交;如果你有两个从库并且希望数据更保险,可以设为 2,但主库的写入 TPS 会明显下降,因为提交要等最慢的那个从库。默认超时是 10 秒——超过这个时间没有任何从库响应,半同步会自动降级为异步,主库不再阻塞,这是为了防止从库全部故障把主库也拖死。必须监控 Rpl_semi_sync_master_status(ON/OFF)和 Rpl_semi_sync_master_no_tx(降级后异步提交的事务数),一旦 status 变成 OFF,你的 RPO=0 承诺就已经失效了。
另外一个常被忽略的问题是:半同步保证的是 binlog 事件到达从库的 relay log,而不是从库已经回放完。所以主库挂掉时,从库可能还落后若干事务需要 SQL 线程追平,切换前要等回放完成(对 InnoDB,崩溃恢复会处理 relay log 中未提交的部分)。
3.1 双一参数的耐久组合
讨论数据一致性绕不开两个参数,它们的组合直接决定了宕机时丢多少数据:
| innodb_flush_log_at_trx_commit | sync_binlog | 宕机丢失范围 | 性能影响 | 适用场景 |
|---|---|---|---|---|
| 1 | 1 | 不丢失已提交事务 | 每次提交 2 次 fsync,TPS 下降最明显 | 金融、订单、支付 |
| 2 | 1 | 操作系统崩溃丢 1 秒内事务 | redo 只写 page cache | 可接受极小丢失的业务 |
| 2 | 100 | 宕机可能丢最近上百个事务 | 高 | 日志、统计类非核心库 |
| 0 | 0 | 最多丢 1 秒以上 | 最高 | 不推荐用于生产主库 |
需要澄清一个常见误解:innodb_flush_log_at_trx_commit = 2 并不代表数据不会落到磁盘,它只是每秒刷一次 redo log 到磁盘,事务提交时只写到操作系统的页缓存。MySQL 进程崩溃(OOM 被杀)时数据还在,因为 OS 还活着;只有操作系统崩溃或断电才会丢那一秒内的事务。sync_binlog = N 表示每 N 次提交才 fsync 一次 binlog。如果磁盘有带超级电容的 RAID 卡或 NVMe 掉电保护,双一的写惩罚会小很多,这也是为什么生产环境强烈建议使用带 BBU 的阵列卡。
四、故障切换:三种主流方案的架构与流程
4.1 MHA(Master High Availability)
MHA 是 Perl 编写的成熟方案,由 Manager 节点和部署在每个 MySQL 实例上的 Node 组成。它的工作逻辑是:Manager 定期探测主库;确认主库不可达后,从存活从库中挑选 binlog 最新的那个作为新主库;关键动作是尝试从宕机主库的机器上(通过 SSH)抢救出尚未传出的 binlog 并补到新主库,从而把数据丢失降到最低;然后用 CHANGE MASTER 把其余从库指向新主库,最后通常配合 VIP 漂移或 DNS 更新让应用连到新主库。
# 检查 SSH 互信与复制配置是否合规
masterha_check_ssh --conf=/etc/mha/app1.cnf
masterha_check_repl --conf=/etc/mha/app1.cnf
# 启动管理进程
nohup masterha_manager --conf=/etc/mha/app1.cnf \
--remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1.log 2>&1 &
# 查看状态
masterha_check_status --conf=/etc/mha/app1.cnf
MHA 的优点是对 MySQL 版本兼容性好、切换逻辑透明、社区资料多;缺点是官方已多年不活跃(原作者项目停止维护,社区有 fork 版本在维护),且它依赖 SSH 到故障机抢救 binlog,如果主库所在机器整机宕机或 SSH 不通,这一步就会失败,退化为接受数据丢失。另外 MHA 自身是单点(虽可部署多个 Manager 但主备协调复杂),现在新项目里更常见的是用 Orchestrator 替代。
4.2 Orchestrator
Orchestrator 是 GitHub 开源的复制拓扑管理与故障切换工具,用 Go 编写,部署为独立服务(自带 Web UI 和 HTTP API)。它的核心优势有几点:一是自动发现和绘制复制拓扑,你不用手工维护配置文件;二是支持 GTID 和非 GTID 两种模式,也支持 Pseudo-GTID;三是自身通过 Raft 协议做多节点高可用,解决了 Manager 单点问题;四是切换决策更聪明,它会考虑从库是否配置了相同的提升规则(promotion rule)、是否是延迟从库、数据中心位置等。
# 注册一个实例,Orchestrator 会自动发现其上下游
orchestrator-client -c discover -i 10.0.0.11:3306
# 查看当前集群拓扑
orchestrator-client -c topology -i 10.0.0.11:3306
# 手动执行主库切换(优雅切换,需指定新主库)
orchestrator-client -c graceful-master-takeover \
-i 10.0.0.11:3306 -d 10.0.0.12:3306
# 查看最近一次故障切换记录
orchestrator-client -c replication-analysis
orchestrator-client -c audit-failures
Orchestrator 的 replication-analysis 会输出它对当前拓扑的问题判断,比如 DeadMaster、DeadMasterAndSlaves、UnreachableMasterWithLaggingReplicas 等,配合 RecoveryPeriodBlockSeconds 这类参数避免频繁误切换。它还有一个很实用的能力:通过 hook 脚本在切换前后执行自定义逻辑,比如更新 ProxySQL 的后端配置、漂移 VIP、发告警。
4.3 InnoDB Cluster(Group Replication)
如果要追求真正的强一致,MySQL 官方的方案是 InnoDB Cluster,它由三部分组成:Group Replication 插件(组复制)、MySQL Shell(mysqlsh,管理入口)、MySQL Router(对应用透明的路由层)。组复制基于 Paxos 类协议,事务提交需要多数派节点确认才能返回,所以 3 节点集群可以容忍 1 节点故障,5 节点可以容忍 2 节点。
# 用 MySQL Shell 初始化集群
mysqlsh --uri root@10.0.0.11:3306
\js
dba.configureInstance('root@10.0.0.11:3306', {restart: true})
dba.configureInstance('root@10.0.0.12:3306', {restart: true})
dba.configureInstance('root@10.0.0.13:3306', {restart: true})
var cluster = dba.createCluster('prodCluster')
cluster.addInstance('root@10.0.0.12:3306')
cluster.addInstance('root@10.0.0.13:3306')
cluster.status()
# 引导 Router,应用连接 6446(读写)/6447(只读)
mysqlrouter --bootstrap root@10.0.0.11:3306 --user=mysqlrouter
组复制默认是单主模式(group_replication_single_primary_mode = ON),只有主节点可写,主节点失效后组会自动选出新主,MySQL Router 感知到角色变化后把写流量导向新主,整个过程对应用基本透明,切换时间通常在几秒到十几秒。代价也很明确:写事务要跨节点认证,网络延迟会直接反映到提交耗时上;并且组复制对表结构有硬性要求——每张表必须有主键,且存储引擎必须是 InnoDB;另外大事务容易触发流控(flow control)导致整个组写入变慢,需要拆小事务。
五、数据一致性:怎么看、怎么验、怎么修
5.1 读懂复制状态的关键字段
排查复制问题的第一件事永远是看状态输出。MySQL 5.7 及之前用 SHOW SLAVE STATUS\G,8.0.22+ 用 SHOW REPLICA STATUS\G:
mysql> SHOW REPLICA STATUS\G
*************************** 1. row ***************************
Replica_IO_Running: Yes # IO 线程是否正常
Replica_SQL_Running: Yes # SQL 线程是否正常
Seconds_Behind_Master: 0 # 复制延迟秒数估算
Master_Log_File: mysql-bin.000015
Read_Master_Log_Pos: 487213902 # IO 线程读到的位置
Relay_Master_Log_File: mysql-bin.000015
Exec_Master_Log_Pos: 487213902 # SQL 线程执行到的位置
Last_IO_Errno: 0
Last_IO_Error: # IO 线程错误信息
Last_SQL_Errno: 0
Last_SQL_Error: # SQL 线程错误信息
Retrieved_Gtid_Set: 3e11fa47-...:1-98234
Executed_Gtid_Set: 3e11fa47-...:1-98234
Replica_SQL_Running_State: Replica has read all relay log; waiting for more updates
判断标准要记住这几条:
Replica_IO_Running或Replica_SQL_Running任一为 No,复制就已经断了,看对应的Last_IO_Error/Last_SQL_Error。Seconds_Behind_Master是估算值,它用 SQL 线程当前正在执行的事务时间戳减去已读完事件的时间戳。当一个大事务跑了 10 分钟还没提交时,这个值会一直是 0(因为还没开始算下一个事务的时间戳),直到大事务结束突然跳到 600。所以它不能单独作为延迟监控的唯一依据。- 更可靠的延迟判断是比对
Read_Master_Log_Pos与Exec_Master_Log_Pos的差值,或者在 GTID 模式下比对Retrieved_Gtid_Set与Executed_Gtid_Set的事务数差。 - IO 线程断连超过
slave_net_timeout时,Seconds_Behind_Master会显示为 NULL,这不是"没延迟",是"不知道延迟多少"。
5.2 常见复制中断与处理
| 错误码 | 典型原因 | 处理思路 |
|---|---|---|
| 1032(HA_ERR_KEY_NOT_FOUND) | 从库少了要更新的行,多因从库被误写入 | 校验后补齐数据,或用 pt-slave-restart --error-numbers=1032 跳过 |
| 1062(主键冲突) | 从库被写入了相同主键的数据 | 删除冲突行后重启复制 |
| 1236(Could not find first log file) | 主库 binlog 已被 purge,或从库位点超前 | 重建从库(用 xtrabackup 或 Clone Plugin) |
| 1595(Relay log write failure) | 磁盘满或 relay log 损坏 | 清理磁盘,开启 relay_log_recovery 后重启复制 |
| 1677(column type mismatch) | 主从表结构不一致(字段类型/字符集) | 对齐表结构,用 pt-online-schema-change 做 DDL |
需要特别强调:从库必须开启 read_only=1 和 super_read_only=1。前者阻止普通用户写入,后者连拥有 SUPER 权限的用户也一并阻止。绝大多数"从库比主库多数据"的事故,都源于某个脚本误连到了从库。
5.3 定期校验主从数据是否一致
复制不报错不等于数据一致。Percona Toolkit 里的 pt-table-checksum 通过在主库执行校验和计算(利用 binlog 把同样的语句复制到从库),再比对各节点的 checksum 值来发现差异,配套的 pt-table-sync 可以生成修复 SQL:
# 在主库执行,自动发现从库并比对(默认库 test、表 percona.checksums) pt-table-checksum \ --host=10.0.0.11 --user=check --password='xxx' \ --databases=order_db \ --no-check-binlog-format \ --replicate=percona.checksums \ --recursion-method=processlist # 只打印修复语句,不实际执行 pt-table-sync --print \ h=10.0.0.11,u=check,p='xxx',D=order_db,t=orders \ h=10.0.0.12,u=check,p='xxx' # 确认无误后执行修复 pt-table-sync --execute h=10.0.0.11,... h=10.0.0.12,...
pt-table-checksum 会给表加锁并产生一定负载,建议在业务低峰执行,并且用 --chunk-size 和 --max-load 做限流,避免把主库拖垮。pt-table-sync 一定要先 --print 人工确认,它的修复逻辑在某些情况下会做出你预期之外的写入。
六、落地实施清单
下面是从零搭建一套"一主两从 + 自动切换"架构的推荐步骤,按顺序执行:
- 与业务方确认 RTO/RPO 目标,写入文档;确认主库磁盘是否有掉电保护(决定双一参数的性能代价)。
- 统一 MySQL 版本(建议 8.0.x LTS)和配置文件模板,保证所有实例
server_id唯一、binlog_format=ROW、gtid_mode=ON。 - 用 xtrabackup(Percona XtraBackup 8.0)或 MySQL 8.0.17+ 的 Clone Plugin 在线搭建从库,避免锁表停服。命令参考:
CLONE INSTANCE FROM 'clone_user'@'10.0.0.11':3306 IDENTIFIED BY 'xxx'; - 建立复制后用
SHOW REPLICA STATUS确认两个线程都是 Yes,观察 10 分钟确认Executed_Gtid_Set持续增长且与主库对齐。 - 从库开启
read_only与super_read_only;主库安装半同步插件,设置rpl_semi_sync_master_timeout=10000、wait_for_slave_count=1。 - 部署 Orchestrator(建议 3 节点 Raft),配置
MySQLTopologyUser/MySQLReplUser,验证orchestrator-client -c topology能正确绘制拓扑。 - 配置切换 hook:切换后更新 ProxySQL/MySQL Router 后端,或执行 VIP 漂移脚本。
- 接入监控:复制线程状态、Seconds_Behind_Master、GTID 差值、半同步状态、主库 TPS/QPS、从库磁盘剩余空间、binlog 保留天数。
- 做一次真实的故障演练:在业务低峰手动 kill 主库 mysqld 进程(或用
systemctl stop mysqld),记录实际切换耗时、数据丢失量、应用报错时长,形成报告并改进。 - 把演练固化为季度例行任务,架构变更后必须重跑一次演练。
七、避坑清单
- 不要相信没演练过的高可用。很多团队装了 MHA 就以为万事大吉,真出事时发现 SSH 不通、VIP 脚本写错、应用连接池不重连,切换实际花了 20 分钟。演练是唯一验证手段。
- Seconds_Behind_Master=0 不等于可以安全切换。大事务场景下它是滞后指标,切换前应检查 GTID 是否完全对齐,并等待 SQL 线程把 relay log 回放完。
- 主库 binlog 保留期要大于最坏情况下的从库恢复时间。如果从库坏了要 12 小时才能重建,主库 binlog 只留 3 天还行;如果留 8 小时,从库重建就必然失败。MySQL 8.0 用
binlog_expire_logs_seconds,5.7 用expire_logs_days。 - 大事务是复制延迟的头号元凶。一次
DELETE删 500 万行,在 ROW 格式下会生成巨型 binlog,从库单线程回放可能要几十分钟。拆分成分批删除,每批 5000-10000 行,中间 sleep 一下。 - 从库硬件不要比主库弱太多。很多人给从库配更差的磁盘,结果 relay log 回放速度跟不上写入速度,延迟只增不减。从库的 IO 能力至少要与主库持平。
- 切换后的新主库要重新检查参数。一个典型事故是:原主库配了
innodb_flush_log_at_trx_commit=1,而某个从库为了跑报表被改成 2,切换后整个集群的持久性悄悄降级了。 - 应用侧要有重连与重试机制。切换过程中连接会断几十毫秒到几秒,如果应用没有重连逻辑,会出现大量报错甚至雪崩。使用 ProxySQL、MySQL Router 或支持故障转移的连接池可以屏蔽这一过程。
小结
搭建 MySQL 高可用架构,本质是在一致性、可用性、性能三者之间做取舍,而这个取舍必须由业务的 RTO/RPO 目标来驱动,而不是由"哪个工具更火"来驱动。技术选型上可以粗略这样划分:预算和人手有限、能接受分钟级恢复的团队,用 GTID 主从复制 + 手动切换脚本就能满足;有一定运维能力、要求 30-90 秒自动恢复的,选 Orchestrator 加半同步复制;要求秒级切换且零数据丢失、能接受写入性能损耗和更严格的表结构约束的,上 InnoDB Cluster。无论选哪一种,都必须回答"数据怎么复制""挂了怎么换""换完怎么验"这三个问题,并且用一次真实的故障演练来证明答案是成立的。没有演练过的高可用,都只是假设。
本文面向 MySQL 5.7 / 8.0 生产环境,部分参数名在 8.0.22 与 8.0.26 两个版本节点上有术语变更(slave→replica、master→source),落地时请按实际版本核对。
企业QQ咨询




