凌晨主库所在的机器挂了,监控狂响,业务开始报 Redis 连接错误。如果 Redis 是单实例,你只能眼睁睁等它起来;如果上了主从+哨兵(Sentinel)或集群(Cluster),理论上会自动切换,但"自动切换成功"和"数据没丢、业务没感知"是两回事。真实场景里,切换后最常见的问题是:连接池还抓着旧主、切过去之后数据比之前少了一截、客户端缓存了错误的拓扑信息、甚至出现脑裂导致两个节点都自认为是主。
这篇文章围绕"Redis 主节点宕机后怎么恢复"展开,分三块:第一块讲主从复制和故障切换的原理,理解"为什么会丢数据";第二块给出哨兵/集群下从主库宕机到业务恢复的完整操作流程(含真实的 redis-cli 命令和配置项);第三块专门讲数据一致性与脑裂风险,以及怎么把损失控制到最小。涉及提升从库为主库、重建复制关系这类操作,都会给出风险提示和回滚思路。
先说结论:Redis 的异步复制天然决定了切换必然可能丢数据,你要做的不是追求"零丢失"(那需要用 WAIT 命令或分布式锁等手段付出很大代价),而是弄清楚最坏情况丢多少、能不能接受、以及怎么让业务优雅地扛过这几秒到几十秒的中断。
一、主从复制:切换的前提
哨兵和集群的自动故障切换,都建立在主从复制之上。先看复制是怎么工作的。
一个 Redis 从库连接到主库后,经历两个阶段:
- 全量同步。从库首次连接,主库 fork 出一个子进程生成 RDB 快照,把快照发给从库;从库加载快照后,主库再把期间缓冲的写命令发给从库。这一阶段开销大,网卡和磁盘都会忙。
- 增量同步(命令传播)。之后主库每执行一条写命令,就异步转发给从库。从库执行同样命令,保持数据一致。
关键点在于异步:主库执行完写命令、给客户端返回成功后,才会把命令发给从库。也就是说,主库返回成功那一刻,从库可能还没收到。如果主库恰好在"已回复客户端但还没同步给从库"的窗口里宕机,这部分数据就丢了。用配置可以观察和约束这个延迟:
# 主库侧:复制积压缓冲区大小,越大越不容易触发全量同步
repl-backlog-size 1mb
# 从库侧:同步超时、只读
repl-timeout 60
replica-read-only yes
# 查看主从复制状态
redis-cli INFO replication
# 重点关注:
# role:master / slave
# connected_slaves:N
# slave0:ip=...,port=...,state=online,offset=...,lag=0
# master_link_status:up / down
# master_repl_offset / slave_repl_offset <- 两者差值即"落后了多少字节"
# 从库上查看离主库有多远
redis-cli INFO replication | grep -E 'master_link_status|slave_repl_offset|master_repl_offset'
master_repl_offset(主库写的偏移)与 slave_repl_offset(从库收到的偏移)之差,就是可能丢失的数据量(以字节计的复制命令流)。差得越多,切换时丢得越多。监控这个 lag 是判断"切换风不风险"的核心指标。
二、哨兵模式下的自动切换
哨兵(Sentinel)是 Redis 官方的高可用方案,负责监控、通知和自动故障转移。典型部署是:1 主 + N 从 + 至少 3 个哨兵(哨兵要为奇数,避免投票平票)。
切换的判定流程:
- 哨兵向主库发 PING,若超过
down-after-milliseconds没响应,标记为主观下线(SDOWN)。 - 多个哨兵都认为主库挂了,达到
quorum数量后,标记为客观下线(ODOWN)。 - 哨兵们选出一个领导者,从从库中挑选一个"最合适"的(复制偏移量最大、优先级高、数据最新的)提升为新主。
- 其余从库改为复制新主,并通知客户端新主地址(通过哨兵订阅机制)。
相关配置(sentinel.conf):
# 监控名为 mymaster 的主库,判断下线需要 2 个哨兵同意
sentinel monitor mymaster 127.0.0.1 6379 2
# 超过 5000ms 无响应即认为主观下线
sentinel down-after-milliseconds mymaster 5000
# 故障转移超时
sentinel failover-timeout mymaster 60000
# 同时向新主同步的从库数量(太大易造成新主压力)
sentinel parallel-syncs mymaster 1
故障恢复的操作流程:
# 1) 确认当前拓扑:问哨兵谁是主库
redis-cli -p 26379 SENTINEL get-master-addr-by-name mymaster
# 输出示例:1) "192.168.1.10" 2) "6379"
# 2) 查看从库列表
redis-cli -p 26379 SENTINEL slaves mymaster
# 3) 查看哨兵监控状态
redis-cli -p 26379 SENTINEL master mymaster
# 4) 如果自动切换没触发,可以手动强制一次故障转移(谨慎!)
redis-cli -p 26379 SENTINEL FAILOVER mymaster
业务恢复的关键在客户端:应用必须通过哨兵获取主库地址,而不是把主库 IP 写死在配置里,否则切换后应用还在连旧主。主流客户端库(如 Jedis、Lettuce、各语言 Redis 客户端)都支持哨兵模式,配置指向哨兵列表即可。
原主库恢复后的处理: 原主库重启后,它不会自动变回主,而是被哨兵降级为从库,复制当前的新主。你要确认它确实变成了从库:
redis-cli -h <原主库IP> -p 6379 INFO replication
# role 应为 slave,且 master_host 指向新主
风险提示:
SENTINEL FAILOVER会强制切换,如果原主库其实没挂(只是网络抖动),可能导致原主库上的数据被新主覆盖,造成数据丢失甚至脑裂。手动转移前务必确认主库真的不可用。另外重新提升原主库时,它上面"主库期间"未被同步的写入会被丢弃。
三、Cluster 集群模式下的主库宕机
如果用的是 Redis Cluster(分片集群),故障处理逻辑不同。Cluster 把数据分到 16384 个槽(slot)上,每个分片是"主+从"。某主库宕机后,它的从库会自动晋升,接管该主库负责的槽。
# 查看集群状态与拓扑
redis-cli --cluster check 127.0.0.1:6379
redis-cli -c -p 6379 CLUSTER INFO
redis-cli -c -p 6379 CLUSTER NODES
# 手动触发某节点的故障转移(谨慎)
redis-cli -c -p 6380 CLUSTER FAILOVER
# 集群健康关键字段
# cluster_state:ok / fail
# cluster_slots_assigned:16384 (必须全部覆盖)
# cluster_known_nodes / cluster_size
Cluster 与 Sentinel 的差异:
| 对比项 | Sentinel 哨兵 | Cluster 集群 |
|---|---|---|
| 分片能力 | 无,单主承载全部数据 | 有,数据分片到多主 |
| 自动故障转移 | 有 | 有 |
| 判定方式 | 哨兵 quorum 投票 | 集群节点投票 + 多数主节点存活 |
| 客户端要求 | 需支持哨兵 | 需支持集群(自动重定向 MOVED/ASK) |
| 适用规模 | 中等数据量 | 大数据量、高并发 |
| 最小节点数 | 1 主 + 3 哨兵 | 至少 3 主 3 从 |
| 数据丢失风险 | 取决于复制延迟 | 同样取决于复制延迟 |
Cluster 有一个更严格的限制:当某个主库及其所有从库都挂掉,或故障的主库数超过一半时,整个集群会进入 cluster_state:fail,停止对外服务。这是为了防止脑裂和数据不一致做出的取舍。所以集群规划时要保证从库分布在不同物理机/机架上。
四、数据一致性:会丢什么、为什么丢
这是全文最需要理解的部分。Redis 主从复制是异步的,宕机切换时的数据丢失主要来自这几处:
场景一:主库宕机前,命令已回复客户端但未同步到从库。 这部分写入彻底丢失。丢的量取决于复制延迟,通常几毫秒到几百毫秒的写入量,高并发下可能更多。
场景二:原主库恢复后被降级,它"主库期间"的写入被丢弃。 新主已经在原主宕机后接了新写入,为保持一致,原主必须清空自己、复制新主。原主上那部分未同步数据就没了。
场景三:脑裂(split-brain)。 主库与哨兵/集群的网络断开,但主库本身还活着且客户端仍能连它。哨兵以为主库挂了,提升了一个从库为新主;原主库那边客户端还在往旧主写。等网络恢复、原主被降级,这些写入全部丢失。脑裂是最危险的情况,因为它可能在"两个主"状态下持续接收大量写入。
Redis 提供了几个降低风险的手段:
# 主库至少要有 N 个从库保持连接,才接受写请求
# 可防止主库在"失联孤立"状态下继续接收写入(缓解脑裂)
min-replicas-to-write 1
min-replicas-max-lag 10
# 客户端侧:命令提交后用 WAIT 等待至少 N 个从库确认(同步复制语义)
# WAIT 命令:等待指定数量的从库确认收到之前的写入
# 返回实际确认的从库数;超时(毫秒)后返回已达成的数量
redis-cli -p 6379 WAIT 1 100
WAIT 能让写入在返回前确保同步到从库,代价是增加延迟,只适合对一致性要求极高的关键写入。对绝大多数业务来说,接受"秒级丢失"、用上层业务补偿更现实。
一个常被忽略的点:切换时丢失的数据,业务层要能发现并补偿。比如用 Redis 做订单号的发号器、做库存扣减,切换后可能出现"号码不是连续"或"库存少扣了"。设计时就要考虑:关键数据是否有数据库兜底?丢失后能否通过对账修复?
五、切换后的恢复与验证清单
故障切换不是"恢复服务"就结束了,切换后要做一轮验证,确认状态正确。
# 1) 确认主从角色正确
for p in 6379 6380 6381; do echo "== port $p =="; redis-cli -p $p INFO replication | head -5; done
# 2) 确认复制链路正常、延迟在可接受范围
redis-cli -p <新主> INFO replication
redis-cli INFO replication | grep master_link_status
# 3) 核对数据量(切换前后的 DBSIZE、关键 key 是否存在)
redis-cli -p <新主> DBSIZE
redis-cli -p <新主> EXISTS some_critical_key
# 4) 检查客户端是否已连到新主(看新主的 connected_clients、命令速率)
redis-cli -p <新主> INFO clients
redis-cli -p <新主> INFO stats | grep -E 'instantaneous_ops_per_sec|total_commands_processed'
# 5) 检查日志有无异常(脑裂、重复提升、复制中断)
sudo tail -n 200 /var/log/redis/redis-server.log
如果发现客户端还连着旧主,重启应用连接池或触发重连;如果发现复制链路断开,检查网络、防火墙端口(默认 6379,集群总线端口通常 16379)。
六、预防:让恢复更快、丢得更少
- 合理配置哨兵/集群规模:哨兵 3 个以上且奇数;集群至少 3 主 3 从,主从分布在不同物理机/可用区,避免"一挂挂一片"。
- 调小切换判定时间:
down-after-milliseconds越小,发现故障越快、切换越早、丢得越少,但太敏感会因网络抖动误判。5000ms(5 秒)是常见经验值,可根据网络质量调整。 - 监控复制延迟:把
master_repl_offset - slave_repl_offset做成指标,延迟过大时告警,避免"切换时才发现从库落后很多"。 - 开启数据安全持久化并交叉备份:即便切换丢了一部分内存数据,RDB/AOF 里可能还有。见持久化相关配置。
- 客户端必须支持拓扑变更:用哨兵/集群模式,别硬编码主库地址;连接池要能自动重连。
- 做切换演练:定期在测试环境模拟主库宕机,验证自动切换耗时、数据丢失量、业务表现,把真实数字记下来。
- 关键写入加业务兜底:对一致性极度敏感的写,落库后再写缓存,或采用
WAIT、分布式锁等手段。
常见问题
Q1:主库宕机后,哨兵多久能完成切换?
取决于 down-after-milliseconds 和 failover-timeout。经验上,配置 5 秒判定、60 秒超时的情况下,从宕机到新主就绪通常在十几秒内,慢的话几十秒。整体业务中断时间大致在这个量级(经验值)。
Q2:切换后为什么会丢数据?能完全避免吗?
因为复制是异步的。要完全避免需用同步复制语义(如 WAIT),但那会显著增加延迟,且 Redis 本身不提供强一致的官方方案。现实做法是接受秒级丢失并用业务补偿。
Q3:什么是脑裂,怎么防?
脑裂指主库与哨兵网络断连但主库仍存活,导致新旧两个主同时接写。可用 min-replicas-to-write 让主库在从库不足时拒绝写入,并保证网络规划不要出现"主库被隔离但还活着"的情况。
Q4:原主库恢复了,为什么数据变少了?
因为它被降级为从库,会清空自身数据并复制新主。它在"主"期间未同步出去的写入会被丢弃。这是保证集群一致性的必要行为。
Q5:单实例 Redis 挂了怎么恢复?
单实例没有自动切换能力,只能靠持久化文件重启恢复。启动后从 dump.rdb/appendonly.aof 加载数据,这期间服务不可用。要避免长时间不可用,必须上主从+哨兵或集群。
总结
- 主从异步复制决定了故障切换必然可能丢数据,丢的量由复制延迟决定,先想清楚业务能容忍丢多少。
- Sentinel 靠 quorum 投票做切换,Cluster 靠集群节点投票并接管槽位;两者都要求客户端支持拓扑变更,别硬编码主库地址。
- 切换后务必验证:角色、复制链路、数据量、客户端连接、日志,避免"切过去了但没切干净"。
- 脑裂是最危险的情况,用
min-replicas-to-write、合理的网络与节点分布来缓解,关键写入可用WAIT换取更强一致性。 - 真正的保障来自日常:监控复制延迟、配置合理切换阈值、持久化备份、定期演练,才能在真宕机时快速把服务拉回来。
企业QQ咨询




