Redis主节点宕机后如何恢复服务?故障切换与数据一致性分析

凌晨主库所在的机器挂了,监控狂响,业务开始报 Redis 连接错误。如果 Redis 是单实例,你只能眼睁睁等它起来;如果上了主从+哨兵(Sentinel)或集群(Cluster),理论上会自动切换,但"自动切换成功"和"数据没丢、业务没感知"是两回事。真实场景里,切换后最常见的问题是:连接池还抓着旧主、切过去之后数据比之前少了一截、客户端缓存了错误的拓扑信息、甚至出现脑裂导致两个节点都自认为是主。

这篇文章围绕"Redis 主节点宕机后怎么恢复"展开,分三块:第一块讲主从复制和故障切换的原理,理解"为什么会丢数据";第二块给出哨兵/集群下从主库宕机到业务恢复的完整操作流程(含真实的 redis-cli 命令和配置项);第三块专门讲数据一致性与脑裂风险,以及怎么把损失控制到最小。涉及提升从库为主库、重建复制关系这类操作,都会给出风险提示和回滚思路。

先说结论:Redis 的异步复制天然决定了切换必然可能丢数据,你要做的不是追求"零丢失"(那需要用 WAIT 命令或分布式锁等手段付出很大代价),而是弄清楚最坏情况丢多少、能不能接受、以及怎么让业务优雅地扛过这几秒到几十秒的中断。

一、主从复制:切换的前提

哨兵和集群的自动故障切换,都建立在主从复制之上。先看复制是怎么工作的。

一个 Redis 从库连接到主库后,经历两个阶段:

  1. 全量同步。从库首次连接,主库 fork 出一个子进程生成 RDB 快照,把快照发给从库;从库加载快照后,主库再把期间缓冲的写命令发给从库。这一阶段开销大,网卡和磁盘都会忙。
  2. 增量同步(命令传播)。之后主库每执行一条写命令,就异步转发给从库。从库执行同样命令,保持数据一致。

关键点在于异步:主库执行完写命令、给客户端返回成功后,才会把命令发给从库。也就是说,主库返回成功那一刻,从库可能还没收到。如果主库恰好在"已回复客户端但还没同步给从库"的窗口里宕机,这部分数据就丢了。用配置可以观察和约束这个延迟:

# 主库侧:复制积压缓冲区大小,越大越不容易触发全量同步
repl-backlog-size 1mb

# 从库侧:同步超时、只读
repl-timeout 60
replica-read-only yes
# 查看主从复制状态
redis-cli INFO replication
# 重点关注:
#   role:master / slave
#   connected_slaves:N
#   slave0:ip=...,port=...,state=online,offset=...,lag=0
#   master_link_status:up / down
#   master_repl_offset / slave_repl_offset  <- 两者差值即"落后了多少字节"

# 从库上查看离主库有多远
redis-cli INFO replication | grep -E 'master_link_status|slave_repl_offset|master_repl_offset'

master_repl_offset(主库写的偏移)与 slave_repl_offset(从库收到的偏移)之差,就是可能丢失的数据量(以字节计的复制命令流)。差得越多,切换时丢得越多。监控这个 lag 是判断"切换风不风险"的核心指标。

二、哨兵模式下的自动切换

哨兵(Sentinel)是 Redis 官方的高可用方案,负责监控、通知和自动故障转移。典型部署是:1 主 + N 从 + 至少 3 个哨兵(哨兵要为奇数,避免投票平票)。

切换的判定流程:

  1. 哨兵向主库发 PING,若超过 down-after-milliseconds 没响应,标记为主观下线(SDOWN)。
  2. 多个哨兵都认为主库挂了,达到 quorum 数量后,标记为客观下线(ODOWN)。
  3. 哨兵们选出一个领导者,从从库中挑选一个"最合适"的(复制偏移量最大、优先级高、数据最新的)提升为新主。
  4. 其余从库改为复制新主,并通知客户端新主地址(通过哨兵订阅机制)。

相关配置(sentinel.conf):

# 监控名为 mymaster 的主库,判断下线需要 2 个哨兵同意
sentinel monitor mymaster 127.0.0.1 6379 2
# 超过 5000ms 无响应即认为主观下线
sentinel down-after-milliseconds mymaster 5000
# 故障转移超时
sentinel failover-timeout mymaster 60000
# 同时向新主同步的从库数量(太大易造成新主压力)
sentinel parallel-syncs mymaster 1

故障恢复的操作流程:

# 1) 确认当前拓扑:问哨兵谁是主库
redis-cli -p 26379 SENTINEL get-master-addr-by-name mymaster
# 输出示例:1) "192.168.1.10"  2) "6379"

# 2) 查看从库列表
redis-cli -p 26379 SENTINEL slaves mymaster

# 3) 查看哨兵监控状态
redis-cli -p 26379 SENTINEL master mymaster

# 4) 如果自动切换没触发,可以手动强制一次故障转移(谨慎!)
redis-cli -p 26379 SENTINEL FAILOVER mymaster

业务恢复的关键在客户端:应用必须通过哨兵获取主库地址,而不是把主库 IP 写死在配置里,否则切换后应用还在连旧主。主流客户端库(如 Jedis、Lettuce、各语言 Redis 客户端)都支持哨兵模式,配置指向哨兵列表即可。

原主库恢复后的处理: 原主库重启后,它不会自动变回主,而是被哨兵降级为从库,复制当前的新主。你要确认它确实变成了从库:

redis-cli -h <原主库IP> -p 6379 INFO replication
# role 应为 slave,且 master_host 指向新主

风险提示:SENTINEL FAILOVER 会强制切换,如果原主库其实没挂(只是网络抖动),可能导致原主库上的数据被新主覆盖,造成数据丢失甚至脑裂。手动转移前务必确认主库真的不可用。另外重新提升原主库时,它上面"主库期间"未被同步的写入会被丢弃。

三、Cluster 集群模式下的主库宕机

如果用的是 Redis Cluster(分片集群),故障处理逻辑不同。Cluster 把数据分到 16384 个槽(slot)上,每个分片是"主+从"。某主库宕机后,它的从库会自动晋升,接管该主库负责的槽。

# 查看集群状态与拓扑
redis-cli --cluster check 127.0.0.1:6379
redis-cli -c -p 6379 CLUSTER INFO
redis-cli -c -p 6379 CLUSTER NODES

# 手动触发某节点的故障转移(谨慎)
redis-cli -c -p 6380 CLUSTER FAILOVER

# 集群健康关键字段
# cluster_state:ok / fail
# cluster_slots_assigned:16384  (必须全部覆盖)
# cluster_known_nodes / cluster_size

Cluster 与 Sentinel 的差异:

对比项 Sentinel 哨兵 Cluster 集群
分片能力 无,单主承载全部数据 有,数据分片到多主
自动故障转移 有 有
判定方式 哨兵 quorum 投票 集群节点投票 + 多数主节点存活
客户端要求 需支持哨兵 需支持集群(自动重定向 MOVED/ASK)
适用规模 中等数据量 大数据量、高并发
最小节点数 1 主 + 3 哨兵 至少 3 主 3 从
数据丢失风险 取决于复制延迟 同样取决于复制延迟

Cluster 有一个更严格的限制:当某个主库及其所有从库都挂掉,或故障的主库数超过一半时,整个集群会进入 cluster_state:fail,停止对外服务。这是为了防止脑裂和数据不一致做出的取舍。所以集群规划时要保证从库分布在不同物理机/机架上。

四、数据一致性:会丢什么、为什么丢

这是全文最需要理解的部分。Redis 主从复制是异步的,宕机切换时的数据丢失主要来自这几处:

场景一:主库宕机前,命令已回复客户端但未同步到从库。 这部分写入彻底丢失。丢的量取决于复制延迟,通常几毫秒到几百毫秒的写入量,高并发下可能更多。

场景二:原主库恢复后被降级,它"主库期间"的写入被丢弃。 新主已经在原主宕机后接了新写入,为保持一致,原主必须清空自己、复制新主。原主上那部分未同步数据就没了。

场景三:脑裂(split-brain)。 主库与哨兵/集群的网络断开,但主库本身还活着且客户端仍能连它。哨兵以为主库挂了,提升了一个从库为新主;原主库那边客户端还在往旧主写。等网络恢复、原主被降级,这些写入全部丢失。脑裂是最危险的情况,因为它可能在"两个主"状态下持续接收大量写入。

Redis 提供了几个降低风险的手段:

# 主库至少要有 N 个从库保持连接,才接受写请求
# 可防止主库在"失联孤立"状态下继续接收写入(缓解脑裂)
min-replicas-to-write 1
min-replicas-max-lag 10

# 客户端侧:命令提交后用 WAIT 等待至少 N 个从库确认(同步复制语义)
# WAIT 命令:等待指定数量的从库确认收到之前的写入
# 返回实际确认的从库数;超时(毫秒)后返回已达成的数量
redis-cli -p 6379 WAIT 1 100

WAIT 能让写入在返回前确保同步到从库,代价是增加延迟,只适合对一致性要求极高的关键写入。对绝大多数业务来说,接受"秒级丢失"、用上层业务补偿更现实。

一个常被忽略的点:切换时丢失的数据,业务层要能发现并补偿。比如用 Redis 做订单号的发号器、做库存扣减,切换后可能出现"号码不是连续"或"库存少扣了"。设计时就要考虑:关键数据是否有数据库兜底?丢失后能否通过对账修复?

五、切换后的恢复与验证清单

故障切换不是"恢复服务"就结束了,切换后要做一轮验证,确认状态正确。

# 1) 确认主从角色正确
for p in 6379 6380 6381; do echo "== port $p =="; redis-cli -p $p INFO replication | head -5; done

# 2) 确认复制链路正常、延迟在可接受范围
redis-cli -p <新主> INFO replication
redis-cli INFO replication | grep master_link_status

# 3) 核对数据量(切换前后的 DBSIZE、关键 key 是否存在)
redis-cli -p <新主> DBSIZE
redis-cli -p <新主> EXISTS some_critical_key

# 4) 检查客户端是否已连到新主(看新主的 connected_clients、命令速率)
redis-cli -p <新主> INFO clients
redis-cli -p <新主> INFO stats | grep -E 'instantaneous_ops_per_sec|total_commands_processed'

# 5) 检查日志有无异常(脑裂、重复提升、复制中断)
sudo tail -n 200 /var/log/redis/redis-server.log

如果发现客户端还连着旧主,重启应用连接池或触发重连;如果发现复制链路断开,检查网络、防火墙端口(默认 6379,集群总线端口通常 16379)。

六、预防:让恢复更快、丢得更少

  • 合理配置哨兵/集群规模:哨兵 3 个以上且奇数;集群至少 3 主 3 从,主从分布在不同物理机/可用区,避免"一挂挂一片"。
  • 调小切换判定时间:down-after-milliseconds 越小,发现故障越快、切换越早、丢得越少,但太敏感会因网络抖动误判。5000ms(5 秒)是常见经验值,可根据网络质量调整。
  • 监控复制延迟:把 master_repl_offset - slave_repl_offset 做成指标,延迟过大时告警,避免"切换时才发现从库落后很多"。
  • 开启数据安全持久化并交叉备份:即便切换丢了一部分内存数据,RDB/AOF 里可能还有。见持久化相关配置。
  • 客户端必须支持拓扑变更:用哨兵/集群模式,别硬编码主库地址;连接池要能自动重连。
  • 做切换演练:定期在测试环境模拟主库宕机,验证自动切换耗时、数据丢失量、业务表现,把真实数字记下来。
  • 关键写入加业务兜底:对一致性极度敏感的写,落库后再写缓存,或采用 WAIT、分布式锁等手段。

常见问题

Q1:主库宕机后,哨兵多久能完成切换?
取决于 down-after-milliseconds 和 failover-timeout。经验上,配置 5 秒判定、60 秒超时的情况下,从宕机到新主就绪通常在十几秒内,慢的话几十秒。整体业务中断时间大致在这个量级(经验值)。

Q2:切换后为什么会丢数据?能完全避免吗?
因为复制是异步的。要完全避免需用同步复制语义(如 WAIT),但那会显著增加延迟,且 Redis 本身不提供强一致的官方方案。现实做法是接受秒级丢失并用业务补偿。

Q3:什么是脑裂,怎么防?
脑裂指主库与哨兵网络断连但主库仍存活,导致新旧两个主同时接写。可用 min-replicas-to-write 让主库在从库不足时拒绝写入,并保证网络规划不要出现"主库被隔离但还活着"的情况。

Q4:原主库恢复了,为什么数据变少了?
因为它被降级为从库,会清空自身数据并复制新主。它在"主"期间未同步出去的写入会被丢弃。这是保证集群一致性的必要行为。

Q5:单实例 Redis 挂了怎么恢复?
单实例没有自动切换能力,只能靠持久化文件重启恢复。启动后从 dump.rdb/appendonly.aof 加载数据,这期间服务不可用。要避免长时间不可用,必须上主从+哨兵或集群。

总结

  • 主从异步复制决定了故障切换必然可能丢数据,丢的量由复制延迟决定,先想清楚业务能容忍丢多少。
  • Sentinel 靠 quorum 投票做切换,Cluster 靠集群节点投票并接管槽位;两者都要求客户端支持拓扑变更,别硬编码主库地址。
  • 切换后务必验证:角色、复制链路、数据量、客户端连接、日志,避免"切过去了但没切干净"。
  • 脑裂是最危险的情况,用 min-replicas-to-write、合理的网络与节点分布来缓解,关键写入可用 WAIT 换取更强一致性。
  • 真正的保障来自日常:监控复制延迟、配置合理切换阈值、持久化备份、定期演练,才能在真宕机时快速把服务拉回来。