Redis集群如何部署?节点规划、数据分片与故障恢复指南

业务量涨到一定阶段,单实例 Redis 会同时撞上三堵墙:内存墙(一台机器装不下全部数据)、性能墙(单线程打满一个 CPU 核)、可用性墙(实例挂了缓存全丢,数据库瞬间被打穿)。Redis Cluster 就是官方给出的标准答案——把数据自动分片到多个节点,每个分片有副本,节点故障时自动切换。但它的部署过程有不少硬约束,尤其是"为什么最少要六个节点"这个问题,很多人在踩过坑之前都答不上来。本文从节点规划讲到数据分片原理,再到故障恢复的实际操作。

一、节点规划:为什么推荐三主三从

Redis Cluster 采用去中心化的 Gossip 协议,节点之间互相通信维护集群状态。它不依赖外部哨兵,故障检测和下线决策由主节点投票完成。这就带来一个关键约束:必须有奇数个主节点才能形成有效多数派。

如果只有 2 个主节点,各持有 1 票,一个节点认为另一个下线时,票数 1:1 无法形成多数,集群就会陷入"无法决策"的状态。3 个主节点时,某主节点 A 故障,只要另外 2 个主节点都标记 A 为 FAIL,就形成 2 > 1 的多数派,A 的从节点可以被提升。这也是为什么官方文档和几乎所有生产实践都推荐三主三从共六个节点:三个主节点负责分片和投票,每个主节点配一个从节点保证高可用。

1.1 最小与推荐的规模对比

部署形态节点数能否容忍故障投票可靠性适用场景
单实例1不能无开发环境、非关键缓存
主从 + Sentinel1主1从+3哨兵容忍主节点故障哨兵独立投票数据量可单实例容纳
Cluster 最小可用3主(无从)容忍 1 主故障但对应分片数据不可读3 票可靠可容忍部分数据丢失的纯缓存
Cluster 推荐3主3从容忍 1 主故障且数据不丢3 票可靠生产标准配置
Cluster 大规模5主5从及以上可容忍多节点故障5 票更稳数据量 TB 级

关于主节点数量有个上限建议:官方认为主节点数不宜超过 1000 个,实际生产中几百个就已经很难运维了(Gossip 消息量随节点数平方级增长)。常见做法是 3 到 10 个主节点,每个节点 8-32GB 内存。

1.2 内存规划的一个硬指标

每个节点的内存不能随便给。Redis 做 RDB 快照时会 fork 子进程(写时复制),AOF 重写同理。fork 瞬间如果开启 THP(Transparent Huge Page),内存页从 4KB 变成 2MB,写时复制的拷贝量和延迟都会暴增,必须先关闭:

echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag

内存规划的经验值是:单节点实际数据占用不超过物理内存的 60%,且不超过 10-16GB。留出余量给 fork 时的 COW、客户端缓冲区(client-output-buffer-limit)和复制积压缓冲区(repl-backlog-size)。另外 maxmemory-policy 建议设 allkeys-lru 或 volatile-lru,不要把 Redis 当持久存储用。

二、数据分片:16384 个槽与 CRC16 取模

Redis Cluster 没有采用一致性哈希,而是引入了哈希槽(hash slot)的概念。整个键空间被固定划分为 16384 个槽,每个主节点负责其中一段连续(或若干段)槽位。键到槽的映射算法非常直白:

slot = CRC16(key) mod 16384

用命令行验证:

127.0.0.1:7001> CLUSTER KEYSLOT user:10086
(integer) 12345

127.0.0.1:7001> CLUSTER KEYSLOT order:20241001
(integer) 8742

为什么是 16384 而不是 65536?作者 antirez 给出过解释:集群节点间心跳包需要携带自己负责的槽位信息,用 bitmap 表示 16384 个槽只需 2KB(16384/8 = 2048 字节),而 65536 需要 8KB,在每秒多次的心跳里这个开销差别很明显;同时他认为 1000 个节点已经远超实际需求,16384 个槽足以均匀分配。这个数字是硬编码的,无法配置。

2.1 键哈希标签(Hash Tag)

CRC16 是对整个 key 计算的,这意味着 user:10086 和 user:10086:profile 会被分到不同槽。Redis Cluster 不支持跨槽的多键操作(MGET、SUNION、事务等),会返回 CROSSSLOT Keys in request don't hash to the same slot 错误。

解决办法是哈希标签:如果 key 中包含 {},只有花括号内的内容参与 CRC16 计算:

127.0.0.1:7001> CLUSTER KEYSLOT user:{10086}
(integer) 5473
127.0.0.1:7001> CLUSTER KEYSLOT profile:{10086}
(integer) 5473      # 相同槽位

# 于是这两个 key 可以放进同一个 MGET / 事务
127.0.0.1:7001> MGET user:{10086} profile:{10086}

这是设计 key 命名规范时必须提前考虑的事。如果业务有大量"同一用户的多个 key 要一起操作"的场景,命名就要带上统一的花括号标签。

2.2 ASK 与 MOVED 重定向

客户端可以连接任意节点,如果该 key 不在当前节点负责的槽位上,节点会返回重定向错误:

  • MOVED:槽位已经永久归属于另一个节点(迁移完成后)。规范客户端应当更新本地的槽位映射缓存,下次直接访问正确节点。
  • ASK:槽位正在迁移中,这个 key 可能已经在新节点。ASK 是临时性的,客户端不应更新本地映射,只在本次请求前先发一条 ASKING 命令再访问目标节点。
# 用 redis-cli -c 模式会自动跟随重定向
$ redis-cli -c -p 7001
127.0.0.1:7001> GET user:10086
-> Redirected to slot [12345] located at 10.0.0.12:7002
"zhangsan"

生产环境的客户端必须用支持 Cluster 协议的客户端库(如 Java 的 Lettuce、Go 的 go-redis),它们会在本地缓存槽位映射表并自动处理重定向。如果用普通单机客户端连集群,会因为大量重定向错误导致性能极差甚至报错。另外务必开启客户端的自动拓扑刷新(Lettuce 的 topologyRefresh),否则集群扩缩容后客户端还拿着旧映射表。

三、部署实操:从零搭建三主三从

3.1 配置文件模板

每个节点的配置文件(以 7001 为例):

# /etc/redis/redis-7001.conf
port 7001
bind 10.0.0.11 127.0.0.1
daemonize yes
dir /data/redis/7001
logfile /var/log/redis/redis-7001.log
pidfile /var/run/redis/redis-7001.pid

# 集群核心开关
cluster-enabled yes
cluster-config-file /data/redis/7001/nodes-7001.conf
cluster-node-timeout 15000
cluster-require-full-coverage yes
cluster-replica-validity-factor 10
cluster-migration-barrier 1

# 持久化
appendonly yes
appendfsync everysec
save 900 1
dbfilename dump-7001.rdb

# 安全与资源
requirepass RedisPass#2024
masterauth RedisPass#2024
maxmemory 8gb
maxmemory-policy allkeys-lru
repl-backlog-size 64mb
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit pubsub 32mb 8mb 60

几个参数需要解释:

  • cluster-config-file 是节点自动生成和维护的文件(记录集群拓扑、槽位归属、节点状态),不要手工编辑,也不要多个节点共用同一个文件。
  • cluster-node-timeout 默认 15000 毫秒,是故障判定与切换的关键阈值:一个节点超过这个时间不可达,会被标记为 PFAIL(可能下线),若多数主节点都这么认为则升级为 FAIL,触发从节点提升。调小可以加快切换但会增加网络抖动导致的误判,一般保持 15 秒,网络质量特别好的内网可以调到 5-10 秒。
  • cluster-require-full-coverage 默认为 yes,表示只要有一个槽位没有任何节点负责,整个集群就停止接受读写。这是为了保证数据完整性,但对于纯缓存场景太严格了——一个分片全挂导致整个集群不可用显然不合理。缓存用途建议设为 no,这样只有故障分片的那部分数据不可访问,其余槽位正常服务。
  • cluster-replica-validity-factor 控制"多久没和主节点通信过的从节点不允许被提升",默认 10,配合 node-timeout 计算:(node-timeout × factor) + replica_ping_period。设为 0 表示任何从节点都可以尝试提升(更激进)。
  • cluster-migration-barrier 用于副本迁移:当某个主节点没有任何从节点时,集群会自动从从节点数量最多的主节点那边"借"一个过来。默认 1 表示源主节点至少要保留 1 个从节点。这个特性能显著提升可用性,不要设成 0。

3.2 创建集群

启动六个节点后,用一条命令创建集群。Redis 5.0 之后 redis-cli --cluster 取代了老旧的 redis-trib.rb(不再需要 Ruby 环境):

# 启动所有节点
for p in 7001 7002 7003 7004 7005 7006; do
  redis-server /etc/redis/redis-${p}.conf
done

# 创建三主三从集群,--cluster-replicas 1 表示每个主节点配 1 个从节点
redis-cli -a 'RedisPass#2024' --cluster create \
  10.0.0.11:7001 10.0.0.11:7002 \
  10.0.0.12:7003 10.0.0.12:7004 \
  10.0.0.13:7005 10.0.0.13:7006 \
  --cluster-replicas 1

命令会输出一份槽位分配方案(Master[0] -> Slots 0 - 5460 等),输入 yes 确认。建议把主节点交叉部署在不同物理机上:如果 7001 和 7002 都在 10.0.0.11,而它们恰好组成主从,那这台机器宕机就同时失去主和从。上面示例里 --cluster create 会自动把主从分配到不同主机,但自己规划时要清楚主从对应关系,可以用 CLUSTER NODES 验证。

3.3 日常检查命令

# 集群整体状态:重点看 cluster_state:ok 和 cluster_slots_assigned:16384
redis-cli -c -p 7001 -a 'RedisPass#2024' CLUSTER INFO
# cluster_state:ok
# cluster_slots_assigned:16384
# cluster_slots_ok:16384
# cluster_slots_pfail:0
# cluster_slots_fail:0
# cluster_known_nodes:6
# cluster_size:3

# 节点列表:看 node id、角色、槽位范围、主从关系、链路状态
redis-cli -c -p 7001 -a 'RedisPass#2024' CLUSTER NODES

# 健康检查:确认所有槽位都有覆盖、无异常
redis-cli -a 'RedisPass#2024' --cluster check 10.0.0.11:7001

# 查看每个节点的 key 数量与槽位分布
redis-cli -a 'RedisPass#2024' --cluster info 10.0.0.11:7001

CLUSTER NODES 的输出每行格式是: ...。flags 里 myself 是当前连的节点,master/slave 表示角色,fail? 是 PFAIL,fail 是已确认 FAIL。link-state 是 connected 或 disconnected。这是排查集群问题最重要的输出。

四、扩容与数据迁移(reshard)

当某个分片内存吃紧或集群整体容量不足时,需要加节点并迁移槽位。整个过程的原理是:把某个槽位标记为 MIGRATING(源节点)和 IMPORTING(目标节点),逐个 key 用 MIGRATE 命令搬迁,期间客户端访问会收到 ASK 重定向,全部搬完后更新槽位归属并广播。

4.1 添加主节点并迁移槽位

# 1. 新节点以空节点身份加入集群
redis-cli -a 'RedisPass#2024' --cluster add-node 10.0.0.14:7007 10.0.0.11:7001

# 2. 迁移槽位(交互式,会询问迁移多少槽、目标 ID、源 ID)
redis-cli -a 'RedisPass#2024' --cluster reshard 10.0.0.11:7001

# 非交互式写法:从指定节点迁移 4096 个槽给新节点
redis-cli -a 'RedisPass#2024' --cluster reshard 10.0.0.11:7001 \
  --cluster-from 3c3a0c74aae0b56170ccb03a76b60cfe7dc1912e \
  --cluster-to  a1b2c3d4e5f60718293a4b5c6d7e8f9012345678 \
  --cluster-slots 4096 \
  --cluster-yes

# 3. 为新主节点添加从节点(--cluster-master-id 指定主节点 ID)
redis-cli -a 'RedisPass#2024' --cluster add-node 10.0.0.14:7008 10.0.0.11:7001 \
  --cluster-slave --cluster-master-id a1b2c3d4e5f60718293a4b5c6d7e8f9012345678

# 4. 或者直接做负载均衡,让集群自动平衡各节点槽位数
redis-cli -a 'RedisPass#2024' --cluster rebalance 10.0.0.11:7001 \
  --cluster-threshold 1 --cluster-use-empty-masters

迁移期间的注意事项:

  • 迁移是按 key 逐个搬迁的,含有大 key(比如一个几 MB 的 hash 或 list)会让 MIGRATE 命令阻塞源和目标节点较长时间。迁移前先用 redis-cli --bigkeys 或 --memkeys 扫一遍,把大 key 拆分。
  • 迁移过程会占用网络带宽和 CPU,建议在业务低峰执行。可以用 --cluster-pipeline 调整批量大小(默认 10)来控制速度。
  • 迁移中断(比如 Ctrl-C 或网络断开)会留下槽位状态不一致,用 redis-cli --cluster fix 修复。但迁移完成后一定要用 --cluster check 确认所有槽位都有归属。

4.2 缩容:移除节点

顺序必须是先把槽位迁走,再删节点。如果直接删除还持有槽位的节点,那些槽位就没人负责,在 cluster-require-full-coverage yes 下整个集群会停止服务。

# 1. 先把该节点的槽位全部迁走
redis-cli -a 'RedisPass#2024' --cluster reshard 10.0.0.11:7001 \
  --cluster-from a1b2c3d4e5f60718293a4b5c6d7e8f9012345678 \
  --cluster-to   3c3a0c74aae0b56170ccb03a76b60cfe7dc1912e \
  --cluster-slots 4096 --cluster-yes

# 2. 删除从节点(空节点直接删)
redis-cli -a 'RedisPass#2024' --cluster del-node 10.0.0.11:7001 

# 3. 删除已清空的主节点
redis-cli -a 'RedisPass#2024' --cluster del-node 10.0.0.11:7001 

五、故障恢复:节点挂了怎么办

5.1 从节点故障

影响最小的情况。主节点会把它标记为 PFAIL → FAIL,其余读请求转给其他节点。修复方式:修复机器后重新启动该节点,它会自动重新加入集群并同步数据。注意 cluster-config-file 里保存着节点 ID,只要文件还在,重启后身份不变,会自动重新建立主从关系。如果文件丢失,节点会以全新 ID 加入,需要重新用 CLUSTER REPLICATE 指定主节点:

# 在从节点上执行,指定它复制哪个主节点
redis-cli -c -p 7004 CLUSTER REPLICATE 3c3a0c74aae0b56170ccb03a76b60cfe7dc1912e

5.2 主节点故障(自动切换)

这是 Redis Cluster 的核心能力。流程是:

  1. 某主节点 A 超过 cluster-node-timeout 未响应,被其他主节点标记为 PFAIL。
  2. 在 Gossip 消息交换中,多数主节点都报告 A 不可达,A 升级为 FAIL,并向全集群广播。
  3. A 的从节点们发起选举:每个从节点向所有主节点请求投票。选举采用 epoch(纪元)机制,从节点的 currentEpoch 递增,主节点在一个 epoch 内只投一票,先到先得。数据越新的从节点(通过 repl_offset 比较)越晚发起、优先级越高,从而尽量选出数据最完整的从节点。
  4. 获得多数主节点投票的从节点被提升为新主节点,接管原主节点的全部槽位,并通过 PONG 消息广播新的拓扑。整个过程通常在几秒内完成。

可以通过日志观察:FAIL message received → Start of election → Failover election won → Configured as replica successor。

5.3 手动切换与强制 failover

# 在从节点上执行,优雅切换(会先同步数据,几乎不丢)
redis-cli -c -p 7004 CLUSTER FAILOVER

# 强制切换,不等主节点确认(主节点已彻底不可用时)
redis-cli -c -p 7004 CLUSTER FAILOVER TAKEOVER

# 忽略数据新鲜度差异强制切换(可能丢数据,慎用)
redis-cli -c -p 7004 CLUSTER FAILOVER FORCE

CLUSTER FAILOVER(不带参数)是运维主动做主从切换的标准手段,比如要下线某台机器做维护:先在它的从节点上执行此命令把主切走,再安全关机。这个操作是协调式的,主节点会先停止写入等待从节点追平,数据几乎零丢失。

5.4 集群完全不可用时的抢救

如果因为某些原因(比如多数主节点同时宕机)集群无法自愈,CLUSTER INFO 显示 cluster_state:fail,此时:

# 1. 检查各节点状态,确认哪些还在
for p in 7001 7002 7003 7004 7005 7006; do
  echo "--- $p ---"; redis-cli -p $p -a 'RedisPass#2024' PING 2>&1
done

# 2. 尝试修复槽位归属问题
redis-cli -a 'RedisPass#2024' --cluster fix 10.0.0.11:7001

# 3. 如果是旧版本遗留问题(Redis 3/4 时代),可用硬重置
#    注意:会清空数据,仅用于纯缓存且可重建的场景
redis-cli -c -p 7001 CLUSTER RESET HARD

需要提醒:Redis Cluster 是异步复制,主节点在写入后立刻返回,从节点可能还没收到。主节点宕机时,那部分未同步的写入会永久丢失。如果业务要求缓存强一致,可以考虑 WAIT 命令:SET k v; WAIT 1 1000 表示等待至少 1 个副本确认,最多等 1000 毫秒。但这会显著增加写延迟,只在极少数场景使用。

六、避坑清单

  • 不要用单机客户端连集群。必须用支持 Cluster 协议的客户端,并开启拓扑自动刷新,否则扩容后客户端还在用旧映射表。
  • 把 cluster-require-full-coverage 按用途区分。纯缓存设 no,避免一个分片故障拖垮整个集群;做持久化存储的设 yes 保证数据完整性。
  • 主从不要部署在同一台物理机。这是最容易被忽视的规划错误,机器一挂,主和它的从一起没。
  • 关闭 Transparent Huge Page。否则 fork 时延迟抖动会非常明显,甚至触发 cluster-node-timeout 导致误判故障。
  • 多键操作必须用哈希标签。在设计 key 命名时就要定好规范,后期改 key 格式的成本极高。
  • 迁移前先扫大 key。redis-cli --bigkeys --memkeys 找出大 key 并拆分,否则 MIGRATE 会长时间阻塞。
  • 缩容必须先迁槽再删节点。顺序错了会导致槽位无人负责,cluster-require-full-coverage yes 下整个集群拒绝服务。
  • 监控要看 cluster_slots_fail 和 cluster_known_nodes。这两个指标异常往往比业务告警更早发现问题。同时监控每个节点的 used_memory、keyspace 命中率、rejected_connections。
  • 备份要覆盖所有分片。每个节点独立生成 RDB/AOF,备份脚本要遍历所有主节点。
  • Redis Cluster 只支持 db0,不支持 SELECT 切库。迁移老业务时要检查是否用了多 db。

小结

Redis Cluster 部署的核心可以概括成三句话:节点规划上用三主三从起步,因为奇数个主节点才能形成投票多数派,这是去中心化架构的硬约束;数据分片上理解 16384 槽与 CRC16 取模的原理,用哈希标签解决跨槽多键操作问题,用支持 Cluster 协议的客户端处理 MOVED/ASK 重定向;故障恢复上掌握 CLUSTER NODES / CLUSTER INFO 的读法,理解从 PFAIL 到 FAIL 再到选举提升的完整链路,并熟练使用 CLUSTER FAILOVER 做主动切换。扩容用 reshard、缩容先迁槽再 del-node,每一步之后都用 --cluster check 确认槽位完好。把这些流程跑通并做一两次真实的宕机演练,Redis 集群才算是真正"部署好了"——而不是仅仅"创建成功了"。