凌晨三点,机房一台交换机故障,整个站点不可用 47 分钟。事后复盘发现:Web 层有 4 台机器(冗余了),数据库做了主从(冗余了),但所有流量都要经过一台 Nginx 负载均衡器,而它只有一台——整条链路上最薄弱的一环决定了整体的可用性。这就是单点故障(Single Point of Failure,SPOF)的本质:系统的可用性不是由最强的组件决定的,而是由最弱的那一环决定的。高可用架构设计的核心工作,就是把这条链路上每一个"只有一份"的组件都找出来,然后消灭掉。本文按从入口到数据的顺序,逐层讲清楚冗余怎么做、故障怎么切、以及那些比单点更隐蔽的"伪冗余"陷阱。
一、先画链路图,把单点找出来
任何高可用改造的第一步不是买设备,而是画一张完整的请求链路图,把每个环节标注出来,然后逐个问:"它挂了会怎样?"
一个典型站点的链路是这样的:
用户
└─ DNS 解析 ← 单点?权威 DNS、域名过期
└─ 公网入口(CDN / 高防 / NAT) ← 单点?单运营商单机房
└─ 负载均衡(Nginx / LVS / SLB) ← 单点?最常见
└─ Web 应用(多台) ← 一般已冗余
├─ 缓存 Redis ← 单点?单实例
├─ 数据库 MySQL ← 单点?主库
├─ 文件存储(NFS / OSS) ← 单点?NFS 服务器
└─ 消息队列 / 内部依赖服务 ← 常被忽略
└─ 监控 / 日志 / 定时任务 ← 常被忽略
对每个环节,用统一的三个问题评估:它有没有副本?副本之间能否自动切换?切换过程会不会丢数据或产生不一致?三个问题全答"是",才算真正消灭了单点。
把可用性量化成可管理的目标,常用的是"几个九":
| 可用性目标 | 年停机时间 | 月停机时间 | 典型架构要求 |
|---|---|---|---|
| 99%(两个九) | 约 87.6 小时 | 约 7.3 小时 | 单台服务器 + 快速人工恢复 |
| 99.9%(三个九) | 约 8.76 小时 | 约 43.8 分钟 | 双机冗余 + 自动故障切换 |
| 99.99%(四个九) | 约 52.6 分钟 | 约 4.4 分钟 | 多可用区 + 完善监控与演练 |
| 99.999%(五个九) | 约 5.26 分钟 | 约 26 秒 | 异地多活 + 自动化运维体系 |
要注意,串联组件的可用性是相乘的。假设 DNS 99.99%、负载均衡 99.9%、Web 集群 99.99%、数据库 99.9%,整体可用性约为 0.9999 × 0.999 × 0.9999 × 0.999 ≈ 99.78%。也就是说,四个组件各自做到三个九,整体只有"两个九多一点"。这就是为什么每多一个有状态的组件,达成高可用的难度就上一个台阶。
二、入口层:DNS 与负载均衡的冗余
2.1 DNS 层
DNS 是最容易被忽略的单点。常见风险包括:权威 DNS 服务商故障、域名过期被停止解析、TTL 过长导致切换缓慢。
对策:至少使用两家权威 DNS(主备或负载均衡模式);把域名注册信息的到期提醒打开并设置自动续费;把关键记录的 TTL 设为 60-300 秒,让故障时有切换空间(注意 TTL 太短会增加解析请求量和延迟)。
如果需要跨机房切换,可以用 DNS 的健康检查与故障转移(部分 DNS 服务商支持):监控源站 IP,不可用时自动把解析切到备用 IP。
2.2 负载均衡层:Keepalived 双机热备
自建负载均衡时,最常见的方案是 Keepalived + VRRP(虚拟路由冗余协议):两台 Nginx 共享一个虚拟 IP(VIP),主节点持有 VIP 并周期性发送 VRRP 通告;备节点收不到通告时接管 VIP。
# 主节点 /etc/keepalived/keepalived.conf
global_defs {
router_id LB_01
script_user root
enable_script_security
}
# 定义对 Nginx 进程的健康检查脚本
vrrp_script chk_nginx {
script "/etc/keepalived/check_nginx.sh"
interval 2
timeout 2
weight -30
fall 2
rise 1
}
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 51
priority 150
advert_int 1
# 单播模式(云环境通常不支持组播,必须配置)
unicast_src_ip 10.0.0.2
unicast_peer {
10.0.0.3
}
authentication {
auth_type PASS
auth_pass yourpass
}
virtual_ipaddress {
10.0.0.100/24 dev eth0
}
track_script {
chk_nginx
}
notify_master "/etc/keepalived/notify.sh master"
notify_backup "/etc/keepalived/notify.sh backup"
notify_fault "/etc/keepalived/notify.sh fault"
}
备节点的配置只需要改三处:router_id 改为 LB_02、state 改为 BACKUP、priority 改为 100(必须小于主节点的 150),并把 unicast_src_ip 与 unicast_peer 对调。
配套的 Nginx 检查脚本,用于实现"Nginx 进程挂了也触发切换"(VRRP 本身只能检测机器和 keepalived 进程):
# 写入 Nginx 检查脚本(内容见下)
cat > /etc/keepalived/check_nginx.sh <<'EOF'
#!/bin/bash
# 返回 0 表示健康,非 0 表示异常(触发权重下降与切换)
if ! pidof nginx > /dev/null; then
systemctl start nginx
sleep 2
if ! pidof nginx > /dev/null; then
exit 1
fi
fi
exit 0
EOF
chmod +x /etc/keepalived/check_nginx.sh
# 启动与验证 systemctl enable --now keepalived # 查看 VIP 是否在主节点上 ip addr show eth0 | grep -w '10.0.0.100' # 查看 VRRP 状态与日志 systemctl status keepalived journalctl -u keepalived -f # 测试切换:在主节点停掉 keepalived,观察备节点是否接管 VIP systemctl stop keepalived # 在备节点执行 ip addr show eth0 | grep -w '10.0.0.100'
几个关键的实战要点:
- 云环境必须用单播(unicast)。大多数云平台不支持组播(VRRP 默认使用组播 224.0.0.18),不配置
unicast_src_ip和unicast_peer会导致双主(split-brain)。 - 警惕脑裂(split-brain)。当主备之间的 VRRP 通告链路中断但两台机器都正常时,两台都会认为自己是主并同时持有 VIP,造成网络混乱。 mitigation 手段:用多条心跳链路(业务网 + 管理网)、配置
nopreempt(非抢占模式,避免主节点恢复后反复切换)、以及在 notify 脚本里做二次确认。 - 切换会有短暂中断。VRRP 默认
advert_int 1秒,配合fall 2,通常在 2-3 秒内完成切换。期间已建立的 TCP 连接会中断,客户端需要重连。 - 云环境优先考虑托管负载均衡。云厂商的 SLB/CLB/ALB 本身就是分布式集群多活的,省掉自建 Keepalived 的全部运维成本,通常比自建两台 ECS + Keepalived 更可靠也更简单。
三、应用层:无状态是冗余的前提
Web 层最容易做高可用,因为它通常是无状态的——加机器即可。但"看起来无状态"和"真的无状态"是两回事,必须先检查这三个地方:
- Session:如果 Session 存在本地内存或本地文件,负载均衡后用户会反复掉线。必须迁到 Redis(Spring Session、或 PHP 的
session.save_handler = redis)。 - 本地文件:用户上传的头像、生成的报表如果写在本机磁盘,其他机器访问不到。必须迁到对象存储或共享存储。
- 本地缓存与定时任务:本地缓存(如 Caffeine、APC)在多机下会不一致;定时任务如果每台机器都跑,会重复执行。定时任务需要用分布式锁或独立的调度节点。
Web 层冗余的判断标准很简单:随机关掉任意一台,业务应该完全无感。把这个做成定期演练(比如每月一次),才是真的验证过,而不是"理论上应该没问题"。
四、数据层:最难的一关
有状态组件的冗余是所有高可用设计里最难的部分,因为副本之间要同步数据,而同步就有延迟与一致性问题。
4.1 Redis
单实例 Redis 是典型的单点。可选方案:
- 主从 + 哨兵(Sentinel):一主多从,Sentinel 监控主节点并在其故障时自动选举新主。适合中小规模,部署简单,客户端需要支持 Sentinel 协议。
- Redis Cluster:数据分片到多个主节点,每个主节点有从节点,支持自动故障转移与水平扩容。适合数据量大、QPS 高的场景,但客户端需支持集群协议,且不支持跨 slot 的多 key 事务。
需要注意的是:Redis 主从复制是异步的,主节点故障瞬间可能有少量已写入但未同步的数据丢失。对缓存数据来说这通常可以接受,但如果把 Redis 当作唯一数据源(如分布式锁、计数器),就必须清楚这个风险。Redis 的 WAIT 命令可以要求等待 N 个副本确认,但会显著增加延迟。
4.2 MySQL
MySQL 的高可用方案按复杂度递增:
| 方案 | 切换方式 | 数据一致性 | 复杂度 | 适用 |
|---|---|---|---|---|
| 主从复制 + 手动切换 | 人工 | 依赖复制延迟 | 低 | 小型站点,可接受分钟级 RTO |
| 主从 + MHA / Orchestrator | 自动 | 异步复制,可能丢少量数据 | 中 | 主流方案 |
| 半同步复制(rpl_semi_sync) | 自动 | 至少一个从库确认,丢失风险大幅降低 | 中 | 对一致性要求较高 |
| MySQL Group Replication / InnoDB Cluster | 自动 | 基于 Paxos,强一致 | 高 | 金融、订单类核心库 |
| 共享存储(SAN / DRBD) | 自动 | 强一致(共享一份数据) | 高 | 传统架构,存储本身成为单点 |
无论用哪种方案,都必须明确两个指标:
- RTO(Recovery Time Objective):故障后多久能恢复服务。自动切换通常 10-60 秒,人工切换通常 5-30 分钟。
- RPO(Recovery Point Objective):允许丢失多少数据。异步复制可能丢失几秒到几分钟的数据,半同步接近零丢失,Group Replication 理论上零丢失。
这两个指标必须在架构选型时就写下来并让业务方确认。很多团队做了一堆冗余,却从没问过"能接受丢多少数据",结果出事时才发现选型错了。
主从复制延迟的监控是日常运维的重点:
-- 在从库上查看复制状态 SHOW SLAVE STATUS\G -- 或 MySQL 8.0.22+ 使用 SHOW REPLICA STATUS\G -- 重点关注三个字段: -- Slave_IO_Running / Slave_SQL_Running :必须为 Yes -- Seconds_Behind_Master :复制延迟秒数,正常应接近 0 -- Last_SQL_Error :复制错误信息 -- 查看主库 binlog 位置,与从库对比 SHOW MASTER STATUS; -- 判断标准: -- Seconds_Behind_Master 持续大于 10 秒,说明从库跟不上主库写入, -- 此时若发生切换,会丢失这段时间的数据,且从库追平需要时间。
读写分离带来的一个典型陷阱是写后读不一致:用户刚下单,立即查询订单列表时读请求落到从库,而 binlog 还没同步过去,导致"订单不见了"。解决办法:对刚写入的数据强制走主库(按时间窗口或按用户标记)、或者等待 Seconds_Behind_Master = 0、或者使用 WAIT_FOR_EXECUTED_GTID_SET 等待 GTID 追平。
五、容易被忽略的"伪冗余"
下面这些情况看起来有冗余,实际上并没有,是高可用的经典陷阱:
- 两台机器在同一台物理宿主机上:宿主机故障,两台一起挂。公有云上要注意反亲和性(anti-affinity)策略或选择不同可用区。
- 两台机器在同一个机柜 / 同一台交换机下:TOR 交换机或 PDU 故障会导致同时不可用。
- 共享存储是单点:两台应用服务器 + 一台 NFS,NFS 挂了两边都读不到文件。共享存储本身必须高可用(如分布式存储或对象存储)。
- 共享数据库是单点:Web 层十台机器看起来很冗余,但都连同一个 MySQL 主库,主库一挂全站不可用。
- 监控和日志系统是单点:故障发生时最需要监控的那一刻,监控系统自己挂了;或者日志集中在一台机器上,排查时无法访问。
- 备份和源数据在同一台机器上:机器故障或误删时,备份一起丢失。备份必须异地保存,并定期验证可恢复。
- CDN / 第三方服务是单点:依赖的外部 API 挂了会拖垮自己的服务,需要有降级与超时策略。
判断"伪冗余"的方法很简单:对每个组件问一句"如果承载它的最底层物理设备故障,还有几份副本存活"。答案小于 2 的,都是伪冗余。
六、故障切换的演练清单
没有演练过的高可用等于没有高可用。下面是一套可定期执行的演练流程:
- 准备:选定业务低峰期,通知相关人员,准备回滚方案,确认监控告警正常工作中。
- 记录基线:切换前记录 QPS、响应时间、错误率、各组件资源水位,作为对比依据。
- 逐个 kill 组件:先杀一台 Web 后端 → 观察流量是否自动转移到其他节点;再杀负载均衡备节点 → 观察无影响;然后杀主节点 → 观察 VIP 漂移时间与中断时长。
- 记录切换指标:从故障注入到业务恢复的时间(真实 RTO)、期间的错误请求数量、是否有数据丢失(真实 RPO)。
- 验证数据一致性:切换后核对主从数据条数、检查复制状态、确认无重复订单或丢失记录。
- 恢复并复盘:把组件恢复原状,核对 VIP 与主从角色是否回到预期,输出演练报告,把发现的问题列入改进项。
- 定期化:建议每季度至少做一次完整演练,重大架构变更后立即演练一次。
# 演练时的实时监控命令(开多个终端并行观察)
# 终端 1:观察 VIP 漂移
watch -n1 'ip addr show eth0 | grep -w inet'
# 终端 2:观察业务错误率
watch -n1 "tail -n 1000 /var/log/nginx/access.log | awk '\$9>=500' | wc -l"
# 终端 3:观察后端健康状态
watch -n1 'curl -s -o /dev/null -w "%{http_code} %{time_total}\n" http://www.example.com/health'
# 终端 4:观察数据库复制状态
watch -n2 "mysql -uroot -p'' -e 'SHOW SLAVE STATUS\G' | grep -E 'Running|Seconds_Behind'"
# 终端 5:观察 Redis 主从角色
watch -n2 'redis-cli INFO replication | grep -E "role|connected_slaves|master_link_status"'
小结
避免单点故障的方法论可以压缩成一句话:画出完整链路 → 逐环节找单点 → 用副本 + 自动切换消灭它 → 用演练验证它真的有效。其中最容易出问题的是两个地方:一是只关注 Web 层而忽略了入口层(DNS、负载均衡)和数据层(数据库、缓存、共享存储);二是做了"伪冗余"——两台机器在同一宿主机、共享一个 NFS 或同一个主库,看起来冗余,实际共因故障。
实践建议与避坑清单:
- 先明确 RTO 与 RPO 再选型。不知道能接受多久中断、能丢多少数据,就无法判断该上什么方案。
- 云环境优先用托管负载均衡,比自建 Keepalived 更省心且天然多活。
- 自建 Keepalived 必须配置单播,否则云环境不支持组播会导致脑裂。
- 警惕脑裂与数据双写。主备切换时用
nopreempt,并在应用侧确保同一时刻只有一个写入方。 - 无状态是 Web 层冗余的前提。Session、上传文件、定时任务这三件事没处理好,加多少台都是假的冗余。
- 异步复制一定会丢数据。对一致性要求高的场景用半同步或 Group Replication,不要对异步主从抱有不切实际的期待。
- 注意写后读不一致。读写分离后必须处理刚写入数据的读取路径。
- 备份不等于高可用,高可用也不等于备份。冗余防的是硬件故障,备份防的是误删与逻辑错误,两者都需要。
- 监控系统自身也要冗余,否则最需要它的时候它不在。
本文涉及 Keepalived 2.x、MySQL 5.7/8.0、Redis 5.0/6.x。托管负载均衡、DNS 故障转移等功能的具体名称与能力因云厂商而异,请以各服务商官方文档为准。
企业QQ咨询




