高可用网站架构如何避免单点故障?冗余设计与故障切换实战

凌晨三点,机房一台交换机故障,整个站点不可用 47 分钟。事后复盘发现:Web 层有 4 台机器(冗余了),数据库做了主从(冗余了),但所有流量都要经过一台 Nginx 负载均衡器,而它只有一台——整条链路上最薄弱的一环决定了整体的可用性。这就是单点故障(Single Point of Failure,SPOF)的本质:系统的可用性不是由最强的组件决定的,而是由最弱的那一环决定的。高可用架构设计的核心工作,就是把这条链路上每一个"只有一份"的组件都找出来,然后消灭掉。本文按从入口到数据的顺序,逐层讲清楚冗余怎么做、故障怎么切、以及那些比单点更隐蔽的"伪冗余"陷阱。

一、先画链路图,把单点找出来

任何高可用改造的第一步不是买设备,而是画一张完整的请求链路图,把每个环节标注出来,然后逐个问:"它挂了会怎样?"

一个典型站点的链路是这样的:

用户
 └─ DNS 解析           ← 单点?权威 DNS、域名过期
     └─ 公网入口(CDN / 高防 / NAT)  ← 单点?单运营商单机房
         └─ 负载均衡(Nginx / LVS / SLB)  ← 单点?最常见
             └─ Web 应用(多台)      ← 一般已冗余
                 ├─ 缓存 Redis        ← 单点?单实例
                 ├─ 数据库 MySQL      ← 单点?主库
                 ├─ 文件存储(NFS / OSS)  ← 单点?NFS 服务器
                 └─ 消息队列 / 内部依赖服务  ← 常被忽略
                     └─ 监控 / 日志 / 定时任务  ← 常被忽略

对每个环节,用统一的三个问题评估:它有没有副本?副本之间能否自动切换?切换过程会不会丢数据或产生不一致?三个问题全答"是",才算真正消灭了单点。

把可用性量化成可管理的目标,常用的是"几个九":

可用性目标年停机时间月停机时间典型架构要求
99%(两个九)约 87.6 小时约 7.3 小时单台服务器 + 快速人工恢复
99.9%(三个九)约 8.76 小时约 43.8 分钟双机冗余 + 自动故障切换
99.99%(四个九)约 52.6 分钟约 4.4 分钟多可用区 + 完善监控与演练
99.999%(五个九)约 5.26 分钟约 26 秒异地多活 + 自动化运维体系

要注意,串联组件的可用性是相乘的。假设 DNS 99.99%、负载均衡 99.9%、Web 集群 99.99%、数据库 99.9%,整体可用性约为 0.9999 × 0.999 × 0.9999 × 0.999 ≈ 99.78%。也就是说,四个组件各自做到三个九,整体只有"两个九多一点"。这就是为什么每多一个有状态的组件,达成高可用的难度就上一个台阶。

二、入口层:DNS 与负载均衡的冗余

2.1 DNS 层

DNS 是最容易被忽略的单点。常见风险包括:权威 DNS 服务商故障、域名过期被停止解析、TTL 过长导致切换缓慢。

对策:至少使用两家权威 DNS(主备或负载均衡模式);把域名注册信息的到期提醒打开并设置自动续费;把关键记录的 TTL 设为 60-300 秒,让故障时有切换空间(注意 TTL 太短会增加解析请求量和延迟)。

如果需要跨机房切换,可以用 DNS 的健康检查与故障转移(部分 DNS 服务商支持):监控源站 IP,不可用时自动把解析切到备用 IP。

2.2 负载均衡层:Keepalived 双机热备

自建负载均衡时,最常见的方案是 Keepalived + VRRP(虚拟路由冗余协议):两台 Nginx 共享一个虚拟 IP(VIP),主节点持有 VIP 并周期性发送 VRRP 通告;备节点收不到通告时接管 VIP。

# 主节点 /etc/keepalived/keepalived.conf
global_defs {
    router_id LB_01
    script_user root
    enable_script_security
}

# 定义对 Nginx 进程的健康检查脚本
vrrp_script chk_nginx {
    script "/etc/keepalived/check_nginx.sh"
    interval 2
    timeout 2
    weight -30
    fall 2
    rise 1
}

vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 51
    priority 150
    advert_int 1

    # 单播模式(云环境通常不支持组播,必须配置)
    unicast_src_ip 10.0.0.2
    unicast_peer {
        10.0.0.3
    }

    authentication {
        auth_type PASS
        auth_pass yourpass
    }

    virtual_ipaddress {
        10.0.0.100/24 dev eth0
    }

    track_script {
        chk_nginx
    }

    notify_master "/etc/keepalived/notify.sh master"
    notify_backup "/etc/keepalived/notify.sh backup"
    notify_fault  "/etc/keepalived/notify.sh fault"
}

备节点的配置只需要改三处:router_id 改为 LB_02、state 改为 BACKUP、priority 改为 100(必须小于主节点的 150),并把 unicast_src_ip 与 unicast_peer 对调。

配套的 Nginx 检查脚本,用于实现"Nginx 进程挂了也触发切换"(VRRP 本身只能检测机器和 keepalived 进程):

# 写入 Nginx 检查脚本(内容见下)
cat > /etc/keepalived/check_nginx.sh <<'EOF'
#!/bin/bash
# 返回 0 表示健康,非 0 表示异常(触发权重下降与切换)
if ! pidof nginx > /dev/null; then
    systemctl start nginx
    sleep 2
    if ! pidof nginx > /dev/null; then
        exit 1
    fi
fi
exit 0
EOF
chmod +x /etc/keepalived/check_nginx.sh
# 启动与验证
systemctl enable --now keepalived

# 查看 VIP 是否在主节点上
ip addr show eth0 | grep -w '10.0.0.100'

# 查看 VRRP 状态与日志
systemctl status keepalived
journalctl -u keepalived -f

# 测试切换:在主节点停掉 keepalived,观察备节点是否接管 VIP
systemctl stop keepalived
# 在备节点执行
ip addr show eth0 | grep -w '10.0.0.100'

几个关键的实战要点:

  • 云环境必须用单播(unicast)。大多数云平台不支持组播(VRRP 默认使用组播 224.0.0.18),不配置 unicast_src_ip 和 unicast_peer 会导致双主(split-brain)。
  • 警惕脑裂(split-brain)。当主备之间的 VRRP 通告链路中断但两台机器都正常时,两台都会认为自己是主并同时持有 VIP,造成网络混乱。 mitigation 手段:用多条心跳链路(业务网 + 管理网)、配置 nopreempt(非抢占模式,避免主节点恢复后反复切换)、以及在 notify 脚本里做二次确认。
  • 切换会有短暂中断。VRRP 默认 advert_int 1 秒,配合 fall 2,通常在 2-3 秒内完成切换。期间已建立的 TCP 连接会中断,客户端需要重连。
  • 云环境优先考虑托管负载均衡。云厂商的 SLB/CLB/ALB 本身就是分布式集群多活的,省掉自建 Keepalived 的全部运维成本,通常比自建两台 ECS + Keepalived 更可靠也更简单。

三、应用层:无状态是冗余的前提

Web 层最容易做高可用,因为它通常是无状态的——加机器即可。但"看起来无状态"和"真的无状态"是两回事,必须先检查这三个地方:

  1. Session:如果 Session 存在本地内存或本地文件,负载均衡后用户会反复掉线。必须迁到 Redis(Spring Session、或 PHP 的 session.save_handler = redis)。
  2. 本地文件:用户上传的头像、生成的报表如果写在本机磁盘,其他机器访问不到。必须迁到对象存储或共享存储。
  3. 本地缓存与定时任务:本地缓存(如 Caffeine、APC)在多机下会不一致;定时任务如果每台机器都跑,会重复执行。定时任务需要用分布式锁或独立的调度节点。

Web 层冗余的判断标准很简单:随机关掉任意一台,业务应该完全无感。把这个做成定期演练(比如每月一次),才是真的验证过,而不是"理论上应该没问题"。

四、数据层:最难的一关

有状态组件的冗余是所有高可用设计里最难的部分,因为副本之间要同步数据,而同步就有延迟与一致性问题。

4.1 Redis

单实例 Redis 是典型的单点。可选方案:

  • 主从 + 哨兵(Sentinel):一主多从,Sentinel 监控主节点并在其故障时自动选举新主。适合中小规模,部署简单,客户端需要支持 Sentinel 协议。
  • Redis Cluster:数据分片到多个主节点,每个主节点有从节点,支持自动故障转移与水平扩容。适合数据量大、QPS 高的场景,但客户端需支持集群协议,且不支持跨 slot 的多 key 事务。

需要注意的是:Redis 主从复制是异步的,主节点故障瞬间可能有少量已写入但未同步的数据丢失。对缓存数据来说这通常可以接受,但如果把 Redis 当作唯一数据源(如分布式锁、计数器),就必须清楚这个风险。Redis 的 WAIT 命令可以要求等待 N 个副本确认,但会显著增加延迟。

4.2 MySQL

MySQL 的高可用方案按复杂度递增:

方案切换方式数据一致性复杂度适用
主从复制 + 手动切换人工依赖复制延迟低小型站点,可接受分钟级 RTO
主从 + MHA / Orchestrator自动异步复制,可能丢少量数据中主流方案
半同步复制(rpl_semi_sync)自动至少一个从库确认,丢失风险大幅降低中对一致性要求较高
MySQL Group Replication / InnoDB Cluster自动基于 Paxos,强一致高金融、订单类核心库
共享存储(SAN / DRBD)自动强一致(共享一份数据)高传统架构,存储本身成为单点

无论用哪种方案,都必须明确两个指标:

  • RTO(Recovery Time Objective):故障后多久能恢复服务。自动切换通常 10-60 秒,人工切换通常 5-30 分钟。
  • RPO(Recovery Point Objective):允许丢失多少数据。异步复制可能丢失几秒到几分钟的数据,半同步接近零丢失,Group Replication 理论上零丢失。

这两个指标必须在架构选型时就写下来并让业务方确认。很多团队做了一堆冗余,却从没问过"能接受丢多少数据",结果出事时才发现选型错了。

主从复制延迟的监控是日常运维的重点:

-- 在从库上查看复制状态
SHOW SLAVE STATUS\G
-- 或 MySQL 8.0.22+ 使用
SHOW REPLICA STATUS\G

-- 重点关注三个字段:
--   Slave_IO_Running / Slave_SQL_Running  :必须为 Yes
--   Seconds_Behind_Master                 :复制延迟秒数,正常应接近 0
--   Last_SQL_Error                        :复制错误信息

-- 查看主库 binlog 位置,与从库对比
SHOW MASTER STATUS;

-- 判断标准:
--   Seconds_Behind_Master 持续大于 10 秒,说明从库跟不上主库写入,
--   此时若发生切换,会丢失这段时间的数据,且从库追平需要时间。

读写分离带来的一个典型陷阱是写后读不一致:用户刚下单,立即查询订单列表时读请求落到从库,而 binlog 还没同步过去,导致"订单不见了"。解决办法:对刚写入的数据强制走主库(按时间窗口或按用户标记)、或者等待 Seconds_Behind_Master = 0、或者使用 WAIT_FOR_EXECUTED_GTID_SET 等待 GTID 追平。

五、容易被忽略的"伪冗余"

下面这些情况看起来有冗余,实际上并没有,是高可用的经典陷阱:

  • 两台机器在同一台物理宿主机上:宿主机故障,两台一起挂。公有云上要注意反亲和性(anti-affinity)策略或选择不同可用区。
  • 两台机器在同一个机柜 / 同一台交换机下:TOR 交换机或 PDU 故障会导致同时不可用。
  • 共享存储是单点:两台应用服务器 + 一台 NFS,NFS 挂了两边都读不到文件。共享存储本身必须高可用(如分布式存储或对象存储)。
  • 共享数据库是单点:Web 层十台机器看起来很冗余,但都连同一个 MySQL 主库,主库一挂全站不可用。
  • 监控和日志系统是单点:故障发生时最需要监控的那一刻,监控系统自己挂了;或者日志集中在一台机器上,排查时无法访问。
  • 备份和源数据在同一台机器上:机器故障或误删时,备份一起丢失。备份必须异地保存,并定期验证可恢复。
  • CDN / 第三方服务是单点:依赖的外部 API 挂了会拖垮自己的服务,需要有降级与超时策略。

判断"伪冗余"的方法很简单:对每个组件问一句"如果承载它的最底层物理设备故障,还有几份副本存活"。答案小于 2 的,都是伪冗余。

六、故障切换的演练清单

没有演练过的高可用等于没有高可用。下面是一套可定期执行的演练流程:

  1. 准备:选定业务低峰期,通知相关人员,准备回滚方案,确认监控告警正常工作中。
  2. 记录基线:切换前记录 QPS、响应时间、错误率、各组件资源水位,作为对比依据。
  3. 逐个 kill 组件:先杀一台 Web 后端 → 观察流量是否自动转移到其他节点;再杀负载均衡备节点 → 观察无影响;然后杀主节点 → 观察 VIP 漂移时间与中断时长。
  4. 记录切换指标:从故障注入到业务恢复的时间(真实 RTO)、期间的错误请求数量、是否有数据丢失(真实 RPO)。
  5. 验证数据一致性:切换后核对主从数据条数、检查复制状态、确认无重复订单或丢失记录。
  6. 恢复并复盘:把组件恢复原状,核对 VIP 与主从角色是否回到预期,输出演练报告,把发现的问题列入改进项。
  7. 定期化:建议每季度至少做一次完整演练,重大架构变更后立即演练一次。
# 演练时的实时监控命令(开多个终端并行观察)

# 终端 1:观察 VIP 漂移
watch -n1 'ip addr show eth0 | grep -w inet'

# 终端 2:观察业务错误率
watch -n1 "tail -n 1000 /var/log/nginx/access.log | awk '\$9>=500' | wc -l"

# 终端 3:观察后端健康状态
watch -n1 'curl -s -o /dev/null -w "%{http_code} %{time_total}\n" http://www.example.com/health'

# 终端 4:观察数据库复制状态
watch -n2 "mysql -uroot -p'' -e 'SHOW SLAVE STATUS\G' | grep -E 'Running|Seconds_Behind'"

# 终端 5:观察 Redis 主从角色
watch -n2 'redis-cli INFO replication | grep -E "role|connected_slaves|master_link_status"'

小结

避免单点故障的方法论可以压缩成一句话:画出完整链路 → 逐环节找单点 → 用副本 + 自动切换消灭它 → 用演练验证它真的有效。其中最容易出问题的是两个地方:一是只关注 Web 层而忽略了入口层(DNS、负载均衡)和数据层(数据库、缓存、共享存储);二是做了"伪冗余"——两台机器在同一宿主机、共享一个 NFS 或同一个主库,看起来冗余,实际共因故障。

实践建议与避坑清单:

  • 先明确 RTO 与 RPO 再选型。不知道能接受多久中断、能丢多少数据,就无法判断该上什么方案。
  • 云环境优先用托管负载均衡,比自建 Keepalived 更省心且天然多活。
  • 自建 Keepalived 必须配置单播,否则云环境不支持组播会导致脑裂。
  • 警惕脑裂与数据双写。主备切换时用 nopreempt,并在应用侧确保同一时刻只有一个写入方。
  • 无状态是 Web 层冗余的前提。Session、上传文件、定时任务这三件事没处理好,加多少台都是假的冗余。
  • 异步复制一定会丢数据。对一致性要求高的场景用半同步或 Group Replication,不要对异步主从抱有不切实际的期待。
  • 注意写后读不一致。读写分离后必须处理刚写入数据的读取路径。
  • 备份不等于高可用,高可用也不等于备份。冗余防的是硬件故障,备份防的是误删与逻辑错误,两者都需要。
  • 监控系统自身也要冗余,否则最需要它的时候它不在。

本文涉及 Keepalived 2.x、MySQL 5.7/8.0、Redis 5.0/6.x。托管负载均衡、DNS 故障转移等功能的具体名称与能力因云厂商而异,请以各服务商官方文档为准。