数据库集群如何进行容量规划?数据增长、节点数量与存储需求分析

"上个月还剩 40% 磁盘,这个月突然就报警了。"容量规划做得不好的团队,永远在救火——要么磁盘突然满了紧急扩容,要么为了保险买了三倍的机器结果闲置两年。这两种浪费其实是同一种错误:没有把增长模型和数据特征量化。数据库集群的容量规划并不神秘,它本质上就是一道乘法题:日增量 × 保留周期 × 副本数 × 膨胀系数,再加上 CPU、内存、IOPS、网络四个维度的校验。本文把这套算法完整拆开,配上可直接套用的算例。

一、先建立容量模型:五个必须量化的输入

在动手算之前,需要收集五个数据。这些数据不能拍脑袋,必须从监控系统和业务方那里取到。

输入项获取方式示例值常见错误
日增数据量监控表里数据文件大小差值;或 information_schema.TABLES 的 DATA_LENGTH 日增长50 GB/天只看逻辑行数不计算实际字节
保留周期业务合规要求 + 归档策略365 天没有和法务/业务确认,默认"永久保留"
副本数架构决定(主从数、副本数、replication factor)1 主 2 从 = 3 份只算主库,忘记从库也要同样空间
增长率过去 6-12 个月的数据拟合月均 8%用线性外推处理指数增长的业务
膨胀系数实测:磁盘占用 / 逻辑数据量1.5直接用逻辑数据量当磁盘需求

1.1 怎么实测日增数据量

-- MySQL:统计每个库的数据+索引占用(字节)
SELECT table_schema AS db,
       ROUND(SUM(data_length + index_length) / 1024 / 1024 / 1024, 2) AS size_gb
FROM information_schema.TABLES
WHERE table_schema NOT IN ('mysql','sys','performance_schema','information_schema')
GROUP BY table_schema ORDER BY size_gb DESC;

-- 单表 Top 20
SELECT table_schema, table_name,
       ROUND((data_length + index_length)/1024/1024/1024, 2) AS size_gb,
       table_rows
FROM information_schema.TABLES
WHERE table_schema NOT IN ('mysql','sys','performance_schema','information_schema')
ORDER BY (data_length + index_length) DESC LIMIT 20;

-- MongoDB
db.stats(1024*1024*1024)          // 返回 dataSize, storageSize, indexSize
db.getSiblingDB("orderdb").stats().storageSize

-- Redis
redis-cli -a 'xxx' INFO memory | grep used_memory_human
redis-cli -a 'xxx' --cluster info 10.0.0.11:7001

-- Elasticsearch
curl -s 'http://localhost:9200/_cat/indices?v&h=index,docs.count,store.size&bytes=gb&s=store.size:desc'

获取日增量的正确做法是每天定时采集一次并入库,形成趋势曲线,而不是临时查一次。用一周或一月的平均值更能反映真实增长,避免被某次批量导入污染。

1.2 膨胀系数从哪来

膨胀系数 = 实际磁盘占用 ÷ 逻辑数据量。它由几部分构成:

  • 索引开销:MySQL 的二级索引通常占数据量的 30%-100%,索引多的表甚至超过数据本身。
  • 存储引擎开销:InnoDB 的页填充率(默认 15/16,即约 94%)、行格式、BLOB 溢出页;WiredTiger 的压缩率(通常能压到 0.3-0.5 倍,这是负值膨胀);Lucene 的倒排索引和 doc_values。
  • 碎片与删除空间:删除的行不会立即释放空间,会形成碎片,长期运行后可能占 20%-30%。
  • 日志与临时文件:binlog、redo log、undo 表空间、relay log、慢日志、错误日志。
数据库典型膨胀系数说明
MySQL / InnoDB(含索引)1.5 - 2.5索引越多越大;不压缩
MySQL(开启压缩表)0.8 - 1.5ROW_FORMAT=COMPRESSED,代价是 CPU
MongoDB / WiredTiger0.4 - 0.8默认 snappy 压缩,实际可能小于逻辑量
Redis1.1 - 1.5数据结构开销;加 RDB/AOF 空间另算
Elasticsearch(含 _source)1.3 - 1.6见 ES 资源规划篇
ClickHouse0.2 - 0.5列存压缩率极高

二、存储容量:完整算例

2.1 基础公式

总存储需求 = 日增数据量
           × 保留天数
           × (1 + 副本数)
           × 膨胀系数
           × (1 + 运维余量)

运维余量通常取 0.3 - 0.5,包含:
  · segment merge / compaction 所需的临时空间
  · 备份本地暂存区
  · 数据重平衡时的双份空间
  · 未来 3-6 个月的增长缓冲区

2.2 案例一:MySQL 订单库

已知条件:
  日增原始数据量    50 GB(含索引后的实际增长)
  保留周期          730 天(2 年,合规要求)
  副本              1 主 2 从,共 3 份
  膨胀系数          1.0(日增量已是实际占用,不再重复乘)
  增长率            月均 8%

计算:
  静态需求 = 50 × 730 × 3 = 109,500 GB = 109.5 TB
  运维余量 = × 1.4          → 153.3 TB
  磁盘水位 = ÷ 0.75(建议利用率不超过 75%)→ 204 TB

  考虑增长:月均 8% 意味着 12 个月后日增量约为 50 × 1.08^12 ≈ 126 GB/天
  若按"当前规模 + 12 个月增长"规划,需要预留:
    平均日增量 ≈ (50 + 126) / 2 = 88 GB/天
    109.5 TB × (88/50) = 192.7 TB → 加余量与水位的 270 TB

结论:需规划约 200-270 TB 可用容量。
若用 8TB NVMe,需要 270 / 8 ≈ 34 块盘
按每节点 4 块盘计算 → 约 8-9 个数据节点

2.3 案例二:Elasticsearch 日志集群

已知条件:
  日增原始日志      200 GB(JSON 原文)
  保留周期          90 天(其中 hot 7 天、warm 23 天、cold 60 天)
  副本              1(主 + 1 副 = 2 份)
  膨胀系数          1.4(ES 索引开销)
  增长率            月均 5%

计算:
  每日实际占用 = 200 × 2 × 1.4 = 560 GB/天
  90 天总量    = 560 × 90 = 50,400 GB = 50.4 TB
  merge 余量   = × 1.3    → 65.5 TB
  水位 ÷ 0.85  → 77 TB

  分层拆分(决定各层机器规格):
    hot  7 天  = 560 × 7 × 1.3  ÷ 0.85 = 6.0 TB   → NVMe
    warm 23 天 = 560 × 23 × 1.3 ÷ 0.85 = 19.7 TB  → SATA SSD
    cold 60 天 = 560 × 60 × 1.0(cold 层通常降副本到 0,膨胀按 1.0)
                = 33.6 TB                          → HDD 或对象存储

  hot 层按单节点 2TB NVMe、堆 31GB、分片 40GB 计算 → 3-4 个 hot 节点
  warm 层按单节点 8TB SSD → 3 个 warm 节点

2.4 案例三:Redis 缓存集群

已知条件:
  当前缓存数据量  180 GB
  预计 12 个月后  450 GB(业务扩张 + 新功能)
  副本            1(主 + 1 从 = 2 份)
  内存安全水位    单节点实际使用不超过最大内存的 70%

计算:
  总内存需求 = 450 × 2 = 900 GB
  水位 ÷ 0.7  → 1286 GB ≈ 1.29 TB

  节点规格选择:
    方案 A:8 个节点 × 16GB = 128GB... 不够,需 ×10
    方案 B:6 主 6 从,每节点 32GB → 12 × 32 = 384 GB,可容纳 384 × 0.7 / 2 = 134 GB。不够
    方案 C:6 主 6 从,每节点 64GB → 12 × 64 = 768 GB,可容纳 768 × 0.7 / 2 = 269 GB。不够
    方案 D:6 主 6 从,每节点 128GB → 12 × 128 = 1536 GB,可容纳 538 GB。满足 ✓

  结论:12 个节点 × 128GB 内存,或改为 10 主 10 从 × 64GB
  注意 Redis 单节点数据不建议超过 10-16GB(fork 与迁移代价),
  所以更合理的做法是增加主节点数而非加大单机内存:
    450 GB / 12 GB 每分片 ≈ 38 个主分片 → 38 主 38 从,规模过大
    折中:450 / 25 = 18 个主分片,18 主 18 从 = 36 节点,每节点 32GB
    或先规划到 12 个月目标的 60%,留后续扩容空间

这个 Redis 案例体现了一个重要原则:内存型数据库扩容量时优先横向加分片,而不是纵向加大单机内存。因为单机内存越大,fork 耗时越长、故障恢复越慢、迁移越困难。

三、节点数量:四个维度分别算,取最大值

存储只是四个维度之一。节点数必须同时满足 CPU、内存、磁盘、IOPS 的要求,取其中的最大值。

3.1 维度一:CPU

所需核数 = 峰值 QPS × 单查询平均 CPU 时间(毫秒) / 1000 / 目标 CPU 利用率

示例:
  峰值 QPS 8000,平均单查询 CPU 耗时 0.5 ms,目标利用率 60%
  所需核数 = 8000 × 0.5 / 1000 / 0.6 = 6.7 核

  考虑峰值余量与 GC/后台线程,实际建议 2-3 倍 → 16 核起步

判断标准(而非空泛建议):
  · 持续 5 分钟 CPU 使用率 > 70% → 需要扩容或优化
  · load average 持续 > CPU 核数 × 1.5 → 已有排队
  · 数据库场景建议目标利用率控制在 50%-60%,留出突发余量

3.2 维度二:内存

核心概念是热数据集(working set)——真正被频繁访问的那部分数据。它通常远小于总数据量,可能只占 10%-30%。

所需内存 = 热数据集大小 / 目标命中率对应的缓存效率

MySQL 判断标准:
  · InnoDB buffer pool 命中率应 > 99%
    计算:1 - (innodb_buffer_pool_reads / innodb_buffer_pool_read_requests)
  · 命中率低于 99% 说明热数据装不下,要么加内存要么优化索引减少扫描

查看方式:
SHOW GLOBAL STATUS LIKE 'Innodb_buffer_pool_read%';
-- Innodb_buffer_pool_read_requests: 逻辑读次数
-- Innodb_buffer_pool_reads:         物理读次数(未命中)
-- 命中率 = 1 - reads / read_requests

SHOW VARIABLES LIKE 'innodb_buffer_pool_size';   -- 专用机建议物理内存 60%-75%

3.3 维度三:磁盘容量

见第二节的公式。另外要单独计算日志空间:

MySQL binlog 空间估算:
  日增 binlog ≈ 日增写数据量 × 1.2(ROW 格式下每行的变更记录)
  示例:日写入 20 GB → binlog 约 24 GB/天 → 保留 7 天需 168 GB

# 查看实际 binlog 生成速率
SHOW MASTER STATUS;    # 记录 File 和 Position
# 一小时后再查一次,用 Position 差值估算速率

MongoDB oplog:
  通常设为磁盘的 5%(上限 50GB),或按"保留 24-72 小时写入量"手工设置
  oplogSizeMB = 日均写入量 × 目标保留小时数 / 24

Redis AOF:
  AOF 增长速率 ≈ 写 QPS × 平均 value 大小 × 86400
  重写期间需要额外一倍空间(fork + 新 AOF 同时存在)

3.4 维度四:IOPS

所需 IOPS = 读 QPS × 单次读的平均物理 IO 次数
          + 写 TPS × 单次写的平均物理 IO 次数
          + 后台 IO(flush、merge、compaction、备份)

示例(MySQL OLTP):
  读 8000 QPS,其中 1% 未命中缓存 → 80 次物理读/秒,每次约 1 IO → 80 IOPS
  写 2000 TPS,每次写产生约 3 个 IO(数据页 + 索引页 + redo)→ 6000 IOPS
  后台 flush 与 checkpoint 约 2000 IOPS
  峰值系数 1.5
  总需求 = (80 + 6000 + 2000) × 1.5 ≈ 12,000 IOPS

磁盘选型对照(4KB 随机写,仅供参考量级):
  SATA HDD 7200rpm  ≈ 100-200 IOPS
  SATA SSD          ≈ 50,000-90,000 IOPS
  NVMe SSD          ≈ 300,000-1,000,000 IOPS

结论:12000 IOPS 用一块企业级 SATA SSD 即可满足,
      但要留出 3-5 倍余量应对峰值,建议 2 块做 RAID 1 或 JBOD 分散

3.5 维度五:网络带宽(容易被忘)

复制流量估算:
  主库 binlog 生成速率 × 从库数量 = 主库出向带宽需求
  示例:binlog 30 Mbps × 2 个从库 = 60 Mbps 出向

  跨机房复制:需要专线带宽 ≥ 复制流量 × 1.5(留突发余量)
  若 binlog 峰值为 100 Mbps,专线至少 150 Mbps,建议 200 Mbps 以上

客户端流量:
  平均响应大小 × QPS = 网络吞吐
  示例:平均返回 4KB × 8000 QPS = 32 MB/s = 256 Mbps

四、分片与分库:什么时候必须拆

容量规划总会走到"单机装不下"的那天。需要提前识别拆分信号,因为拆分是有代价的(跨分片事务、跨分片查询、全局 ID、分布式 DDL)。

信号阈值参考说明
单表数据量> 2000 万行 或 > 50 GBB+ 树层级加深,索引维护成本上升
单实例数据量> 2 TB(MySQL)备份恢复时间过长,DDL 风险高
写入 TPS持续 > 5000 且已优化主从架构无法横向扩展写
备份时间全量备份 > 6 小时备份窗口不够,且恢复时间不可接受
连接数持续接近 max_connections 的 80%线程调度开销过大
Redis 单节点内存> 10-16 GBfork 与迁移代价大,应加分片
分片数估算:
  分片数 = 预期 2-3 年后的总数据量 / 单分片容量上限
  示例:3 年后预计 6 TB,单分片上限 500 GB → 12 个分片
  建议向上取到 2 的幂或节点数的整数倍,便于后续均衡:取 16

  分片数不是越多越好:
    · 分片太多 → 元数据开销大、跨分片查询慢、运维复杂
    · 分片太少 → 后续再扩容要做数据迁移,代价高
  经验做法:一次性规划到 2-3 年后的需求,中途不再调整分片数

五、扩容触发阈值与提前量

容量规划不是算完就结束了,还要定义"什么时候动手"。这里的关键是采购与上架的提前量——物理机从下单到上线通常需要 2-8 周,云主机虽然快但也要考虑审批流程。

指标预警线扩容线紧急线说明
磁盘使用率70%80%90%到 90% 就该立即处理,别等到 95%
CPU 使用率(5 分钟均值)60%70%85%持续超 70% 就开始走采购流程
内存使用率75%85%92%留足给突发和 fork
连接数 / max_connections60%75%90%连接耗尽意味着新请求直接失败
缓冲命中率< 99.5%< 99%< 98%低命中率要先优化索引再加内存
剩余天数(按增长速率推算)60 天30 天7 天最直观的指标:还能撑多久

"剩余天数"是最应该做进监控大盘的指标:剩余天数 = (总容量 × 目标水位 - 当前已用) / 日均增长。它比百分比直观得多,也天然包含了增长速率,能自动反映业务量的变化。当剩余天数低于采购周期时,就该动手了。

# 用 SQL 粗略估算 MySQL 剩余天数(需定期采集历史值)
# 当前已用(GB)
SELECT ROUND(SUM(data_length + index_length)/1024/1024/1024, 2) AS used_gb
FROM information_schema.TABLES
WHERE table_schema NOT IN ('mysql','sys','performance_schema','information_schema');

# 配合监控系统的历史曲线算出日均增长,即可得到剩余天数

# 用 shell 快速看磁盘剩余天数
df -h /data
# 对比一周前的记录,算出日均增长,再算剩余天数

六、容量规划实施清单

  1. 建基线:采集当前各库/各集群的实际磁盘占用、日增量、QPS/TPS 峰值、内存命中率,形成一张基线表。
  2. 做趋势:用过去 6-12 个月的数据拟合增长曲线,判断是线性还是指数增长;特别标记业务大促、季节性峰值。
  3. 确认保留策略:与业务和法务确认每类数据的保留周期;能用归档(转对象存储)解决的就不要全放在线库。
  4. 算存储:套用 日增量 × 保留天数 × 副本数 × 膨胀系数 × (1 + 运维余量) ÷ 水位线。
  5. 算节点:分别从 CPU、内存、磁盘、IOPS、网络五个维度算,取最大值;不要只按存储算节点数。
  6. 定规格:选定单机配置(CPU 核数、内存、磁盘类型与数量),并确认该规格在预算和机位上可行。
  7. 留余量:按 12-24 个月后的规模规划,而不是当前规模;但也要避免一次性买三年后才用得上的资源。
  8. 设阈值:把磁盘、CPU、内存、连接数、剩余天数五个指标接入告警,定义预警/扩容/紧急三级。
  9. 定流程:明确"触发预警后谁负责、多久内提交扩容方案、采购周期多久",形成 SOP。
  10. 季度复盘:每季度重跑一次容量模型,对比预测与实际增长的偏差,修正增长率假设。

七、避坑清单

  • 不要用逻辑数据量当磁盘需求。索引、碎片、日志都会让实际占用远超预期,必须乘膨胀系数。
  • 不要忘了副本。一主两从是三份空间,ES 一个副本是两倍空间,Redis 主从也是两倍内存。
  • 不要忽略日志与临时空间。binlog、undo、relay log、merge 临时空间、备份暂存区加起来可能占总量的 20%。
  • 不要把增长当成线性。互联网业务常见月均 5%-15% 的复合增长,一年后就是 1.8-4 倍。用指数模型外推。
  • 磁盘水位不要顶到 90% 以上。Elasticsearch 到 95% 会触发 flood stage 只读,MySQL 到 100% 会直接崩溃且恢复困难。
  • 内存不够时先优化索引再加内存。一个没走索引的查询会扫描大量数据并挤占 buffer pool,加内存只是延缓问题。
  • Redis 扩容优先加分片而不是加单机内存。单节点数据超过 10-16GB 后,fork、迁移、恢复的代价会急剧上升。
  • 提前量要覆盖采购周期。物理机 2-8 周,云主机也要考虑内部审批。用"剩余天数"而不是"已用百分比"做决策。
  • 归档比扩容便宜。冷数据转对象存储的单位成本通常只有 SSD 的十分之一甚至更低(具体价格视厂商与地域而定),冷热分层是降低容量成本最有效的手段。
  • 不要等到紧急线才动。到 90% 时可供选择的方案已经很少,往往只能临时删数据或紧急降副本,风险极高。
  • 校验 IOPS 而不只是容量。很多"容量够但性能差"的问题根源是 IOPS 不足,尤其是写密集场景。
  • 不要在容量规划里编造精确报价。硬件和云资源价格随配置、地域、采购量、促销活动差异很大,规划文档里应写"视配置与采购方式而定"并列出影响价格的因素。

小结

数据库集群的容量规划,核心是一套可复用、可校验的量化方法。存储上,用"日增量 × 保留天数 × 副本数 × 膨胀系数 × (1 + 运维余量) ÷ 水位线"算出真实需求,不同数据库的膨胀系数差别很大(MySQL 1.5-2.5、MongoDB 0.4-0.8、ES 1.3-1.6),必须实测而不是套用。节点数上,要分别从 CPU、内存、磁盘、IOPS、网络五个维度计算并取最大值,只按存储算出来的节点数几乎一定不够用。节奏上,把"剩余天数"做成监控大盘的核心指标,用它能自动反映增长速率变化,并和采购周期挂钩决定何时动手。最后,容量规划不是一次性工作,而是季度复盘的持续过程——每次复盘都要对比预测与实际的偏差,修正增长率假设。做到这几点,团队就能从"磁盘突然满了"的救火状态,切换到"提前两个月知道要扩容"的从容状态。