Elasticsearch 是那种"装起来五分钟,调好要半年"的系统。默认配置跑起来很顺畅,数据量到几十 GB 之后开始出现莫名其妙的超时、节点掉线、查询变慢,最后发现根因都在资源规划上——堆内存给太大、磁盘没留够水位、所有节点都是同一个角色、分片数随便设。这些问题在数据量小的时候全部隐藏,等到暴露出来往往已经要重建索引了。本文把 ES 资源规划中最关键的三个维度(JVM 内存、磁盘、节点角色)讲清楚,配上可执行的分片与容量计算方法。
一、JVM 堆内存:为什么不能超过 31GB
这是 ES 面试和排障里最经典的问题。官方文档明确建议:单个节点的 JVM 堆不超过物理内存的 50%,且绝对不超过 31GB。原因有两个,第二个才是关键。
1.1 原因一:留给 Lucene 的 page cache
Elasticsearch 的磁盘 IO 模式很特殊:Lucene 的段文件(segment)一旦写入就不再修改,ES 通过 mmap(内存映射)方式读取它们。这意味着 Lucene 的文件读取几乎完全依赖操作系统的 page cache,而不是 JVM 堆。如果堆内存给到物理内存的 70%,剩给 OS cache 的就只有 30%,查询时大量段文件无法命中缓存,就会退化成真正的磁盘读,性能可能相差一个数量级。
官方的经验法则是 "50-50 法则":一半内存给 JVM 堆,一半留给操作系统。一个 64GB 内存的专用节点,堆设 31GB,剩下 33GB 给 page cache。这就是为什么"堆越大越好"在 ES 里完全不成立。
1.2 原因二:Compressed Oops 的 31GB 边界
这是更技术性的原因。HotSpot JVM 有一个优化叫 Compressed Oops(压缩普通对象指针):在 64 位 JVM 上,对象引用本来要占 8 字节,JVM 可以把它们压缩成 4 字节存储,从而让同样的堆容纳更多对象,并且减少 CPU 缓存压力。
这个优化有前提条件:压缩后的 4 字节指针通过"乘以 8 + 基址偏移"的方式寻址,能表达的最大堆大小是 4GB × 8 = 32GB。但实际上边界并不是精确的 32GB,而是在 30-31GB 之间——具体取决于 JVM 版本和对象对齐设置。一旦堆超过这个阈值,JVM 会自动关闭压缩指针,所有对象引用从 4 字节变回 8 字节,结果就是:
- 同样的堆,能存放的对象数量明显减少(通常损失 15%-30% 的有效容量);
- GC 要扫描和移动的引用数据变多,停顿时间变长;
- CPU 缓存命中率下降。
换句话说,把堆从 31GB 加到 32GB,不但没有多出 1GB 可用空间,反而可能损失好几个 GB 的有效容量。这就是为什么 31GB 这个数字被反复强调。
1.3 验证压缩指针是否生效
# 直接用 JVM 参数验证 java -Xmx31g -XX:+PrintFlagsFinal -version 2>/dev/null | grep UseCompressedOops # bool UseCompressedOops = true ← 生效 java -Xmx32g -XX:+PrintFlagsFinal -version 2>/dev/null | grep UseCompressedOops # bool UseCompressedOops = false ← 失效 # 在 ES 节点上验证 curl -s 'http://localhost:9200/_nodes/jvm?pretty' | grep -E '"heap_max_in_bytes"|"using_compressed_ordinary_object_pointers"' # "heap_max_in_bytes" : 33285996544 # "using_compressed_ordinary_object_pointers" : "true"
1.4 怎么设置堆大小
# ES 7.x/8.x 推荐用 jvm.options.d 目录下的自定义文件(不会被升级覆盖) # /etc/elasticsearch/jvm.options.d/heap.options -Xms31g -Xmx31g # 或者通过环境变量(容器部署时常用) ES_JAVA_OPTS="-Xms31g -Xmx31g" docker run ... elasticsearch:8.14.0
三条原则:
-Xms必须等于-Xmx。不等的话 JVM 会在运行时动态扩容堆,触发 full GC 造成突发停顿,而且扩容过程中可能因为内存不足失败。- 堆不超过物理内存的 50%,不超过 31GB。如果数据量确实很大,正确做法是加节点,而不是加单节点内存。
- 必须开启
bootstrap.memory_lock: true锁定内存,禁止 ES 堆被 swap 出去。ES 一旦发生 swap,性能会灾难性下降,节点还可能因为 GC 超时被集群判定离线。
# elasticsearch.yml bootstrap.memory_lock: true # systemd 服务需要放开 memlock 限制 # /etc/systemd/system/elasticsearch.service.d/override.conf [Service] LimitMEMLOCK=infinity LimitNOFILE=65535 sudo systemctl daemon-reload && sudo systemctl restart elasticsearch # 验证 mlockall 是否生效 curl -s 'http://localhost:9200/_nodes?filter_path=**.mlockall' | grep true
1.5 堆与分片数的关系
堆大小还限制了单个节点能承载的分片数。每条经验:每 1GB 堆内存大约对应 20 个分片(包含主分片和副本分片)。31GB 堆的节点理论上可以放 600 个分片,但实际生产中建议控制在 300-400 个以内留出余量。原因是每个分片都要在堆里维护 Lucene 的 Segment 元信息、field data 结构、以及查询时的各种缓存,分片越多堆压力越大,GC 越频繁。
二、磁盘规划:容量、类型与水位线
2.1 磁盘类型与性能要求
Elasticsearch 对磁盘的需求可以总结成一句话:能用 SSD 就不要用机械盘。原因是 ES 的工作负载有大量随机读(查询时读取分散在各 segment 里的数据)和持续的顺序写(segment merge)。机械盘在随机读上的 IOPS 通常只有一两百,会成为整个集群的瓶颈。
| 节点类型 | 磁盘建议 | 说明 |
|---|---|---|
| hot(热节点) | NVMe SSD 或高端 SATA SSD | 承载最新数据的写入和高频查询,IO 压力最大 |
| warm(温节点) | SATA SSD 或大容量 SSD | 读写频率低,可以接受稍慢的盘 |
| cold(冷节点) | 大容量 HDD 或低成本对象存储 | 极少查询,追求单位容量成本 |
| frozen(冻结层) | 对象存储 + searchable snapshot | 8.x 特性,本地只缓存少量数据 |
| master(主节点) | 普通 SSD,容量小(几十 GB 足够) | 只存集群元数据 |
如果因为预算必须用机械盘,至少要满足:RAID 0 或者 JBOD(不要用 RAID 5/6,写惩罚太大)、单盘随机读 IOPS 评估、并且把 index.merge.scheduler.max_thread_count 调低(机械盘上设为 1)避免 merge 把 IO 打满。
2.2 容量计算:一个完整的算例
ES 的实际磁盘占用远大于原始 JSON 数据大小。影响膨胀的因素包括:索引结构(是否存 _source、是否 doc_values、分词字段数)、副本数、segment merge 期间的临时空间(最坏情况下需要约一倍的额外空间)、以及保留的删除文档(未 purge 前仍占空间)。
推荐用这个公式估算:
所需磁盘 = 每日原始数据量
× (1 + 副本数)
× 索引膨胀系数
× 保留天数
× (1 + merge 与操作余量)
其中:
索引膨胀系数 经验值 1.3 - 1.6(默认开启 _source 和 doc_values 时约 1.4)
merge 与操作余量 建议 0.3(即再乘 1.3),因为 segment merge 期间需要额外空间
算一个具体例子。某日志系统每天写入 200GB 原始日志,保留 30 天,1 个副本:
每日原始数据 = 200 GB 副本 = × 2 (1 主 + 1 副) 膨胀系数 = × 1.4 → 200 × 2 × 1.4 = 560 GB/天 保留 30 天 = × 30 → 16800 GB = 16.8 TB merge 与操作余量 = × 1.3 → 21.8 TB 再加上磁盘水位线因素(见下节,默认 flood 水位 95%, 意味着实际可用只有 95%),实际需要:21.8 / 0.95 ≈ 23 TB 结论:需要约 23 TB 可用容量。 如果用 4TB 的 SSD,需要 23 / 4 ≈ 6 块(6 块 × 4TB = 24TB)
这个计算要留足余量,因为 ES 的磁盘一旦触发 flood 水位线,所有索引会被置为只读,业务直接中断,恢复起来很麻烦。
2.3 磁盘水位线(watermark)
ES 用三个水位线控制磁盘分配,默认值在新版本里是百分比:
# elasticsearch.yml 或动态调整
PUT _cluster/settings
{
"persistent": {
"cluster.routing.allocation.disk.watermark.low": "85%",
"cluster.routing.allocation.disk.watermark.high": "90%",
"cluster.routing.allocation.disk.watermark.flood_stage": "95%"
}
}
- low(85%):超过后,该节点不再接收新的分片分配(已有分片不动)。
- high(90%):ES 会主动把该节点上的分片迁移到其他节点。
- flood_stage(95%):该节点上所有索引被强制设为只读(
index.blocks.read_only_allow_delete),只能删除不能写入。这是保护机制,但对业务来说是事故。
# 查看磁盘分配情况
curl -s 'http://localhost:9200/_cat/allocation?v&h=disk.indices,disk.used,disk.avail,disk.total,disk.percent,node&bytes=b'
# 检查是否有索引被置为只读(这是最常见的"突然写不进去"原因)
curl -s 'http://localhost:9200/_all/_settings?filter_path=**.read_only_allow_delete'
# 清理磁盘后手动解除只读
PUT _all/_settings
{ "index.blocks.read_only_allow_delete": null }
2.4 分片大小:20-50GB 的经验值
分片(shard)是 ES 最小的资源单位,也是最容易规划错的东西。官方和社区的共识是:单个分片的大小控制在 20GB - 50GB 之间。
| 分片大小 | 问题 |
|---|---|
| < 1GB(过小) | 分片数暴增,元数据占用大量堆内存,查询要合并的结果集太多,节点间通信开销大 |
| < 10GB(偏小) | 同上,且 segment 碎片多,merge 频繁,整体查询开销偏高 |
| 20GB - 50GB(推荐) | 查询性能与恢复速度的平衡点。分片故障恢复、reroute 的时间可接受 |
| 50GB - 100GB(偏大) | 单个分片恢复/迁移耗时长,节点故障时数据再平衡压力大 |
| > 100GB(过大) | 恢复时间可能达到小时级,且把分片迁移变成高风险操作 |
主分片数怎么定?用这个流程:
- 估算索引未来 6-12 个月的总数据量(是原始数据 × 膨胀系数,不是原始数据)。
- 除以目标分片大小(比如 40GB),得到主分片数。
- 向上取到合适的值,并考虑节点数的整数倍关系(避免分片分布不均)。
例子:某业务索引预计一年后达到 800GB(已含膨胀) 目标分片大小 40GB → 800 / 40 = 20 个主分片 如果集群有 4 个数据节点 → 20 / 4 = 5,每个节点 5 个主分片,分布均匀 ✓ 如果算出来是 23 个主分片 / 4 节点 = 5.75,分布不均 ✗ 应调整为 24 或 20 个主分片
另一个常见错误:按天建索引却把主分片数设成和节点数一样。日志场景每天的数据量可能只有 20GB,如果设 5 个主分片,每个才 4GB,一年下来就有 1825 个分片,堆内存直接爆掉。日志类索引应该按实际数据量算,通常 1-3 个主分片就够。
三、节点角色配置
ES 7.9 之后用 node.roles 取代了旧的 node.master / node.data / node.ingest 三个布尔配置(8.x 里旧配置已移除)。一个节点可以同时承担多种角色,但生产环境强烈建议做角色分离。
3.1 角色速查
| 角色名 | 作用 | 资源侧重 | 建议数量 |
|---|---|---|---|
| master | 管理集群状态、索引创建删除、分片分配决策 | CPU 中低、内存 8-16GB、磁盘小但稳定 | 3 个(必须是奇数) |
| data | 存储数据、执行数据相关的 CRUD 和搜索 | 大内存、大磁盘、高 IO | 按需扩展 |
| data_hot | 热层,存最新最频繁访问的数据 | NVMe/SSD | 按需 |
| data_warm | 温层,不再更新但偶尔查询 | SSD,容量大 | 按需 |
| data_cold | 冷层,很少查询 | HDD 或低成本存储 | 按需 |
| data_frozen | 冻结层,配合 searchable snapshot | 本地极小,数据在对象存储 | 少量 |
| ingest | 执行 ingest pipeline(预处理文档) | CPU 高(grok、脚本解析耗 CPU) | 2+ 个 |
| coordinating | 仅协调节点,接收请求、分发、聚合结果 | CPU 和内存(聚合结果要缓存) | 2+ 个 |
| ml / transform / remote_cluster_client | 机器学习、数据转换、跨集群查询 | 视功能而定 | 可选 |
3.2 典型集群配置示例
小型集群(3 节点,数据量 < 500GB):每个节点都承担 master + data 角色,不要再做分离。因为角色分离需要更多机器,小集群分离的收益抵不上成本。
# /etc/elasticsearch/elasticsearch.yml —— 小集群通用节点 cluster.name: prod-es node.name: es-node-1 node.roles: [ master, data, ingest ] network.host: 10.0.0.31 discovery.seed_hosts: ["10.0.0.31", "10.0.0.32", "10.0.0.33"] cluster.initial_master_nodes: ["es-node-1", "es-node-2", "es-node-3"] bootstrap.memory_lock: true path.data: /data/es/data path.logs: /var/log/elasticsearch
中型集群(10+ 节点):做角色分离。至少 3 个专用 master 节点,其余为 data 节点,前面挂 2 个 coordinating 节点给应用连接。
# 专用 master 节点 node.name: es-master-1 node.roles: [ master ] # 堆设 4-8GB 足够,metadata 不占太多内存 # 专用 data 节点 node.name: es-data-1 node.roles: [ data ] # 或按冷热分层: node.roles: [ data_hot ] node.attr.temperature: hot # 专用 coordinating 节点(不存数据、不参与选举) node.name: es-coord-1 node.roles: [ ] # roles 为空数组即为纯协调节点,应用连接它
cluster.initial_master_nodes 只在集群第一次启动时生效(用于 bootstrap 选举),集群形成之后应该把这个配置注释掉,否则节点重启时可能引发问题。7.x 之后这个参数是必须的,漏配会导致集群无法启动。
3.3 为什么 master 节点要奇数个
ES 的 master 选举基于类 Raft 的法定人数(quorum)机制,需要 (n/2) + 1 个候选主节点达成一致。3 个 master 节点可以容忍 1 个故障(quorum = 2);5 个可以容忍 2 个(quorum = 3)。但 4 个也只能容忍 1 个(quorum = 3),多一台机器没换来更多容错,所以永远是奇数个。
# 查看集群健康与节点角色 curl -s 'http://localhost:9200/_cat/nodes?v&h=name,node.role,heap.percent,ram.percent,cpu,load_1m,disk.used_percent,master' # name node.role heap.percent ram.percent cpu load_1m disk.used_percent master # es-master-1 m 23 85 3 0.35 8 * # es-data-1 di 61 92 45 2.10 67 - # es-coord-1 - 41 90 22 1.20 0 -
_cat/nodes 的 node.role 缩写含义:m=master、d=data、i=ingest、-=coordinating;7.x 之后还会显示 h(hot)/w(warm)/c(cold)/f(frozen)、l=ml、s=search、r=remote_cluster_client。带 * 的是当前 master。
四、ILM 与冷热分层
索引生命周期管理(ILM,Index Lifecycle Management)是控制存储成本的核心手段。它的思路很直接:数据的访问热度随时间衰减,那就让数据自动从昂贵的 SSD 迁移到便宜的存储上,最后删除。
4.1 四个阶段
| 阶段 | 典型动作 | 存储层 | 示例策略 |
|---|---|---|---|
| hot | 写入、高频查询、rollover | data_hot(NVMe) | 主分片写入,达到 50GB 或 7 天后 rollover |
| warm | 停止写入、force merge、shrink、设为只读 | data_warm(SSD) | 7 天后迁移,force merge 到 1 个 segment |
| cold | 冻结索引、降低副本数 | data_cold(HDD) | 30 天后迁移,副本数降到 0 或 1 |
| frozen | searchable snapshot(8.x)或 close index | 对象存储 | 90 天后转为可搜索快照 |
| delete | 删除索引 | — | 180 天后删除 |
4.2 配置一个 ILM 策略
PUT _ilm/policy/logs_policy
{
"policy": {
"phases": {
"hot": {
"min_age": "0ms",
"actions": {
"rollover": { "max_primary_shard_size": "50gb", "max_age": "7d" },
"set_priority": { "priority": 100 }
}
},
"warm": {
"min_age": "7d",
"actions": {
"set_priority": { "priority": 50 },
"forcemerge": { "max_num_segments": 1 },
"shrink": { "number_of_shards": 1 },
"allocate": { "require": { "data": "warm" } }
}
},
"cold": {
"min_age": "30d",
"actions": {
"set_priority": { "priority": 0 },
"allocate": { "require": { "data": "cold" }, "number_of_replicas": 0 }
}
},
"delete": {
"min_age": "180d",
"actions": { "delete": {} }
}
}
}
}
# 绑定到索引模板
PUT _index_template/logs_template
{
"index_patterns": ["logs-*"],
"template": {
"settings": {
"number_of_shards": 3,
"number_of_replicas": 1,
"index.lifecycle.name": "logs_policy",
"index.lifecycle.rollover_alias": "logs-write",
"index.routing.allocation.require.data": "hot"
}
}
}
# 创建初始可写索引(使用 rollover alias)
PUT logs-000001
{
"aliases": { "logs-write": { "is_write_index": true } }
}
# 查看 ILM 执行状态与卡在哪一步
GET logs-*/_ilm/explain
GET _ilm/status
_ilm/explain 是排查 ILM 问题的利器,它会显示每个索引当前处于哪个 phase、哪个 action、以及为什么卡住(常见原因是没有 warm/cold 节点满足 allocate 的 require 条件,ILM 会一直等待)。
五、日常巡检的 CAT API 命令
# 集群健康:status 为 green/yellow/red,关注 unassigned_shards GET _cluster/health?pretty # 节点概览:heap、ram、cpu、load、磁盘使用率 GET _cat/nodes?v&h=name,node.role,heap.percent,heap.max,ram.percent,cpu,load_1m,disk.used_percent,master # 磁盘分配:每个节点分了多少数据 GET _cat/allocation?v # 分片列表:找出未分配分片及其原因 GET _cat/shards?v&h=index,shard,prirep,state,docs,store,node,unassigned.reason&s=state # 未分配分片的具体原因(最重要) GET _cluster/allocation/explain?pretty # 索引概览:文档数、大小 GET _cat/indices?v&h=index,status,docs.count,store.size,pri.store.size&s=store.size:desc&bytes=gb # 当前正在执行的任务(长任务排查) GET _tasks?detailed=true&actions=*search&pretty # 慢查询所在的分片统计 GET _cat/thread_pool/search?v&h=node_name,active,queue,rejected,completed
_cat/shards 里的 state 如果是 UNASSIGNED,一定要用 _cluster/allocation/explain 看原因。常见原因有:磁盘超过水位线、分片数超过节点的 index.routing.allocation.total_shards_per_node 限制、所有副本的原始数据节点都离线且没有开启 cluster.routing.allocation.allow_rebalance 等。
六、规划与实施清单
- 预估 6-12 个月的数据量(原始 × 1.4 膨胀 × 副本数),按 20-50GB 分片算出主分片数。
- 按容量公式算出总磁盘需求,再除以 0.95 的水位线余量,确定磁盘数量和节点数。
- 确定节点角色:小集群(< 6 节点)用混合角色;中大型集群分离出 3 个专用 master 节点。
- 每台机器:关闭 swap(
swapoff -a并注释 fstab)、vm.max_map_count=262144、ulimit -n 65535、vm.swappiness=1。 - 设置
-Xms = -Xmx,值 = min(物理内存 × 50%, 31GB)。 - 开启
bootstrap.memory_lock: true并配置 systemdLimitMEMLOCK=infinity,验证mlockall: true。 - 配置磁盘水位线(建议 85%/90%/95%),并接入告警(超过 80% 就要预警)。
- 规划 ILM 策略,把冷热分层和保留期写进索引模板,从第一天就生效。
- 接入监控:集群健康状态、堆使用率(持续超过 75% 要扩容)、GC 频率与停顿、
search和write线程池的rejected计数、磁盘使用率、未分配分片数。 - 定期巡检
_cat/shards和_ilm/explain,清理无用索引。
七、避坑清单
- 堆不要超过 31GB。超过后 compressed oops 失效,有效容量反而下降。需要更大内存就加节点。
-Xms和-Xmx必须相等,否则运行时扩容会引发长时间停顿。- 务必关闭 swap 并锁定内存。
swappiness=1+bootstrap.memory_lock双保险。 vm.max_map_count必须 ≥ 262144,否则 ES 启动报 "max virtual memory areas vm.max_map_count is too low"。- 分片不是越多越好。每 GB 堆约 20 个分片是上限参考值。日志场景最容易犯这个错。
- 磁盘利用率不要超过 85%。一旦到 95% 触发 flood stage,索引会被强制只读,业务写入直接中断。
cluster.initial_master_nodes只在首次启动时需要,之后应移除,否则可能引发脑裂风险或启动失败。- 不要把所有节点都设成 master + data。数据节点 GC 停顿时会拖累 master 选举,导致集群状态更新缓慢。中型以上集群必须分离。
- 副本数至少设 1。副本为 0 时任何节点故障都会导致数据丢失且集群变 red。但副本也不是越多越好,每个副本都是一份完整的数据和写入开销。
- 不要在热层做 force merge。force merge 会产生大量 IO,应该在 warm 阶段数据不再写入之后再执行。
- ILM 卡住先查 allocate 条件。没有对应 temperature 的节点时,ILM 会无限等待,索引永远停在 hot 阶段占着昂贵存储。
小结
Elasticsearch 资源规划可以浓缩成三条主线。内存线上:堆设 31GB 上限是因为 compressed oops 在这个边界失效,同时必须留一半物理内存给 OS 的 page cache,因为 Lucene 靠 mmap 读文件;还要记住每 GB 堆对应约 20 个分片的经验值。磁盘线上:用容量公式(日增量 × 副本 × 膨胀系数 1.3-1.6 × 保留天数 × 1.3 余量 ÷ 0.95 水位)算出真实需求,分片控制在 20-50GB,磁盘利用率控制在 85% 以内。角色线上:小集群用混合角色,中大型集群必须分离出 3 个专用 master 节点,并用 ILM 做冷热分层把存储成本压下来。这三条线都规划对了,ES 集群才能在数据量增长十倍之后依然稳定——否则每一次扩容都会变成一次痛苦的索引重建。
企业QQ咨询




