Elasticsearch服务器资源怎么规划?JVM内存、磁盘与节点角色配置

Elasticsearch 是那种"装起来五分钟,调好要半年"的系统。默认配置跑起来很顺畅,数据量到几十 GB 之后开始出现莫名其妙的超时、节点掉线、查询变慢,最后发现根因都在资源规划上——堆内存给太大、磁盘没留够水位、所有节点都是同一个角色、分片数随便设。这些问题在数据量小的时候全部隐藏,等到暴露出来往往已经要重建索引了。本文把 ES 资源规划中最关键的三个维度(JVM 内存、磁盘、节点角色)讲清楚,配上可执行的分片与容量计算方法。

一、JVM 堆内存:为什么不能超过 31GB

这是 ES 面试和排障里最经典的问题。官方文档明确建议:单个节点的 JVM 堆不超过物理内存的 50%,且绝对不超过 31GB。原因有两个,第二个才是关键。

1.1 原因一:留给 Lucene 的 page cache

Elasticsearch 的磁盘 IO 模式很特殊:Lucene 的段文件(segment)一旦写入就不再修改,ES 通过 mmap(内存映射)方式读取它们。这意味着 Lucene 的文件读取几乎完全依赖操作系统的 page cache,而不是 JVM 堆。如果堆内存给到物理内存的 70%,剩给 OS cache 的就只有 30%,查询时大量段文件无法命中缓存,就会退化成真正的磁盘读,性能可能相差一个数量级。

官方的经验法则是 "50-50 法则":一半内存给 JVM 堆,一半留给操作系统。一个 64GB 内存的专用节点,堆设 31GB,剩下 33GB 给 page cache。这就是为什么"堆越大越好"在 ES 里完全不成立。

1.2 原因二:Compressed Oops 的 31GB 边界

这是更技术性的原因。HotSpot JVM 有一个优化叫 Compressed Oops(压缩普通对象指针):在 64 位 JVM 上,对象引用本来要占 8 字节,JVM 可以把它们压缩成 4 字节存储,从而让同样的堆容纳更多对象,并且减少 CPU 缓存压力。

这个优化有前提条件:压缩后的 4 字节指针通过"乘以 8 + 基址偏移"的方式寻址,能表达的最大堆大小是 4GB × 8 = 32GB。但实际上边界并不是精确的 32GB,而是在 30-31GB 之间——具体取决于 JVM 版本和对象对齐设置。一旦堆超过这个阈值,JVM 会自动关闭压缩指针,所有对象引用从 4 字节变回 8 字节,结果就是:

  • 同样的堆,能存放的对象数量明显减少(通常损失 15%-30% 的有效容量);
  • GC 要扫描和移动的引用数据变多,停顿时间变长;
  • CPU 缓存命中率下降。

换句话说,把堆从 31GB 加到 32GB,不但没有多出 1GB 可用空间,反而可能损失好几个 GB 的有效容量。这就是为什么 31GB 这个数字被反复强调。

1.3 验证压缩指针是否生效

# 直接用 JVM 参数验证
java -Xmx31g -XX:+PrintFlagsFinal -version 2>/dev/null | grep UseCompressedOops
#      bool UseCompressedOops  = true     ← 生效

java -Xmx32g -XX:+PrintFlagsFinal -version 2>/dev/null | grep UseCompressedOops
#      bool UseCompressedOops  = false    ← 失效

# 在 ES 节点上验证
curl -s 'http://localhost:9200/_nodes/jvm?pretty' | grep -E '"heap_max_in_bytes"|"using_compressed_ordinary_object_pointers"'
# "heap_max_in_bytes" : 33285996544
# "using_compressed_ordinary_object_pointers" : "true"

1.4 怎么设置堆大小

# ES 7.x/8.x 推荐用 jvm.options.d 目录下的自定义文件(不会被升级覆盖)
# /etc/elasticsearch/jvm.options.d/heap.options
-Xms31g
-Xmx31g

# 或者通过环境变量(容器部署时常用)
ES_JAVA_OPTS="-Xms31g -Xmx31g" docker run ... elasticsearch:8.14.0

三条原则:

  • -Xms 必须等于 -Xmx。不等的话 JVM 会在运行时动态扩容堆,触发 full GC 造成突发停顿,而且扩容过程中可能因为内存不足失败。
  • 堆不超过物理内存的 50%,不超过 31GB。如果数据量确实很大,正确做法是加节点,而不是加单节点内存。
  • 必须开启 bootstrap.memory_lock: true 锁定内存,禁止 ES 堆被 swap 出去。ES 一旦发生 swap,性能会灾难性下降,节点还可能因为 GC 超时被集群判定离线。
# elasticsearch.yml
bootstrap.memory_lock: true

# systemd 服务需要放开 memlock 限制
# /etc/systemd/system/elasticsearch.service.d/override.conf
[Service]
LimitMEMLOCK=infinity
LimitNOFILE=65535

sudo systemctl daemon-reload && sudo systemctl restart elasticsearch

# 验证 mlockall 是否生效
curl -s 'http://localhost:9200/_nodes?filter_path=**.mlockall' | grep true

1.5 堆与分片数的关系

堆大小还限制了单个节点能承载的分片数。每条经验:每 1GB 堆内存大约对应 20 个分片(包含主分片和副本分片)。31GB 堆的节点理论上可以放 600 个分片,但实际生产中建议控制在 300-400 个以内留出余量。原因是每个分片都要在堆里维护 Lucene 的 Segment 元信息、field data 结构、以及查询时的各种缓存,分片越多堆压力越大,GC 越频繁。

二、磁盘规划:容量、类型与水位线

2.1 磁盘类型与性能要求

Elasticsearch 对磁盘的需求可以总结成一句话:能用 SSD 就不要用机械盘。原因是 ES 的工作负载有大量随机读(查询时读取分散在各 segment 里的数据)和持续的顺序写(segment merge)。机械盘在随机读上的 IOPS 通常只有一两百,会成为整个集群的瓶颈。

节点类型磁盘建议说明
hot(热节点)NVMe SSD 或高端 SATA SSD承载最新数据的写入和高频查询,IO 压力最大
warm(温节点)SATA SSD 或大容量 SSD读写频率低,可以接受稍慢的盘
cold(冷节点)大容量 HDD 或低成本对象存储极少查询,追求单位容量成本
frozen(冻结层)对象存储 + searchable snapshot8.x 特性,本地只缓存少量数据
master(主节点)普通 SSD,容量小(几十 GB 足够)只存集群元数据

如果因为预算必须用机械盘,至少要满足:RAID 0 或者 JBOD(不要用 RAID 5/6,写惩罚太大)、单盘随机读 IOPS 评估、并且把 index.merge.scheduler.max_thread_count 调低(机械盘上设为 1)避免 merge 把 IO 打满。

2.2 容量计算:一个完整的算例

ES 的实际磁盘占用远大于原始 JSON 数据大小。影响膨胀的因素包括:索引结构(是否存 _source、是否 doc_values、分词字段数)、副本数、segment merge 期间的临时空间(最坏情况下需要约一倍的额外空间)、以及保留的删除文档(未 purge 前仍占空间)。

推荐用这个公式估算:

所需磁盘 = 每日原始数据量
         × (1 + 副本数)
         × 索引膨胀系数
         × 保留天数
         × (1 + merge 与操作余量)

其中:
  索引膨胀系数  经验值 1.3 - 1.6(默认开启 _source 和 doc_values 时约 1.4)
  merge 与操作余量  建议 0.3(即再乘 1.3),因为 segment merge 期间需要额外空间

算一个具体例子。某日志系统每天写入 200GB 原始日志,保留 30 天,1 个副本:

每日原始数据      = 200 GB
副本              = × 2          (1 主 + 1 副)
膨胀系数          = × 1.4        → 200 × 2 × 1.4 = 560 GB/天
保留 30 天        = × 30         → 16800 GB = 16.8 TB
merge 与操作余量  = × 1.3        → 21.8 TB

再加上磁盘水位线因素(见下节,默认 flood 水位 95%,
意味着实际可用只有 95%),实际需要:21.8 / 0.95 ≈ 23 TB

结论:需要约 23 TB 可用容量。
如果用 4TB 的 SSD,需要 23 / 4 ≈ 6 块(6 块 × 4TB = 24TB)

这个计算要留足余量,因为 ES 的磁盘一旦触发 flood 水位线,所有索引会被置为只读,业务直接中断,恢复起来很麻烦。

2.3 磁盘水位线(watermark)

ES 用三个水位线控制磁盘分配,默认值在新版本里是百分比:

# elasticsearch.yml 或动态调整
PUT _cluster/settings
{
  "persistent": {
    "cluster.routing.allocation.disk.watermark.low": "85%",
    "cluster.routing.allocation.disk.watermark.high": "90%",
    "cluster.routing.allocation.disk.watermark.flood_stage": "95%"
  }
}
  • low(85%):超过后,该节点不再接收新的分片分配(已有分片不动)。
  • high(90%):ES 会主动把该节点上的分片迁移到其他节点。
  • flood_stage(95%):该节点上所有索引被强制设为只读(index.blocks.read_only_allow_delete),只能删除不能写入。这是保护机制,但对业务来说是事故。
# 查看磁盘分配情况
curl -s 'http://localhost:9200/_cat/allocation?v&h=disk.indices,disk.used,disk.avail,disk.total,disk.percent,node&bytes=b'

# 检查是否有索引被置为只读(这是最常见的"突然写不进去"原因)
curl -s 'http://localhost:9200/_all/_settings?filter_path=**.read_only_allow_delete'

# 清理磁盘后手动解除只读
PUT _all/_settings
{ "index.blocks.read_only_allow_delete": null }

2.4 分片大小:20-50GB 的经验值

分片(shard)是 ES 最小的资源单位,也是最容易规划错的东西。官方和社区的共识是:单个分片的大小控制在 20GB - 50GB 之间。

分片大小问题
< 1GB(过小)分片数暴增,元数据占用大量堆内存,查询要合并的结果集太多,节点间通信开销大
< 10GB(偏小)同上,且 segment 碎片多,merge 频繁,整体查询开销偏高
20GB - 50GB(推荐)查询性能与恢复速度的平衡点。分片故障恢复、reroute 的时间可接受
50GB - 100GB(偏大)单个分片恢复/迁移耗时长,节点故障时数据再平衡压力大
> 100GB(过大)恢复时间可能达到小时级,且把分片迁移变成高风险操作

主分片数怎么定?用这个流程:

  1. 估算索引未来 6-12 个月的总数据量(是原始数据 × 膨胀系数,不是原始数据)。
  2. 除以目标分片大小(比如 40GB),得到主分片数。
  3. 向上取到合适的值,并考虑节点数的整数倍关系(避免分片分布不均)。
例子:某业务索引预计一年后达到 800GB(已含膨胀)
目标分片大小 40GB → 800 / 40 = 20 个主分片
如果集群有 4 个数据节点 → 20 / 4 = 5,每个节点 5 个主分片,分布均匀 ✓

如果算出来是 23 个主分片 / 4 节点 = 5.75,分布不均 ✗
应调整为 24 或 20 个主分片

另一个常见错误:按天建索引却把主分片数设成和节点数一样。日志场景每天的数据量可能只有 20GB,如果设 5 个主分片,每个才 4GB,一年下来就有 1825 个分片,堆内存直接爆掉。日志类索引应该按实际数据量算,通常 1-3 个主分片就够。

三、节点角色配置

ES 7.9 之后用 node.roles 取代了旧的 node.master / node.data / node.ingest 三个布尔配置(8.x 里旧配置已移除)。一个节点可以同时承担多种角色,但生产环境强烈建议做角色分离。

3.1 角色速查

角色名作用资源侧重建议数量
master管理集群状态、索引创建删除、分片分配决策CPU 中低、内存 8-16GB、磁盘小但稳定3 个(必须是奇数)
data存储数据、执行数据相关的 CRUD 和搜索大内存、大磁盘、高 IO按需扩展
data_hot热层,存最新最频繁访问的数据NVMe/SSD按需
data_warm温层,不再更新但偶尔查询SSD,容量大按需
data_cold冷层,很少查询HDD 或低成本存储按需
data_frozen冻结层,配合 searchable snapshot本地极小,数据在对象存储少量
ingest执行 ingest pipeline(预处理文档)CPU 高(grok、脚本解析耗 CPU)2+ 个
coordinating仅协调节点,接收请求、分发、聚合结果CPU 和内存(聚合结果要缓存)2+ 个
ml / transform / remote_cluster_client机器学习、数据转换、跨集群查询视功能而定可选

3.2 典型集群配置示例

小型集群(3 节点,数据量 < 500GB):每个节点都承担 master + data 角色,不要再做分离。因为角色分离需要更多机器,小集群分离的收益抵不上成本。

# /etc/elasticsearch/elasticsearch.yml —— 小集群通用节点
cluster.name: prod-es
node.name: es-node-1
node.roles: [ master, data, ingest ]
network.host: 10.0.0.31
discovery.seed_hosts: ["10.0.0.31", "10.0.0.32", "10.0.0.33"]
cluster.initial_master_nodes: ["es-node-1", "es-node-2", "es-node-3"]
bootstrap.memory_lock: true
path.data: /data/es/data
path.logs: /var/log/elasticsearch

中型集群(10+ 节点):做角色分离。至少 3 个专用 master 节点,其余为 data 节点,前面挂 2 个 coordinating 节点给应用连接。

# 专用 master 节点
node.name: es-master-1
node.roles: [ master ]
# 堆设 4-8GB 足够,metadata 不占太多内存

# 专用 data 节点
node.name: es-data-1
node.roles: [ data ]
# 或按冷热分层:
node.roles: [ data_hot ]
node.attr.temperature: hot

# 专用 coordinating 节点(不存数据、不参与选举)
node.name: es-coord-1
node.roles: [ ]
# roles 为空数组即为纯协调节点,应用连接它

cluster.initial_master_nodes 只在集群第一次启动时生效(用于 bootstrap 选举),集群形成之后应该把这个配置注释掉,否则节点重启时可能引发问题。7.x 之后这个参数是必须的,漏配会导致集群无法启动。

3.3 为什么 master 节点要奇数个

ES 的 master 选举基于类 Raft 的法定人数(quorum)机制,需要 (n/2) + 1 个候选主节点达成一致。3 个 master 节点可以容忍 1 个故障(quorum = 2);5 个可以容忍 2 个(quorum = 3)。但 4 个也只能容忍 1 个(quorum = 3),多一台机器没换来更多容错,所以永远是奇数个。

# 查看集群健康与节点角色
curl -s 'http://localhost:9200/_cat/nodes?v&h=name,node.role,heap.percent,ram.percent,cpu,load_1m,disk.used_percent,master'
# name        node.role heap.percent ram.percent cpu load_1m disk.used_percent master
# es-master-1 m               23          85      3    0.35              8     *
# es-data-1   di              61          92     45    2.10             67     -
# es-coord-1  -               41          90     22    1.20              0     -

_cat/nodes 的 node.role 缩写含义:m=master、d=data、i=ingest、-=coordinating;7.x 之后还会显示 h(hot)/w(warm)/c(cold)/f(frozen)、l=ml、s=search、r=remote_cluster_client。带 * 的是当前 master。

四、ILM 与冷热分层

索引生命周期管理(ILM,Index Lifecycle Management)是控制存储成本的核心手段。它的思路很直接:数据的访问热度随时间衰减,那就让数据自动从昂贵的 SSD 迁移到便宜的存储上,最后删除。

4.1 四个阶段

阶段典型动作存储层示例策略
hot写入、高频查询、rolloverdata_hot(NVMe)主分片写入,达到 50GB 或 7 天后 rollover
warm停止写入、force merge、shrink、设为只读data_warm(SSD)7 天后迁移,force merge 到 1 个 segment
cold冻结索引、降低副本数data_cold(HDD)30 天后迁移,副本数降到 0 或 1
frozensearchable snapshot(8.x)或 close index对象存储90 天后转为可搜索快照
delete删除索引—180 天后删除

4.2 配置一个 ILM 策略

PUT _ilm/policy/logs_policy
{
  "policy": {
    "phases": {
      "hot": {
        "min_age": "0ms",
        "actions": {
          "rollover": { "max_primary_shard_size": "50gb", "max_age": "7d" },
          "set_priority": { "priority": 100 }
        }
      },
      "warm": {
        "min_age": "7d",
        "actions": {
          "set_priority": { "priority": 50 },
          "forcemerge": { "max_num_segments": 1 },
          "shrink": { "number_of_shards": 1 },
          "allocate": { "require": { "data": "warm" } }
        }
      },
      "cold": {
        "min_age": "30d",
        "actions": {
          "set_priority": { "priority": 0 },
          "allocate": { "require": { "data": "cold" }, "number_of_replicas": 0 }
        }
      },
      "delete": {
        "min_age": "180d",
        "actions": { "delete": {} }
      }
    }
  }
}

# 绑定到索引模板
PUT _index_template/logs_template
{
  "index_patterns": ["logs-*"],
  "template": {
    "settings": {
      "number_of_shards": 3,
      "number_of_replicas": 1,
      "index.lifecycle.name": "logs_policy",
      "index.lifecycle.rollover_alias": "logs-write",
      "index.routing.allocation.require.data": "hot"
    }
  }
}

# 创建初始可写索引(使用 rollover alias)
PUT logs-000001
{
  "aliases": { "logs-write": { "is_write_index": true } }
}

# 查看 ILM 执行状态与卡在哪一步
GET logs-*/_ilm/explain
GET _ilm/status

_ilm/explain 是排查 ILM 问题的利器,它会显示每个索引当前处于哪个 phase、哪个 action、以及为什么卡住(常见原因是没有 warm/cold 节点满足 allocate 的 require 条件,ILM 会一直等待)。

五、日常巡检的 CAT API 命令

# 集群健康:status 为 green/yellow/red,关注 unassigned_shards
GET _cluster/health?pretty

# 节点概览:heap、ram、cpu、load、磁盘使用率
GET _cat/nodes?v&h=name,node.role,heap.percent,heap.max,ram.percent,cpu,load_1m,disk.used_percent,master

# 磁盘分配:每个节点分了多少数据
GET _cat/allocation?v

# 分片列表:找出未分配分片及其原因
GET _cat/shards?v&h=index,shard,prirep,state,docs,store,node,unassigned.reason&s=state

# 未分配分片的具体原因(最重要)
GET _cluster/allocation/explain?pretty

# 索引概览:文档数、大小
GET _cat/indices?v&h=index,status,docs.count,store.size,pri.store.size&s=store.size:desc&bytes=gb

# 当前正在执行的任务(长任务排查)
GET _tasks?detailed=true&actions=*search&pretty

# 慢查询所在的分片统计
GET _cat/thread_pool/search?v&h=node_name,active,queue,rejected,completed

_cat/shards 里的 state 如果是 UNASSIGNED,一定要用 _cluster/allocation/explain 看原因。常见原因有:磁盘超过水位线、分片数超过节点的 index.routing.allocation.total_shards_per_node 限制、所有副本的原始数据节点都离线且没有开启 cluster.routing.allocation.allow_rebalance 等。

六、规划与实施清单

  1. 预估 6-12 个月的数据量(原始 × 1.4 膨胀 × 副本数),按 20-50GB 分片算出主分片数。
  2. 按容量公式算出总磁盘需求,再除以 0.95 的水位线余量,确定磁盘数量和节点数。
  3. 确定节点角色:小集群(< 6 节点)用混合角色;中大型集群分离出 3 个专用 master 节点。
  4. 每台机器:关闭 swap(swapoff -a 并注释 fstab)、vm.max_map_count=262144、ulimit -n 65535、vm.swappiness=1。
  5. 设置 -Xms = -Xmx,值 = min(物理内存 × 50%, 31GB)。
  6. 开启 bootstrap.memory_lock: true 并配置 systemd LimitMEMLOCK=infinity,验证 mlockall: true。
  7. 配置磁盘水位线(建议 85%/90%/95%),并接入告警(超过 80% 就要预警)。
  8. 规划 ILM 策略,把冷热分层和保留期写进索引模板,从第一天就生效。
  9. 接入监控:集群健康状态、堆使用率(持续超过 75% 要扩容)、GC 频率与停顿、search 和 write 线程池的 rejected 计数、磁盘使用率、未分配分片数。
  10. 定期巡检 _cat/shards 和 _ilm/explain,清理无用索引。

七、避坑清单

  • 堆不要超过 31GB。超过后 compressed oops 失效,有效容量反而下降。需要更大内存就加节点。
  • -Xms 和 -Xmx 必须相等,否则运行时扩容会引发长时间停顿。
  • 务必关闭 swap 并锁定内存。swappiness=1 + bootstrap.memory_lock 双保险。
  • vm.max_map_count 必须 ≥ 262144,否则 ES 启动报 "max virtual memory areas vm.max_map_count is too low"。
  • 分片不是越多越好。每 GB 堆约 20 个分片是上限参考值。日志场景最容易犯这个错。
  • 磁盘利用率不要超过 85%。一旦到 95% 触发 flood stage,索引会被强制只读,业务写入直接中断。
  • cluster.initial_master_nodes 只在首次启动时需要,之后应移除,否则可能引发脑裂风险或启动失败。
  • 不要把所有节点都设成 master + data。数据节点 GC 停顿时会拖累 master 选举,导致集群状态更新缓慢。中型以上集群必须分离。
  • 副本数至少设 1。副本为 0 时任何节点故障都会导致数据丢失且集群变 red。但副本也不是越多越好,每个副本都是一份完整的数据和写入开销。
  • 不要在热层做 force merge。force merge 会产生大量 IO,应该在 warm 阶段数据不再写入之后再执行。
  • ILM 卡住先查 allocate 条件。没有对应 temperature 的节点时,ILM 会无限等待,索引永远停在 hot 阶段占着昂贵存储。

小结

Elasticsearch 资源规划可以浓缩成三条主线。内存线上:堆设 31GB 上限是因为 compressed oops 在这个边界失效,同时必须留一半物理内存给 OS 的 page cache,因为 Lucene 靠 mmap 读文件;还要记住每 GB 堆对应约 20 个分片的经验值。磁盘线上:用容量公式(日增量 × 副本 × 膨胀系数 1.3-1.6 × 保留天数 × 1.3 余量 ÷ 0.95 水位)算出真实需求,分片控制在 20-50GB,磁盘利用率控制在 85% 以内。角色线上:小集群用混合角色,中大型集群必须分离出 3 个专用 master 节点,并用 ILM 做冷热分层把存储成本压下来。这三条线都规划对了,ES 集群才能在数据量增长十倍之后依然稳定——否则每一次扩容都会变成一次痛苦的索引重建。