多台云服务器如何实现内网互通?路由、安全规则与连通性验证

业务规模化之后,单机很难扛住:一台做 Web、一台跑数据库、一两台做缓存和队列,是很常见的分体式架构。这些机器之间的通信如果走公网,既有流量费、又有延迟和暴露风险,所以正确的做法是让它们通过云内网(私网)互通。内网互通带宽高、延迟低、通常还免费(同一可用区内),是云上架构的基本操作。

但"内网互通"并不是买几台机器就能自动实现。默认情况下:同一个 VPC 内的机器一般互通,跨 VPC、跨可用区、跨安全组的机器可能需要额外配置;安全组、系统防火墙、路由表任何一环没配对,就会出现"能 ping 通但连不上端口""A 能连 B 但 B 连不上 A"这类问题。

这篇文章围绕"多台机器内网互通"这一需求,讲清楚互通的原理与前置条件,给出同一 VPC 内、跨 VPC(对等连接)、跨可用区三种场景的配置方法,并重点讲连通性验证的正确姿势——怎么用 ping、telnet/nc、tcpdump、ss 快速定位是路由问题还是安全规则问题。命令以通用 Linux 工具为主,云平台操作用中性表述。

一、内网互通的前提条件

内网要通,几个条件必须同时满足,缺一不可:

  1. 网络可达:两台机器在同一个 VPC 里(或通过对等连接/VPN 打通),且路由表里有能到达对方网段的路由。
  2. 安全组放行:对方安全组(或本机出方向)允许相应端口/协议的流量。这是最容易漏的一环。
  3. 网络 ACL 放行(若有):子网级无状态防火墙,入和出都要配。
  4. 系统防火墙放行:机器内部的 firewalld/ufw/iptables 允许端口。
  5. 服务本身在监听:目标端口有进程 LISTEN,且监听地址不是只绑了 127.0.0.1。

理解这个链条很重要:任何一环拦截,结果都是"不通"。所以排查时要沿着链条从下往上(或从上往下)逐项确认,而不是瞎猜。

先看看每台机器的内网 IP,建立一张"机器-IP-角色"表:

# 每台机器上执行,记录内网 IP
ip -4 addr show
hostname
# 常见输出:eth0 上 10.0.1.10/24 —— 这 10.0.1.10 就是内网 IP

# 看内网 IP 和主机名对应关系(若配了内网 DNS)
getent hosts db-server

二、场景一:同一 VPC 内互通(最常见)

同一个 VPC 内、关联同一路由表的子网,默认是互通的,路由表里通常有一条覆盖整个 VPC 网段的本地路由。你要做的往往只是放行安全组和系统防火墙。

# 假设 A 机 10.0.1.10 要访问 B 机 10.0.2.20 的 3306(MySQL)

# 1) 先确认路由能到达对方网段
ip route get 10.0.2.20
# 期望:via <网关> dev eth0 src 10.0.1.10

# 2) 从 A 测试到 B 的连通性
ping -c 3 10.0.2.20                 # ICMP
nc -vz 10.0.2.20 3306               # 测 TCP 端口
# 或
telnet 10.0.2.20 3306

在 B 机上确认服务在监听,且监听的不是只有本地:

# 查看监听端口和进程
sudo ss -tlnp | grep 3306
# 关键:监听地址应为 0.0.0.0:3306 或 10.0.2.20:3306
# 若显示 127.0.0.1:3306,则只有本机能连,外部访问不到

# 查看网络的监听套接字总览
sudo ss -tulnp

这是极高频的坑:MySQL 的 bind-address、Redis 的 bind、Nginx 的 listen,默认常常只绑 127.0.0.1。要让内网其他机器访问,必须改成监听内网 IP 或 0.0.0.0(改完记得配合安全组做访问控制,别裸奔到公网)。

# MySQL: /etc/my.cnf 或 /etc/mysql/mysql.conf.d/mysqld.cnf
[mysqld]
bind-address = 0.0.0.0
# 注意:仅改监听地址不改安全组,等于把数据库暴露给整个内网
# Redis: /etc/redis/redis.conf
bind 0.0.0.0
protected-mode yes
requirepass 你的强密码

安全组放行(在主流云厂商控制台操作):给 B 机的安全组加入方向规则,来源设为 A 机的内网 IP 或 A 机所在安全组,协议 TCP,端口 3306。优先用"安全组作来源"而不是 0.0.0.0/0,这样只放行受信任的机器。

系统防火墙同步放行:

# RHEL 系 firewalld
sudo firewall-cmd --permanent --add-rich-rule=\
'rule family=ipv4 source address=10.0.1.0/24 port port=3306 protocol=tcp accept'
sudo firewall-cmd --reload

# Debian/Ubuntu ufw
sudo ufw allow from 10.0.1.0/24 to any port 3306 proto tcp

三、场景二:跨 VPC 互通(对等连接)

如果两台机器在不同 VPC(比如生产 VPC 和测试 VPC),默认隔离,要用对等连接(VPC Peering)打通。

步骤:

  1. 确认网段不重叠。两个 VPC 的 CIDR 不能有交集,否则无法建立对等连接。这是硬性前提。
  2. 在两端建立对等连接。在主流云厂商控制台,一方发起对等连接请求,另一方接受。
  3. 在两端路由表加路由。VPC-A 的路由表加"去往 VPC-B 网段 → 对等连接";VPC-B 同理加"去往 VPC-A 网段 → 对等连接"。这一步最容易被忘,只建连接不加路由是不会通的。
  4. 放行两端安全组。
# 建立后验证(在 A 机执行)
ping -c 3 
ip route get           # 应显示走对等连接的下一跳

对等连接的注意点:
- 不传递路由:A-B、B-C 都连通,不代表 A 能与 C 通,需要单独建连接。
- 跨地域对等连接有额外延迟(通常几毫秒到几十毫秒,视地域距离),且可能收跨区流量费。
- 大规模多 VPC 组网时,用"云联网/企业路由器"这类中心化产品比两两对等更好维护,避免连接数爆炸。

四、场景三:跨可用区与跨子网

同一 VPC 的不同可用区子网,默认也是互通的,走 VPC 内部路由。跨可用区通信的差异主要在:

  • 延迟:同可用区内通常亚毫秒级;跨可用区一般 1~3 毫秒(经验值,视地域)。
  • 费用:部分厂商对跨可用区流量收费,同可用区免费。做大流量传输(如数据同步)时要注意。
  • 高可用:跨可用区部署正是为了容灾,但要注意主从/副本同步的流量成本。

跨可用区互通通常无需额外配置,只要在 VPC 内、安全组放行即可。验证方法和同 VPC 内一致。

五、连通性验证:把问题定位到具体一层

"不通"只是现象,关键是用工具把问题缩到某一层。推荐这套组合拳。

第一步:测网络可达性(ICMP)

ping -c 4 <目标内网IP>
  • 通:网络层没问题,往下查端口。
  • 不通:可能是路由问题,也可能是安全组禁了 ICMP(很多人只放 TCP,不放 ICMP)。别急着下结论,用 TCP 再测一次。

第二步:测 TCP 端口

# nc 测端口
nc -vz <目标IP> <端口>
# 或用 /dev/tcp(bash 内置,无需装工具)
timeout 3 bash -c 'cat < /dev/null > /dev/tcp/<目标IP>/<端口>' && echo "OPEN" || echo "CLOSED/FILTERED"

# telnet
telnet <目标IP> <端口>
  • 端口通:服务可达,问题可能在上层(认证、应用配置)。
  • 端口不通但 ping 通:典型是安全组或系统防火墙没放行该端口,或服务没监听。

第三步:在目标机确认服务在监听

sudo ss -tlnp | grep <端口>
# 确认监听地址不是仅 127.0.0.1

第四步:抓包确认流量到底到没到

这是区分"路由问题"和"安全组问题"的利器。

# 在目标机上抓包(源 IP 换成发起方)
sudo tcpdump -i any -n host <发起方IP> and port <端口>
# 然后从发起方发起连接

# 情况A:目标机抓到 SYN 包 → 流量到达了本机,
#         若没有 SYN-ACK 回包,多半被本机防火墙拦截
# 情况B:目标机完全抓不到包 → 流量在到达前就被拦了,
#         多为云安全组或路由问题

第五步:确认路由

ip route get <目标IP>
# 看下一跳是否正确、出口网卡是否对

把上面的判断整理成一张对照表:

现象 可能原因 下一步
ping 不通,TCP 也不通 路由不通 / 不同 VPC 未打通 ip route get、查对等连接
ping 通,TCP 端口不通 安全组/系统防火墙没放行,或服务未监听 查安全组、ss -tlnp
发起方无回包,目标机抓到 SYN 无 SYN-ACK 目标系统防火墙拦截 查 firewalld/ufw/iptables
目标机完全抓不到 SYN 云安全组或路由拦截 查安全组入方向、路由表
能连但很慢 MTU、带宽限速、跨区延迟 查 MTU、带宽规格

六、常见故障与修复

按上面链条,常见故障和对应修复:

故障一:只绑了 127.0.0.1。 服务配置里监听地址是本地回环,内网连不上。改配置监听内网 IP 或 0.0.0.0,重启服务。

故障二:安全组没放行。 在控制台给目标机安全组加入方向规则,来源限定为发起方 IP 段或安全组。

故障三:系统防火墙拦截。 firewalld/ufw 加入放行规则,别直接 systemctl stop firewalld(临时验证可以,长期要配规则)。

故障四:跨 VPC 忘加路由。 建了对等连接但路由表没加对方网段,补上。

故障五:路由表不一致。 两台机器关联了不同路由表,导致一条路通另一条不通,检查并统一。

故障六:MTU 不匹配。 大包能发不能收、SSH 能连但传大文件卡死,可能是 MTU 问题。云内网常用 MTU 1500(物理)/1450 或更小(VXLAN 封装)。

# 查看网卡 MTU
ip link show eth0 | grep mtu

# 测试路径 MTU(发大包不分片)
ping -M do -s 1472 -c 2 <目标IP>   # 1472+28=1500
# 逐渐减小 -s 直到通,找到实际可用的 MTU

风险提示:改 MTU 可能影响连通性,先在单台测试机上验证,再批量实施,且要有回滚方式(改回原值)。

七、安全建议

内网互通也要讲最小权限,别把所有机器都放在一个大安全组里全放行。

  • 按层划分安全组:Web 层、应用层、数据层各一个安全组,数据层只接受应用层的访问。
  • 来源用安全组而非全面段:安全组互引(安全组 A 作为 B 的来源)比写死 IP 更灵活、更安全。
  • 数据库、缓存永远不暴露公网:只走内网,需要管理时通过跳板机。
  • 定期审查安全组规则,清理宽泛的 0.0.0.0/0 入方向规则。

常见问题

Q1:同 VPC 内默认就能互通吗?
网络层默认互通,但能否访问某个端口还取决于安全组、系统防火墙和服务监听,任何一环没放行都不通。

Q2:能 ping 通但连不上数据库端口?
说明网络可达,问题在端口放行或服务监听。查目标机安全组是否放行 3306、系统防火墙是否放行、ss -tlnp 确认服务监听地址不是 127.0.0.1。

Q3:跨 VPC 一定要配对等连接吗?
是的,不同 VPC 默认隔离。除非通过云联网或 VPN/专线打通,否则配不上互访。

Q4:怎么快速判断是安全组还是系统防火墙问题?
在目标机 tcpdump 抓包:抓到 SYN 却无 SYN-ACK,多是本机系统防火墙;完全抓不到 SYN,多是云安全组或路由。这样能一次定位。

Q5:内网互通要额外花钱吗?
同可用区内网流量通常免费且带宽高。跨可用区、跨地域的流量可能收费,做大数据同步前先了解计费规则。

总结

  • 内网故障排查记链条:路由可达 → 云安全组放行 → 网络 ACL 放行 → 系统防火墙放行 → 服务监听正确,任何一环缺失都会"不通"。
  • 同 VPC 内默认互通,通常只需放行安全组和系统防火墙;跨 VPC 要用对等连接,且必须手动在两端路由表加对方网段,网段不能重叠。
  • 高频坑是服务只绑了 127.0.0.1:改 MySQL bind-address、Redis bind 等监听内网地址,才能被其他机器访问。
  • 验证用组合拳:ping 测网络 → nc -vz 测端口 → ss -tlnp 看监听 → tcpdump 抓包,抓包能一次区分"路由不通"还是"安全规则拦截"。
  • 安全上按层划安全组、来源优先用安全组引用、数据库缓存不暴露公网,把"互通"控制在最小必要范围内。