大文件如何在两台Linux服务器之间高速传输?rsync、SCP与并行传输对比

把几百 GB 甚至上 TB 的数据从一台服务器搬到另一台,是扩容、迁机房、备份、同步镜像时绕不开的活儿。很多人习惯性地敲 scp 大文件 root@新机:/data/,然后盯着进度条一看就是几个小时甚至一整天,中途网络抖一下还得从头再来。其实同样两台机器、同样的网络,换一个工具和方法,传输时间可能差好几倍,而且能断点续传、可校验。

这篇横向对比几种主流的服务器间传输方式:scp、rsync、tar 配合 netcat 的管道传输,以及 rclone、并行传输工具等加速方案,分别讲原理、适用场景和真实命令,再分析影响速度的关键因素(协议开销、磁盘 IO、网络窗口、加密 CPU 开销),最后给一套按数据规模选方案的决策思路。命令区分 RHEL/CentOS/Rocky 与 Debian/Ubuntu。

一个基本判断先给出来:单文件大、网络稳,rsync 带压缩和断点续传是首选;海量小文件,打包成归档再传能省掉大量元数据开销;跨公网高延迟链路,单流跑不满带宽时,并行传输的收益最大。 下面逐个展开。

一、传输方式总览

先把候选方案列出来,看看各自的特点。

工具/方式 传输机制 断点续传 增量 压缩 典型场景
scp SSH 单流拷贝 否 否 可开(-C) 小文件、临时单次拷贝
sftp SSH 单流交互 部分 否 否 交互式少量文件
rsync 自定义算法差分同步 是(--partial) 是 是(-z) 目录同步、大文件续传
tar + nc 打包后裸 TCP 管道 否 否 是(配 pigz) 内网大批量、追求极限速度
rclone 多线程/分块 是 是 视后端 跨云、对象存储、多线程
并行传输 多流分片 视工具 视工具 视工具 高延迟链路、单流跑不满

需要说明的是,scp 从 OpenSSH 9.0 起底层已改用 SFTP 协议实现,行为和性能与旧版 SFTP 更接近,但命令行用法不变。

二、scp:简单但不适合大文件

scp 的优势是简单直接,一条命令搞定,适合几 MB 到几百 MB 的临时拷贝。但它有两个硬伤:一是不能断点续传,传到 90% 断了要从头再来;二是单流传输,在高延迟链路上跑不满带宽。

# 基本用法
scp /data/big.img root@192.168.1.20:/data/

# 开启压缩(文本类文件有用,已压缩文件如 zip/视频反而浪费 CPU)
scp -C /data/big.sql root@192.168.1.20:/data/

# 指定非标准 SSH 端口(注意是大写 P)
scp -P 2222 /data/big.img root@192.168.1.20:/data/

# 限速,避免占满带宽影响业务(单位 Kbit/s,下面约 100Mbps)
scp -l 102400 /data/big.img root@192.168.1.20:/data/

对小文件,scp 完全够用;对上 GB 的大文件,建议换 rsync。

三、rsync:大文件传输的主力

rsync 不是简单的拷贝工具,它用自己的差分算法决定"传哪些、跳过哪些",支持断点续传、增量同步、压缩传输,是服务器间同步的默认选择。

# 硬件/软件安装
# RHEL/CentOS/Rocky
dnf install -y rsync
# Debian/Ubuntu
apt install -y rsync

# 基础同步:把本地 /data/ 同步到远端 /backup/data/
rsync -avz --progress /data/ root@192.168.1.20:/backup/data/

# 说明:
#   -a  归档模式,保留权限、属主、时间戳、软链接等
#   -v  显示详细过程
#   -z  传输时压缩(内网高带宽时可关掉,省 CPU)
#   --progress 显示进度

大文件续传的关键参数:

# 大文件传输推荐组合
rsync -av --partial --progress --inplace \
  /data/hugefile.tar root@192.168.1.20:/data/

#   --partial   保留未传完的临时文件,下次可续传
#   --inplace   直接写入目标文件而非临时文件,适合大文件续传
#   --append    仅追加新数据(目标文件是源文件的前缀时用)
#   --bwlimit=50m  限速 50MB/s,保护业务带宽

断网后续传,只要重新执行同样的命令即可:

# 第一次中断后,再跑一次同样的命令,会自动从断点继续
rsync -av --partial --progress --inplace \
  /data/hugefile.tar root@192.168.1.20:/data/

用公钥免密并指定端口:

rsync -avz -e 'ssh -p 2222 -i ~/.ssh/id_ed25519' \
  /data/ root@192.168.1.20:/backup/data/

检查完整性(rsync 默认按大小和时间判断,-c 按校验和,慢但更严格):

# 校验模式,逐文件比较校验和(大文件会明显变慢)
rsync -avc /data/ root@192.168.1.20:/backup/data/

四、tar + netcat:内网极限速度方案

如果要在一个可信内网里搬大量数据,追求的是"把网卡和磁盘跑到极限",tar 打包后用 netcat 直接走 TCP 管道是个经典方案。它没有 SSH 加密开销,也没有 rsync 的算法开销,速度通常最快。

# 接收端先监听(假设端口 9999)
nc -l -p 9999 | tar -xpf - -C /backup/data

# 发送端连接并把内容推过去
tar -cpf - /data | nc 192.168.1.20 9999

配合 pigz(多核并行 gzip)能显著加快压缩,适合文本类大数据:

# 发送端:用 pigz 多核压缩
tar -cpf - /data | pigz -p 4 | nc 192.168.1.20 9999
# 接收端:解压
nc -l -p 9999 | pigz -d | tar -xpf - -C /backup/data

也可以先用 tar 打包成单个归档文件再走 rsync,兼顾速度和断点续传:

# 打包(多核压缩),再 rsync 传输,把海量小文件变成一个大文件
tar -I 'pigz -p 4' -cpf /tmp/data.tar.gz /data
rsync -av --partial --progress /tmp/data.tar.gz root@192.168.1.20:/backup/

风险提示:nc 裸 TCP 传输没有任何加密和认证,数据和连接都不受保护,只能在物理隔离或严格可信的内网使用,绝不能跨公网。另外 tar -xpf - 会以归档内的路径写入文件,接收端要确保目标目录安全、且不会覆盖系统关键路径。回滚方式:接收端解包前先确认目标目录为空或已备份,解包出错时清理目标目录(rm -rf 需极其谨慎,务必确认路径正确)后重来。

五、并行与加速传输

在跨公网、高延迟链路上,单个 TCP 流的吞吐受"带宽时延积"限制,即使带宽很大也跑不满。这时候并行多流能有效提速。

# rclone 支持多线程传输,也可用于对象存储
# 安装:见官网脚本或发行版仓库
rclone copy /data remote:backup --transfers 8 --checkers 8 --progress
#   --transfers 并行传输数

# 用多个 rsync 分片并行传一个大目录(按子目录并行)
for d in /data/*/; do
  rsync -a "$d" root@192.168.1.20:/backup/data/ &
done
wait

用 bbcp、lftp 的多连接模式等工具也能做多流传输,原理类似:把一份数据切成多个流,各流独立跑,合起来吃满带宽。经验上,跨公网高延迟链路(如跨国),串行单流可能只能用到带宽的一两成,并行 4 到 8 流往往能提升数倍。

不过并行有代价:会占用更多 CPU 和内存,对源/目标磁盘的并发 IO 压力更大,也可能被对端限速或触发安全告警。并行数不是越多越好,一般 4 到 8 路就能覆盖大部分场景的收益。

六、影响速度的关键因素

同样两台机器,速度差异可能来自这几个方面:

  • 协议开销:SSH 加密有 CPU 开销,现代 CPU 下通常不是瓶颈,但在弱 CPU 或极高带宽下会显现。裸 nc 无加密开销。
  • 磁盘 IO:源端读、目标端写的磁盘速度往往是真正的瓶颈,机械盘顺序读约几百 MB/s,SSD 更高。
  • 网络带宽与延迟:带宽决定上限,延迟影响单流能跑多快,高延迟必须靠并行或多流。
  • 压缩取舍:文本、日志类数据压缩收益大;已压缩的图片、视频、压缩包再压几乎没收益,反而浪费 CPU。
  • 小文件数量:海量小文件时,元数据操作(打开、关闭、写属性)的开销远超数据传输,打包成归档能数量级地提升速度。
  • 加密算法:SSH 的加密算法选择会影响吞吐,AES-NI 硬件加速下 AES 系列通常很快。
# 传之前先摸清数据规模:文件数、总大小
find /data -type f | wc -l
du -sh /data

# 测一下原始网络吞吐(用 nc 或 iperf3),判断瓶颈在网络还是磁盘
# iperf3 服务端:iperf3 -s
# iperf3 客户端:iperf3 -c 192.168.1.20

先测网络极限带宽和磁盘读写速度,就知道"跑不快"到底卡在哪一层,避免瞎调参。

七、按规模选方案

综合上面的分析,给一套选择思路:

数据情况 推荐方案 理由
几十 MB 以内 scp 简单,够快
单个几 GB 大文件 rsync --partial --inplace 可续传、可校验
大目录,含少量变更 rsync -avz 增量,只传变化
海量小文件 tar 打包 + rsync 或 nc 减少元数据开销
内网可信、追求极限 tar + pigz + nc 无加密/算法开销
跨公网高延迟 rsync 或 rclone 并行多流 吃满带宽
定期同步备份 rsync + cron 增量、可脚本化
跨云/对象存储 rclone 多线程、多后端支持

定期同步的 cron 示例:

# 每天凌晨 2 点同步,日志留存
# 编辑 crontab:crontab -e
0 2 * * * /usr/bin/rsync -a --delete /data/ /backup/data/ >> /var/log/rsync.log 2>&1

风险提示:rsync 的 --delete 会删除目标端多余文件,用错会误删数据。首次同步前先用 -n(dry-run)预览会删什么,确认无误再去掉 -n。回滚方式:--delete 造成的数据丢失不可逆,重要目标端应保留上一版本快照或备份,不要只依赖单向同步。

八、安全与校验

传输完不是万事大吉,校验和数据安全同样重要。

# 传输完成后对比两端大小和文件数
du -sh /data
find /data -type f | wc -l
# 在目标端执行同样命令对比

# 关键文件做校验和比对
# 源端
sha256sum /data/bigfile.tar > /tmp/bigfile.sha256
# 目标端
sha256sum -c /tmp/bigfile.sha256

# 大文件快速比对(比较两端 MD5,代价低于全量校验读取)
# 两端分别运行:
md5sum /data/bigfile.tar

安全要点:

  • 优先用公钥认证的 SSH 通道,scp/rsync 默认走 SSH,天然加密。
  • 裸 nc 只在可信内网用,跨公网绝不使用。
  • 传输目录的权限要收好,避免过程中被第三方读取。
  • 大文件传输期间注意磁盘余量,目标盘写满会导致传输失败甚至数据不完整。
  • 中转归档文件(如 /tmp/data.tar.gz)用完及时清理,避免占用磁盘和泄露数据。

常见问题

Q:rsync 传大文件,中途断了能续传吗?
能,但要用对参数。加 --partial 保留未完成的临时文件,或加 --inplace 直接写目标文件,重新执行同一条命令就能从断点继续。不加这两个参数,默认会重新传。

Q:为什么 rsync 传输速度比 scp 慢?
常见原因是开了 -z 压缩但数据本身已压缩(如视频、zip),压缩白耗 CPU。内网高带宽时把 -z 去掉反而更快。另外 -c 校验模式会逐文件算校验和,也会拖慢速度。

Q:海量小文件传得特别慢,怎么办。
小文件的瓶颈是元数据操作而非带宽。先在源端 tar 打包成一个归档文件再传,能显著提速;传完在目标端解包。配合 pigz 多核压缩效果更好。

Q:跨公网传几百 GB,单条命令跑了很久跑不满带宽。
高延迟链路单流受限,改用并行传输:rsync 按子目录多路并行,或用 rclone 的多线程模式。并行数 4 到 8 路通常收益最大,再高边际递减且增加对端压力。

Q:传输完成后怎么确认数据没损坏。
先对比两端文件数和总大小,关键文件做 sha256sum 校验和比对。用 rsync -avc 做一次校验模式的同步也能发现差异,但它会读取全部内容,大文件场景较慢。

总结

选传输方式先看数据特征:小文件用 scp 图简单,大单文件用 rsync --partial --inplace 保续传,海量小文件先 tar 打包再传,内网求极限用 tar+pigz+nc,跨公网高延迟靠并行多流。

rsync 是服务器间同步的主力,-a 保属性、-z 压缩(已压缩数据别开)、--partial/--inplace 断点续传、-e 'ssh -p 端口' 指定通道;--delete 危险,用前务必 -n 预览。

速度瓶颈通常在磁盘 IO、网络延迟和小文件元数据开销,而不是工具本身;动手前先用 du/find 摸清数据规模,用 iperf3 测网络极限,定位瓶颈再优化。

裸 nc 无加密无认证,只能用于可信内网,跨公网必须走 SSH;传输前确认目标盘余量,传输后对比大小、文件数并用 sha256sum 校验关键文件。

定期同步用 rsync 加 cron,单向同步务必保留快照或备份作为回滚手段,重要数据不能只有一份。