把几百 GB 甚至上 TB 的数据从一台服务器搬到另一台,是扩容、迁机房、备份、同步镜像时绕不开的活儿。很多人习惯性地敲 scp 大文件 root@新机:/data/,然后盯着进度条一看就是几个小时甚至一整天,中途网络抖一下还得从头再来。其实同样两台机器、同样的网络,换一个工具和方法,传输时间可能差好几倍,而且能断点续传、可校验。
这篇横向对比几种主流的服务器间传输方式:scp、rsync、tar 配合 netcat 的管道传输,以及 rclone、并行传输工具等加速方案,分别讲原理、适用场景和真实命令,再分析影响速度的关键因素(协议开销、磁盘 IO、网络窗口、加密 CPU 开销),最后给一套按数据规模选方案的决策思路。命令区分 RHEL/CentOS/Rocky 与 Debian/Ubuntu。
一个基本判断先给出来:单文件大、网络稳,rsync 带压缩和断点续传是首选;海量小文件,打包成归档再传能省掉大量元数据开销;跨公网高延迟链路,单流跑不满带宽时,并行传输的收益最大。 下面逐个展开。
一、传输方式总览
先把候选方案列出来,看看各自的特点。
| 工具/方式 | 传输机制 | 断点续传 | 增量 | 压缩 | 典型场景 |
|---|---|---|---|---|---|
scp |
SSH 单流拷贝 | 否 | 否 | 可开(-C) | 小文件、临时单次拷贝 |
sftp |
SSH 单流交互 | 部分 | 否 | 否 | 交互式少量文件 |
rsync |
自定义算法差分同步 | 是(--partial) |
是 | 是(-z) |
目录同步、大文件续传 |
tar + nc |
打包后裸 TCP 管道 | 否 | 否 | 是(配 pigz) |
内网大批量、追求极限速度 |
rclone |
多线程/分块 | 是 | 是 | 视后端 | 跨云、对象存储、多线程 |
| 并行传输 | 多流分片 | 视工具 | 视工具 | 视工具 | 高延迟链路、单流跑不满 |
需要说明的是,scp 从 OpenSSH 9.0 起底层已改用 SFTP 协议实现,行为和性能与旧版 SFTP 更接近,但命令行用法不变。
二、scp:简单但不适合大文件
scp 的优势是简单直接,一条命令搞定,适合几 MB 到几百 MB 的临时拷贝。但它有两个硬伤:一是不能断点续传,传到 90% 断了要从头再来;二是单流传输,在高延迟链路上跑不满带宽。
# 基本用法
scp /data/big.img root@192.168.1.20:/data/
# 开启压缩(文本类文件有用,已压缩文件如 zip/视频反而浪费 CPU)
scp -C /data/big.sql root@192.168.1.20:/data/
# 指定非标准 SSH 端口(注意是大写 P)
scp -P 2222 /data/big.img root@192.168.1.20:/data/
# 限速,避免占满带宽影响业务(单位 Kbit/s,下面约 100Mbps)
scp -l 102400 /data/big.img root@192.168.1.20:/data/
对小文件,scp 完全够用;对上 GB 的大文件,建议换 rsync。
三、rsync:大文件传输的主力
rsync 不是简单的拷贝工具,它用自己的差分算法决定"传哪些、跳过哪些",支持断点续传、增量同步、压缩传输,是服务器间同步的默认选择。
# 硬件/软件安装
# RHEL/CentOS/Rocky
dnf install -y rsync
# Debian/Ubuntu
apt install -y rsync
# 基础同步:把本地 /data/ 同步到远端 /backup/data/
rsync -avz --progress /data/ root@192.168.1.20:/backup/data/
# 说明:
# -a 归档模式,保留权限、属主、时间戳、软链接等
# -v 显示详细过程
# -z 传输时压缩(内网高带宽时可关掉,省 CPU)
# --progress 显示进度
大文件续传的关键参数:
# 大文件传输推荐组合
rsync -av --partial --progress --inplace \
/data/hugefile.tar root@192.168.1.20:/data/
# --partial 保留未传完的临时文件,下次可续传
# --inplace 直接写入目标文件而非临时文件,适合大文件续传
# --append 仅追加新数据(目标文件是源文件的前缀时用)
# --bwlimit=50m 限速 50MB/s,保护业务带宽
断网后续传,只要重新执行同样的命令即可:
# 第一次中断后,再跑一次同样的命令,会自动从断点继续
rsync -av --partial --progress --inplace \
/data/hugefile.tar root@192.168.1.20:/data/
用公钥免密并指定端口:
rsync -avz -e 'ssh -p 2222 -i ~/.ssh/id_ed25519' \
/data/ root@192.168.1.20:/backup/data/
检查完整性(rsync 默认按大小和时间判断,-c 按校验和,慢但更严格):
# 校验模式,逐文件比较校验和(大文件会明显变慢)
rsync -avc /data/ root@192.168.1.20:/backup/data/
四、tar + netcat:内网极限速度方案
如果要在一个可信内网里搬大量数据,追求的是"把网卡和磁盘跑到极限",tar 打包后用 netcat 直接走 TCP 管道是个经典方案。它没有 SSH 加密开销,也没有 rsync 的算法开销,速度通常最快。
# 接收端先监听(假设端口 9999)
nc -l -p 9999 | tar -xpf - -C /backup/data
# 发送端连接并把内容推过去
tar -cpf - /data | nc 192.168.1.20 9999
配合 pigz(多核并行 gzip)能显著加快压缩,适合文本类大数据:
# 发送端:用 pigz 多核压缩
tar -cpf - /data | pigz -p 4 | nc 192.168.1.20 9999
# 接收端:解压
nc -l -p 9999 | pigz -d | tar -xpf - -C /backup/data
也可以先用 tar 打包成单个归档文件再走 rsync,兼顾速度和断点续传:
# 打包(多核压缩),再 rsync 传输,把海量小文件变成一个大文件
tar -I 'pigz -p 4' -cpf /tmp/data.tar.gz /data
rsync -av --partial --progress /tmp/data.tar.gz root@192.168.1.20:/backup/
风险提示:nc 裸 TCP 传输没有任何加密和认证,数据和连接都不受保护,只能在物理隔离或严格可信的内网使用,绝不能跨公网。另外 tar -xpf - 会以归档内的路径写入文件,接收端要确保目标目录安全、且不会覆盖系统关键路径。回滚方式:接收端解包前先确认目标目录为空或已备份,解包出错时清理目标目录(rm -rf 需极其谨慎,务必确认路径正确)后重来。
五、并行与加速传输
在跨公网、高延迟链路上,单个 TCP 流的吞吐受"带宽时延积"限制,即使带宽很大也跑不满。这时候并行多流能有效提速。
# rclone 支持多线程传输,也可用于对象存储
# 安装:见官网脚本或发行版仓库
rclone copy /data remote:backup --transfers 8 --checkers 8 --progress
# --transfers 并行传输数
# 用多个 rsync 分片并行传一个大目录(按子目录并行)
for d in /data/*/; do
rsync -a "$d" root@192.168.1.20:/backup/data/ &
done
wait
用 bbcp、lftp 的多连接模式等工具也能做多流传输,原理类似:把一份数据切成多个流,各流独立跑,合起来吃满带宽。经验上,跨公网高延迟链路(如跨国),串行单流可能只能用到带宽的一两成,并行 4 到 8 流往往能提升数倍。
不过并行有代价:会占用更多 CPU 和内存,对源/目标磁盘的并发 IO 压力更大,也可能被对端限速或触发安全告警。并行数不是越多越好,一般 4 到 8 路就能覆盖大部分场景的收益。
六、影响速度的关键因素
同样两台机器,速度差异可能来自这几个方面:
- 协议开销:SSH 加密有 CPU 开销,现代 CPU 下通常不是瓶颈,但在弱 CPU 或极高带宽下会显现。裸
nc无加密开销。 - 磁盘 IO:源端读、目标端写的磁盘速度往往是真正的瓶颈,机械盘顺序读约几百 MB/s,SSD 更高。
- 网络带宽与延迟:带宽决定上限,延迟影响单流能跑多快,高延迟必须靠并行或多流。
- 压缩取舍:文本、日志类数据压缩收益大;已压缩的图片、视频、压缩包再压几乎没收益,反而浪费 CPU。
- 小文件数量:海量小文件时,元数据操作(打开、关闭、写属性)的开销远超数据传输,打包成归档能数量级地提升速度。
- 加密算法:SSH 的加密算法选择会影响吞吐,AES-NI 硬件加速下 AES 系列通常很快。
# 传之前先摸清数据规模:文件数、总大小
find /data -type f | wc -l
du -sh /data
# 测一下原始网络吞吐(用 nc 或 iperf3),判断瓶颈在网络还是磁盘
# iperf3 服务端:iperf3 -s
# iperf3 客户端:iperf3 -c 192.168.1.20
先测网络极限带宽和磁盘读写速度,就知道"跑不快"到底卡在哪一层,避免瞎调参。
七、按规模选方案
综合上面的分析,给一套选择思路:
| 数据情况 | 推荐方案 | 理由 |
|---|---|---|
| 几十 MB 以内 | scp |
简单,够快 |
| 单个几 GB 大文件 | rsync --partial --inplace |
可续传、可校验 |
| 大目录,含少量变更 | rsync -avz |
增量,只传变化 |
| 海量小文件 | tar 打包 + rsync 或 nc |
减少元数据开销 |
| 内网可信、追求极限 | tar + pigz + nc |
无加密/算法开销 |
| 跨公网高延迟 | rsync 或 rclone 并行多流 |
吃满带宽 |
| 定期同步备份 | rsync + cron |
增量、可脚本化 |
| 跨云/对象存储 | rclone |
多线程、多后端支持 |
定期同步的 cron 示例:
# 每天凌晨 2 点同步,日志留存
# 编辑 crontab:crontab -e
0 2 * * * /usr/bin/rsync -a --delete /data/ /backup/data/ >> /var/log/rsync.log 2>&1
风险提示:rsync 的 --delete 会删除目标端多余文件,用错会误删数据。首次同步前先用 -n(dry-run)预览会删什么,确认无误再去掉 -n。回滚方式:--delete 造成的数据丢失不可逆,重要目标端应保留上一版本快照或备份,不要只依赖单向同步。
八、安全与校验
传输完不是万事大吉,校验和数据安全同样重要。
# 传输完成后对比两端大小和文件数
du -sh /data
find /data -type f | wc -l
# 在目标端执行同样命令对比
# 关键文件做校验和比对
# 源端
sha256sum /data/bigfile.tar > /tmp/bigfile.sha256
# 目标端
sha256sum -c /tmp/bigfile.sha256
# 大文件快速比对(比较两端 MD5,代价低于全量校验读取)
# 两端分别运行:
md5sum /data/bigfile.tar
安全要点:
- 优先用公钥认证的 SSH 通道,
scp/rsync默认走 SSH,天然加密。 - 裸
nc只在可信内网用,跨公网绝不使用。 - 传输目录的权限要收好,避免过程中被第三方读取。
- 大文件传输期间注意磁盘余量,目标盘写满会导致传输失败甚至数据不完整。
- 中转归档文件(如
/tmp/data.tar.gz)用完及时清理,避免占用磁盘和泄露数据。
常见问题
Q:rsync 传大文件,中途断了能续传吗?
能,但要用对参数。加 --partial 保留未完成的临时文件,或加 --inplace 直接写目标文件,重新执行同一条命令就能从断点继续。不加这两个参数,默认会重新传。
Q:为什么 rsync 传输速度比 scp 慢?
常见原因是开了 -z 压缩但数据本身已压缩(如视频、zip),压缩白耗 CPU。内网高带宽时把 -z 去掉反而更快。另外 -c 校验模式会逐文件算校验和,也会拖慢速度。
Q:海量小文件传得特别慢,怎么办。
小文件的瓶颈是元数据操作而非带宽。先在源端 tar 打包成一个归档文件再传,能显著提速;传完在目标端解包。配合 pigz 多核压缩效果更好。
Q:跨公网传几百 GB,单条命令跑了很久跑不满带宽。
高延迟链路单流受限,改用并行传输:rsync 按子目录多路并行,或用 rclone 的多线程模式。并行数 4 到 8 路通常收益最大,再高边际递减且增加对端压力。
Q:传输完成后怎么确认数据没损坏。
先对比两端文件数和总大小,关键文件做 sha256sum 校验和比对。用 rsync -avc 做一次校验模式的同步也能发现差异,但它会读取全部内容,大文件场景较慢。
总结
选传输方式先看数据特征:小文件用 scp 图简单,大单文件用 rsync --partial --inplace 保续传,海量小文件先 tar 打包再传,内网求极限用 tar+pigz+nc,跨公网高延迟靠并行多流。
rsync 是服务器间同步的主力,-a 保属性、-z 压缩(已压缩数据别开)、--partial/--inplace 断点续传、-e 'ssh -p 端口' 指定通道;--delete 危险,用前务必 -n 预览。
速度瓶颈通常在磁盘 IO、网络延迟和小文件元数据开销,而不是工具本身;动手前先用 du/find 摸清数据规模,用 iperf3 测网络极限,定位瓶颈再优化。
裸 nc 无加密无认证,只能用于可信内网,跨公网必须走 SSH;传输前确认目标盘余量,传输后对比大小、文件数并用 sha256sum 校验关键文件。
定期同步用 rsync 加 cron,单向同步务必保留快照或备份作为回滚手段,重要数据不能只有一份。
企业QQ咨询




