备份做久了,磁盘总会被填满:每天一份全量、日志和备份一起长大、重复数据一遍遍被存下来。等到 df -h 显示剩余空间告急,人才开始慌。备份占用过大不只是"花钱买盘"的问题,它还会拖慢备份速度、增加恢复时的检索成本,甚至因为空间不足导致备份失败产生截断文件。
本文从三个方向解决问题:压缩(把单份备份变小)、去重(消除备份之间的重复)、生命周期管理(让旧备份自动过期)。会给出 zstd、restic、rsync 硬链接快照等实际命令,以及量级参考,帮助你把备份空间压到可控范围。命令可按发行版区分执行,涉及删除、覆盖、清理的操作都会给风险和回滚说明。
一条重要前提:在压空间之前,先确认你要保留的数据一个都不能少。清理(删旧备份)是最后手段,且有不可逆风险;压缩和去重是可以先做、收益也最大的手段。顺序应该是"先压、再去重、最后才谈精简保留"。
先算清楚空间被谁占了
动手之前先做"空间体检",否则容易优化错方向。常用命令:
# 看各分区剩余
df -h
# 看备份目录里谁最大,按人类可读排序
du -sh /backup/* | sort -h | tail -20
# 看目录内文件数量与总量
find /backup -type f | wc -l
几个常见结论:如果单份备份就很大,说明压缩不足或包含了不该备份的数据(缓存、日志、临时文件、已压缩的媒体文件);如果备份份数多但单份不大,说明保留策略太宽松,需要做生命周期管理;如果多份之间高度相似,说明适合去重或硬链接增量。先量出"大头在哪",再选手段。
手段一:选对压缩算法
压缩是性价比最高的第一步。tar 支持 gzip/bzip2/xz/zstd,数据库备份也常接压缩管道。回顾一下取舍(压缩比为经验值,文本类可达 5~10 倍):
| 算法 | 参数 | 压缩比 | 速度 | 适用 |
|---|---|---|---|---|
| gzip -6 | -z |
中 | 快 | 通用默认 |
| xz -9 | -J |
高 | 很慢 | 归档、一次性 |
| zstd -19 | --zstd |
高 | 快 | 大库、兼顾速度 |
一个常被忽略的点:先判断数据是否本来就不可压。图片、视频、已 gzip 的日志再压缩几乎没有收益,还浪费 CPU。可以先抽样测试:
# 抽样估算压缩比,避免盲目全量压
head -c 500M /backup/raw/bigfile | gzip -6 | wc -c
head -c 500M /backup/raw/bigfile | zstd -19 | wc -c
zstd 特别适合备份场景:多线程(-T0 用满 CPU 核)、解压快(恢复时更快),在高压缩级别下速度仍远优于 xz。安装按发行版区分:
# RHEL/CentOS/Rocky(8+ 通常自带,缺了再装)
dnf install -y zstd
# Debian/Ubuntu
apt install -y zstd
用 zstd 替换默认压缩:
# 打包 + zstd 高压缩
tar -cf - -C / data | zstd -T0 -19 -o /backup/data-$(date +%F).tar.zst
# 恢复
zstd -dc /backup/data-2027-01-01.tar.zst | tar -xf - -C /tmp/restore
如果压缩后仍然大,八成是数据本身不可压或者备份内容包含了不该备份的东西,回到"体检"一步排查。
手段二:去重与硬链接增量
去重消除的是"备份之间重复的部分"。对文件级备份,最实用的做法是 rsync 的硬链接快照:未变化的文件在新快照里只是指向旧文件的硬链接,不占额外空间,但每个快照看起来都是完整的。
# 首次全量
rsync -aHAX --delete /data/ /backup/snapshots/current/
# 之后的每日快照,用 --link-dest 复用未变化文件
rsync -aHAX --delete --link-dest=/backup/snapshots/current/ \
/data/ /backup/snapshots/$(date +%F)/
这种方式下,十份几乎相同的快照占用空间接近"一份 + 每次变化量",而不是"十份"。它对文件和目录结构友好,恢复时直接浏览目录即可。
对块级或需要跨文件去重的场景,可以用 restic、borgbackup 这类支持内容定义的备份工具。restic 会把数据切块、只存唯一块,天然去重,且支持加密和多种后端。
# 安装(RHEL/CentOS/Rocky 通过 dnf,Debian/Ubuntu 通过 apt,版本不同可能需从官方仓库安装)
dnf install -y restic # 或 apt install -y restic
# 初始化仓库(本地或对象存储均可)
restic -r /backup/restic-repo init
# 备份目录
restic -r /backup/restic-repo backup /data --exclude /data/cache
# 查看仓库占用与快照
restic -r /backup/restic-repo stats
restic -r /backup/restic-repo snapshots
restic 的第一次备份是"全量"(存所有唯一块),之后的备份只存变化块,跨快照自动去重。它的仓库需要周期性地 prune 清理不再引用的数据块,否则空间不会自动回收:
# 应用保留策略并清理无用数据(此步会修改仓库,属需谨慎操作)
restic -r /backup/restic-repo forget --keep-daily 7 --keep-weekly 4 --keep-monthly 6 --prune
风险提示:forget --prune 会真实删除快照与数据块且不可逆。执行前先用 restic snapshots 确认保留范围,用 --dry-run 预览 forget 会删哪些快照。回滚方式基本没有——删掉的数据块无法找回,因此务必先保证异地另有一份。
手段三:生命周期管理
生命周期管理解决的是"旧备份该何时消失"。常见的是 GFS(祖父-父-子)保留策略加自动清理。下表给出一个参考(份数为经验值,按合规与数据量调整):
| 保留层级 | 频率 | 参考份数 | 说明 |
|---|---|---|---|
| 日备份 | 每天 | 7 | 覆盖一周内的误删 |
| 周备份 | 每周 | 4 | 覆盖月度回溯 |
| 月备份 | 每月 | 6 | 合规与长期 |
| 年备份 | 每年 | 3 | 归档 |
清理一律先预览:
# 预览将过期的日备份
find /backup/snapshots -maxdepth 1 -name 'data-*-daily-*' -mtime +7 -print
# 确认命中范围后删除
find /backup/snapshots -maxdepth 1 -name 'data-*-daily-*' -mtime +7 -delete
风险提示:-delete 会永久删除文件,-maxdepth 和路径必须写准。建议把日/周/月备份放在不同子目录,避免一条 find 误删周/月基线。也可以用 restic 的 forget --keep-* 来统一管理,比自写 find 更不容易误伤。
对对象存储,还可以用"生命周期规则"让云端自动把旧版本转到低频存储或过期删除,具体能力请以主流云厂商的说明为准。
优化组合怎么排
推荐按下面的顺序推进,收益大、风险低:
- 先体检:
du、df找出大头,排除缓存/日志/媒体等不该备份的内容。 - 改压缩:把 gzip 换成 zstd 高压缩级别,通常能省一大截空间且不太影响速度。
- 上硬链接快照或 restic:让多份备份之间共享数据,空间从"乘以份数"变成"加变化量"。
- 收紧保留策略:明确日/周/月/年保留份数,自动清理过期版本。
- 异地存储分层:把久远的备份放到低频/归档存储,进一步降低成本。
量级参考:一个文本类数据集,gzip 约省 70%、zstd -19 约省 75%~80%;若多份备份相似度高,硬链接快照可让十份备份的总占用接近一份半到两份;restic 跨快照去重对变化小的数据集尤其明显。这些均为经验值,务必以实际数据实测。
监控备份增长,防止"再次爆盘"
空间优化不是一次性动作,数据在长,策略要跟着调。建议把"备份目录占用"和"分区剩余空间"纳入监控,设置两级阈值:剩余空间低于 20% 时预警、低于 10% 时告警并暂停非关键备份,避免写满导致业务和备份一起失败。
# 简易空间检查,放进备份脚本开头
BK=/backup
PCT=$(df --output=pcent "$BK" | tail -1 | tr -d ' %')
if [ "$PCT" -ge 90 ]; then
echo "[WARN] 备份分区已用 ${PCT}%,请检查保留策略" >&2
# 这里可触发告警;必要时 exit 1 暂停本次备份
fi
# 记录每日备份总量,便于观察增长趋势
du -sm "$BK" | awk '{print strftime("%F"), $1"MB"}' >> /var/log/backup_size.log
有了增长趋势,就能提前判断是"数据本身在长"还是"保留策略太松"。前者需要扩容或分层,后者只需收紧过期规则。把这项监控和恢复演练一起纳入例行运维,空间问题才不会反复出现。
常见问题
Q1:压缩级别开满会不会影响备份窗口?
会。级别越高 CPU 和耗时越大,且收益递减。大库建议 zstd 中高等级配合多线程,而不是无脑 xz -9。
Q2:去重能替代备份保留吗?
不能。去重让多份备份共享数据,但逻辑上仍是多份,故障隔离和恢复验证不能省。
Q3:restic 仓库占用降不下来?
需要定期 forget --prune。只 forget 不 prune,数据块不会释放。
Q4:硬链接快照删掉一份会影响其它吗?
只删一个快照不影响其它,因为数据块还有其它硬链接指向。但用会跟随硬链接的删除工具时要小心。
Q5:对象存储越存越贵怎么办?
用生命周期规则把旧版本转低频或归档存储,并设置过期删除,别让早期误配置的全量备份长期占标准存储。
总结
- 优化顺序是"先体检、再压缩、再去重、最后谈保留",删数据风险最高,应放在最后。
- 压缩换用 zstd 是成本最低、收益明确的一步;先判断数据可否压缩,别对媒体文件做无用功。
- 硬链接快照和 restic 能从"份数线性增长"变成"只存变化量",是控制空间的核心手段。
- 用 GFS 保留策略做生命周期管理,清理前一律先预览命中范围,避免误删基线。
- 把冷数据分层到低频/归档存储进一步降本,同时保证任一层都做过恢复验证。
企业QQ咨询




