网站数据库如何实现定时异地备份?自动传输与备份完整性检查

网站数据库是最不能丢的数据:订单、用户、文章都在里面。很多站长只在服务器上留了一份 .sql 导出文件,机器一挂就全没了;也有人做了备份,但备份文件是坏的或者根本没传出去,等于白做。本文讲一套完整的做法:定时导出数据库、压缩加密、自动传输到异地、校验完整性、清理旧文件,并给出可在 cron 里直接跑的脚本。

内容面向个人站长与中小企业 IT,默认场景是单机 MySQL/MariaDB 站点。全文按"导出 → 加密 → 传输 → 校验 → 清理"五步展开,命令真实可执行,涉及删除和覆盖的地方都会给风险提示。

核心原则只有一条:异地备份的最后一公里不是"传过去",而是"确认传过去的那份能用"。下面每一步都会围绕"可验证"来设计。

整体流程与关键指标

先把流程和指标定清楚,再写脚本。一次合格的异地备份包含:

  • 导出:用 mysqldump / mariadb-dump 生成一致性快照,建议 --single-transaction。
  • 压缩加密:gzip 压缩后再用 GPG 对称加密,避免明文数据落在云上。
  • 传输:用 rsync over SSH 或对象存储 CLI 送到异地。
  • 校验:源端与远端分别计算哈希并比对,不一致就告警。
  • 清理:按保留策略删除过期文件,先预览再删。

关键指标参考(经验值):RPO 通常设为 24 小时(每天一次),对订单类站点可缩短到 1~6 小时;一次几十 GB 内数据库的导出压缩约需数分钟到十几分钟;带宽方面,假设压缩后 5GB、上传 20Mbps(约 2.5MB/s),传输约需 30 分钟。请按实际压测调整。

第一步:一致性导出与压缩加密

导出要保证一致性,否则恢复出来的库可能对不上。InnoDB 表用 --single-transaction,同时导出存储过程和触发器:

#!/bin/bash
# /usr/local/bin/db_backup.sh  片段一:导出
set -euo pipefail
BK=/backup/mysql
mkdir -p "$BK"
D=$(date +%F_%H%M)
mkdir -p "/root/.backup_pass"   # 存放加密口令等敏感文件,权限 600

mysqldump --single-transaction --quick --routines --triggers --events \
    --set-gtid-purged=OFF --all-databases \
    | gzip -6 > "$BK/db-$D.sql.gz"

# 用 GPG 对称加密,口令从受保护的文件读取,避免出现在命令行历史里
gpg --batch --yes --passphrase-file /root/.backup_pass/db.key \
    --cipher-algo AES256 -c "$BK/db-$D.sql.gz"
rm -f "$BK/db-$D.sql.gz"    # 删除明文压缩包,只保留加密文件

风险提示:rm -f 删除明文包属于有意的安全动作,但请确保加密文件已经生成成功(ls -l 检查大小非零)后再删。加密口令文件权限务必设为 600 且不要放在 Web 目录下,丢失口令等于丢失备份。

第二步:自动传输到异地

传输方式有两种主流选择:自建异地服务器用 rsync over SSH,或者推送到对象存储。rsync 的优势是增量、断点续传,适合大文件;对象存储的优势是不用维护对端服务器,且有版本控制。

用 rsync 推到异地服务器:

# 片段二:传输(配合 SSH 免密)
# 生成密钥(若还没有),并把公钥放到异地服务器的 authorized_keys
ssh-keygen -t ed25519 -N '' -f /root/.ssh/backup_key
ssh-copy-id -i /root/.ssh/backup_key.pub backup@10.20.30.40

# 限速传输,避免占满业务带宽;--partial 支持断点续传
rsync -az --partial --bwlimit=4000 \
    -e "ssh -i /root/.ssh/backup_key -p 22" \
    "$BK/db-$D.sql.gz.gpg" backup@10.20.30.40:/backup/site-db/

推送到对象存储(以兼容 S3 的命令行为例,各大云厂商均提供类似工具):

# 片段二(备选):上传到对象存储,开启版本控制可防误删
aws s3 cp "$BK/db-$D.sql.gz.gpg" \
    s3://your-bucket/site-db/db-$D.sql.gz.gpg \
    --storage-class STANDARD_IA

将备份传到异地服务器或对象存储前,请确认对端账号是最小权限(只允许写入指定目录),避免被入侵后凭证可删除历史备份。

两种传输方式的取舍可以参考下表:

对比项 rsync over SSH 对象存储(S3 兼容)
对端要求 需自备一台异地服务器 无需自建,用云厂商的存储桶
传输特点 增量传输、支持断点续传 整文件上传,可开分片上传
版本与防误删 靠目录或文件名自行管理 可开启版本控制,防覆盖误删
限速能力 --bwlimit 可精确限速 依赖工具/SDK 参数限制
成本构成 异地服务器固定成本 按容量与请求次数计费
适用场景 数据量大、已有异地机器 不想维护对端、追求省心

实践中常见做法是两者并用:日常用 rsync 推到自建异地机,同时每周同步一份到对象存储做第三地副本,兼顾成本与冗余。

第三步:完整性检查

上传完成后,源端与远端都要校验,确认传输没有丢字节。做法是比对哈希值:

# 片段三:校验(以 rsync 到异地服务器为例)
LOCAL_SUM=$(sha256sum "$BK/db-$D.sql.gz.gpg" | awk '{print $1}')
REMOTE_SUM=$(ssh -i /root/.ssh/backup_key backup@10.20.30.40 \
    "sha256sum /backup/site-db/db-$D.sql.gz.gpg" | awk '{print $1}')

if [ "$LOCAL_SUM" != "$REMOTE_SUM" ]; then
    echo "[ERROR] 备份校验不一致:$D" >&2
    # 这里可以接入邮件/钉钉/企业微信告警
    exit 2
fi
echo "[OK] 备份 $D 校验通过"

对象存储方式则用 aws s3api head-object 读取 ETag 或对下载回来的文件重新算哈希:

# 下载回本地(或另一台机器)验证可解密、可解压
aws s3 cp s3://your-bucket/site-db/db-$D.sql.gz.gpg /tmp/verify/
gpg --batch --passphrase-file /root/.backup_pass/db.key \
    -d /tmp/verify/db-$D.sql.gz.gpg | gzip -t - && echo "可解密且压缩流完整"

这里用 gzip -t - 在管道里直接测试压缩流完整性,不解压到磁盘。只有"能解密 + 压缩流完整"才算真正验证过,光比对文件大小是不够的。

第四步:保留策略与清理

备份要定期清理,否则磁盘迟早被写满。用 GFS 思路保留最近 7 天日备份 + 4 周周备份 + 6 月月备份。清理前一律先预览:

# 片段四:清理(先 -print 预览)
find "$BK" -name 'db-*.sql.gz.gpg' -mtime +7 -print
# 确认命中范围无误后再删除;保持目录限定在 $BK 内
find "$BK" -name 'db-*.sql.gz.gpg' -mtime +7 -delete

风险提示:-delete 会真实删除异地或本地的备份,路径若写错可能误删其它数据。建议把清理动作放在独立的、经过测试的脚本里,并在删除前至少保留一份周备份。

完整脚本与定时

把四段拼成一个脚本,加入日志与失败告警:

#!/bin/bash
# /usr/local/bin/db_backup.sh  完整版
set -euo pipefail
BK=/backup/mysql
REMOTE="backup@10.20.30.40:/backup/site-db/"
KEY=/root/.ssh/backup_key
PW=/root/.backup_pass/db.key
KEEP=7
mkdir -p "$BK"
D=$(date +%F_%H%M)

# 1) 导出并压缩
mysqldump --single-transaction --quick --routines --triggers \
    --all-databases | gzip -6 > "$BK/db-$D.sql.gz"
# 2) 加密
gpg --batch --yes --passphrase-file "$PW" --cipher-algo AES256 -c "$BK/db-$D.sql.gz"
rm -f "$BK/db-$D.sql.gz"
# 3) 传输
rsync -az --partial --bwlimit=4000 -e "ssh -i $KEY" \
    "$BK/db-$D.sql.gz.gpg" "$REMOTE"
# 4) 校验
L=$(sha256sum "$BK/db-$D.sql.gz.gpg" | awk '{print $1}')
R=$(ssh -i "$KEY" "${REMOTE%%:*}" "sha256sum ${REMOTE#*:}db-$D.sql.gz.gpg" | awk '{print $1}')
[ "$L" = "$R" ] || { echo "[ERROR] 校验失败 $D"; exit 2; }
# 5) 清理
find "$BK" -name 'db-*.sql.gz.gpg' -mtime +$KEEP -delete
echo "[OK] $D 完成"

加入到 cron:

# 每天 03:00 执行
crontab -e
0 3 * * * /usr/local/bin/db_backup.sh >> /var/log/db_backup.log 2>&1

上线前请确认:SSH 免密可用、异地目录可写、口令文件权限为 600、脚本对失败会退出非 0。建议同时接入监控,脚本失败时能收到通知。

失败告警与日志排查

自动化备份最怕"悄悄失败":脚本报错但没人知道,直到某天需要恢复才发现最近几周都没备份成功。所以脚本必须能在失败时把消息发出去。

最简单的做法是让脚本在关键步骤失败时返回非 0 退出码,再由 cron 或监控系统捕获。也可以直接在脚本里接入邮件、企业微信或钉钉机器人:

# 片段五:失败告警(以调用 Webhook 为例,地址与格式以实际为准)
notify() {
    curl -s -X POST "https://your-webhook.example.com/notify" \
        -H "Content-Type: application/json" \
        -d "{\"msg\":\"$1\"}" >/dev/null
}

# 用 trap 捕获异常退出,统一告警
trap 'notify "[ERROR] 数据库异地备份失败,请检查 /var/log/db_backup.log"' ERR

# 成功时也发一条,形成"有心跳"的错觉反而不好,
# 建议只发失败告警,或对超过 36 小时没有成功记录也告警

排查失败时,按顺序看几个点:先看日志文件里最后的报错信息;再看磁盘是否写满(df -h);接着确认异地连通性(ssh 能否免密登录、对象存储凭据是否过期);最后确认 mysqldump 是否因权限或锁表超时失败。常见失败原因包括口令文件权限被改、SSH 密钥被轮换、异地目录被写满、数据库账号密码变更。

多库与多站点场景的扩展

一台服务器上跑多个站点、多个数据库时,备份脚本要避免"一把梭全备",否则单个库出问题会拖累整体。推荐按业务单元拆分,每个单元产出独立的备份文件与校验值,这样恢复时只取需要的那个,传输和校验也能并行。

# 片段:按库逐一备份,各自压缩加密并校验
for DB in site_a site_b forum; do
    mysqldump --single-transaction --quick "$DB" \
        | gzip -6 > "$BK/${DB}-$D.sql.gz"
    gpg --batch --yes --passphrase-file /root/.backup_pass/db.key \
        --cipher-algo AES256 -c "$BK/${DB}-$D.sql.gz"
    rm -f "$BK/${DB}-$D.sql.gz"
    sha256sum "$BK/${DB}-$D.sql.gz.gpg" >> "$BK/${DB}-$D.sha256"
done

分库备份的好处是单个库损坏时恢复范围可控,缺点是文件数量变多、校验逻辑要覆盖所有文件。可以用通配符统一校验:

# 一次性校验当天所有库的备份
sha256sum -c "$BK"/*-"$D".sha256

如果站点数量多、单库体积小,也可以保留"整实例全备 + 关键库单独备"双层策略:整备兜底、单库备便于快速恢复。对跨库有外键关联的系统,则要坚持整实例一致备份,避免恢复后外键对不上。选哪种取决于库之间是否有强关联,没有绝对答案。

恢复演练:验证备份真能用

按时产出备份只是及格,"能恢复"才是目标。建议每季度至少演练一次完整恢复:把最新备份从异地取回,解密、解压、导入测试实例,并核对关键表行数。

# 在你自己的测试机上演练(切勿在生产库上直接导入)
# 1) 取回最新备份
latest=$(ssh -i /root/.ssh/backup_key backup@10.20.30.40 \
    "ls -t /backup/site-db/db-*.gpg | head -1")
scp -i /root/.ssh/backup_key "backup@10.20.30.40:$latest" /tmp/

# 2) 解密并测试压缩流
f=$(basename "$latest")
gpg --batch --passphrase-file /root/.backup_pass/db.key -d "/tmp/$f" | gzip -t - \
    && echo "备份文件完好"

# 3) 导入测试实例
gpg --batch --passphrase-file /root/.backup_pass/db.key -d "/tmp/$f" \
    | gunzip | mysql -h 127.0.0.1 -P 3307 -u root -p

# 4) 抽查关键数据
mysql -h 127.0.0.1 -P 3307 -u root -p -e \
    "SELECT COUNT(*) AS users FROM site.users; SELECT COUNT(*) AS orders FROM site.orders;"

演练时记录两个数字:从"决定恢复"到"数据可用"的耗时(实测 RTO),以及最新备份时间点与故障点之间的差距(实测 RPO)。这两个数字才是容灾能力的真实体现,而不是纸面目标。

风险提示:演练中的导入步骤会写入目标库,务必确认目标是测试实例、端口与生产区分开(如上用 3307 而非 3306),避免误覆盖生产数据。回滚方式就是丢弃测试实例的数据后重新部署。

常见问题

Q1:为什么备份还要加密?
异地副本可能放在第三方存储上,明文数据库一旦泄露就是事故。用 GPG 对称加密成本很低,收益很大。

Q2:只比对文件大小行不行?
不行。大小相同不代表内容一致,必须比对哈希,并额外做一次"可解密、压缩流完整"测试。

Q3:备份频率怎么定?
看 RPO。普通站点每天一次足够,交易类站点建议每 1~6 小时一次,并配合 binlog 把恢复点精确到故障前。

Q4:rsync 和对象存储选哪个?
有异地服务器且数据量大选 rsync(增量快);不想维护对端选对象存储(省心、可版本化)。两者也可以同时用。

Q5:怎么确认异地那份真能恢复?
每季度把最新备份取回,解密、解压、导入测试实例并抽查数据。只做哈希校验不算恢复验证。

总结

  • 异地备份的标准流程是"导出 → 压缩加密 → 传输 → 校验 → 清理",缺一不可。
  • 用 --single-transaction 保证导出一致性,用 GPG 加密避免明文外泄。
  • 传输优先选 rsync 增量或对象存储,注意限速与最小权限,别让备份吃掉业务带宽。
  • 校验必须比对哈希并测试"可解密、压缩流完整",只比大小是自欺欺人。
  • 清理旧备份前先预览,定期做恢复演练,确保关键时刻备用副本真的可用。