使用者痛点

在面对 TB 级目录同步时您可能会遇到：

• 长达数小时的同步过程被意外中断，导致大量已传输的数据被废弃。
• 每次重新执行 rsync 时都从头开始，耗费宝贵的时间与网络资源。
• 网络波动或 SSH 超时让整个任务陷入死循环，无法完成。
• 缺乏可视化反馈，无法快速定位是哪一步骤导致失败。

问题现象

使用 rsync 同步 TB 级目录，命令如下：

rsync -avz --delete --size-only --bwlimit=30M -e "ssh -p " /src/ user@remote:/dest/

同步数小时后随机中断。报错：

rsync error: received SIGINT,SIGTERM,or SIGHUP rsync: write error: Broken pipe 

重新运行又从头开始，反复失败，永远无法完成。

原因分析

rsync 默认不保留部分传输的文件。一旦连接中断，未完成的文件会丢失，下次同步需重新传输该文件。话说回来，若大文件中断多次或扫描阶段因小文件过多导致空闲超时整个任务将陷入死循环。

再看根本原因，未启用断点续传且 SSH 保活不足。

方法

通过同时调整 rsync 参数与 SSH 保活，让同步过程具备完整的断点续传能力。并避免空闲超时导致的连接丢失：

rsync -avz --delete --size-only \
--partial --partial-dir=.rsync-partial \
--bwlimit=30M \
-e "ssh -p " \
-o ServerAliveInterval=60 \
-o ServerAliveCountMax=5 \
/src/ user@remote:/dest/

• --partial: 保留已传输的文件片段，中断后下次可继续。
• --partial-dir=.rsync-partial: 指定临时目录存放碎片，避免与完整文件混淆。
• -o ServerAliveInterval=60: 每 60 秒向服务器发送一次心跳包。
• -o ServerAliveCountMax=5: 如果连续 5 次心跳无响应则关闭连接；怎么说呢，此阈值可根据网络质量自行调整。
• --bwlimit=30M: 限速防止业务带宽被占满。
• --size-only: 只比较文件大小，加快增量扫描速度。话说回来，

>>-o ServerAliveCountMax=5style=“text-align:left”>>保活次数上限为 5 次；超过则主动关闭连接， “text-align:left”>>--bwlimit=30M``。限速至 30 MB/s，以免占用业务带宽。老实说， >>--size-only`。只比对大小，加速增量扫描。

注所有参数均可根据实际环境进行微调。

附加脚本示例

REMOTE_IP=""
SSH_PORT=""
REMOTE_BASE="/remote-backup-dir"
SOURCE_DIRS=(
"/minio/source-dir1"
"/minio/source-dir2"
"/minio/source-dir3"
)
echo "========== 开始批量目录同步 =========="
for src_dir in "${SOURCE_DIRS}";do
# 提取目录名，并拼接远端目标方法
dir_name=$
dest_dir="${REMOTE_IP}:${REMOTE_BASE}/${dir_name}/"
echo -e "
从正在同步来看。${src_dir}/ --> ${dest_dir}"
rsync -avz --delete --size-only \
--partial --partial-dir=.rsync-partial \
--bwlimit=30M \
-e "ssh -p ${SSH_PORT} \
-o ServerAliveInterval=60 \
-o ServerAliveCountMax=5" \
"${src_dir}/" "${dest_dir}"
if;不过，n
echo "✅ ${src_dir} 同步完成"
else
echo "❌ ${src_dir} 同步失败"
fi


done

echo -e "
========== 全部同步任务结束 =========="


效果展示 & 小结 



中断后重新执行相同命令。rsync 自动从最近一次成功写入处继续，无需重复上传已完成的数据块；这大幅节省了时间和带宽，老实说，

SSh 保活参数确保长时间无数据流也能保持连接稳定。从而降低因网络波动导致的意外终止概率。

Bwlimit 限速功能使得备份不会抢占业务流量，即使在高峰期也能安全并行操作。不过，

Dry‑run 与日志输出可以进一步提高透明度。
让您实时监控进度并快速定位潜在问题。




✔️ 按上述方案配置后大数据量 rsync 同步将变得更可靠、更高效！✔️