Minio数据迁移OSS

最新推荐文章于 2026-07-01 16:53:24 发布

原创最新推荐文章于 2026-07-01 16:53:24 发布 · 946 阅读

6 ·

本内容遵循CC 4.0 BY-SA版权协议

GEO检测

一、工具说明

rclone官方网站：https://rclone.org

Rclone（Remote Clone）是一款功能强大的开源命令行工具，专门用于管理、同步和迁移云端/本地存储的文件。它支持超过70种存储服务（如Google Drive、S3、Dropbox等），被誉为“云存储的瑞士军刀”。

二、安装 rclone

Debian/Ubuntu

sudo apt-get update
sudo apt-get install -y rclone

CentOS/RHEL

sudo yum install -y epel-release
sudo yum install -y rclone

如果系统源里没有 rclone，可用官方脚本：

curl https://rclone.org/install.sh | sudo bash

三、配置Minio和OSS两个remote

执行：

rclone config

A. 配 MinIO（S3）

按提示选：

n 新建
name：比如 minio
Storage：选 s3
provider：选 Minio
env_auth：false
access_key_id / secret_access_key：填你的 MinIO AK/SK
region：随便填个（如 us-east-1）
endpoint：填你的 MinIO 地址
例如：http://127.0.0.1:9000 或 https://minio.yourdomain.com
location_constraint：回车默认
acl：private（一般）
其他保持默认

B. 配 OSS（推荐用 alibabaoss 后端）

继续 n 新建：

name：比如 oss
Storage：如果列表里有 alibabaoss / Alibaba Cloud OSS 就选它
endpoint：例如 oss-cn-hangzhou.aliyuncs.com（按你 bucket 所在地域）
access_key_id / secret_access_key：填 OSS 的 AK/SK
其他默认

如果你的 rclone 版本里 没有 alibabaoss，那就升级 rclone（用官方安装脚本通常就有），或者用“OSS 的 S3 兼容”方式（也能做，但更容易碰兼容细节问题）。

四、验证连接是否正常

看 remote 是否存在

rclone listremotes

列出 MinIO 的 bucket

rclone lsd minio:

列出 OSS 的 bucket

rclone lsd oss:

五、迁移（先 dry-run 预演，再正式跑）

假设要把 your-bucket 从 MinIO 搬到 OSS 的同名 bucket（没有的话先在 OSS 控制台建好）：

5.1 预演（不真正拷贝）

rclone sync minio:your-bucket oss:your-bucket --dry-run -P

4.2 正式迁移（镜像：源删了目标也删）

rclone sync minio:your-bucket oss:your-bucket -P \
  --transfers 32 --checkers 64 \
  --retries 10 --low-level-retries 20 \
  --stats 30s

只拷贝不删除（更安全）

rclone copy minio:your-bucket oss:your-bucket -P \
  --transfers 32 --checkers 64 \
  --retries 10 --low-level-retries 20 \
  --stats 30s

建议第一次用 copy，确认没问题后再考虑 sync。

5) 迁移完成后做一致性校验（强烈建议）

rclone check minio:your-bucket oss:your-bucket --one-way -P

6) 生产常用：带日志、可重复跑（断点/增量）

mkdir -p /var/log/rclone

rclone copy minio:your-bucket oss:your-bucket -P \
  --transfers 32 --checkers 64 \
  --retries 10 --low-level-retries 20 \
  --stats 30s \
  --log-file /var/log/rclone/minio_to_oss.log \
  --log-level INFO

7) 增量迁移的标准流程（不停机尽量安全）

第一次全量：rclone copy ...
业务继续写入一段时间
第二次增量：再跑一次 rclone copy ...（只补差）
需要“最终一致”：短暂停写/切流
最后跑 rclone sync ... 或再 copy + check

常见报错快速处理

403/AccessDenied：OSS AK/SK 权限不足（PutObject、ListBucket、MultipartUpload 等）
endpoint 不对：MinIO 要带端口；OSS 要用对应地域的 endpoint
速度慢：逐步调大 --transfers，但别一口气太大（先 8/16，再 32）
对象很多（小文件海量）：--checkers 可以更高；也可加 --fast-list（内存会更高）

rclone copy ... --fast-list

标签

#运维 #linux #centos