s5cmd命令手册

S5cmd一个小文件上传对象利器 s5cmds5cmd是处理 S3 文件管理的一个高效工具,特别是在上传小文件和批量文件操作方面拥有巨大的优势。其简单易用的命令行界面、多线程并发支持、以及良好的跨平台兼容性使得它成为了对象存储操作中的一把利器。如果你正在寻找一个快速、高效的 S3 文件操作工具,特别是在上传小文件时,s5cmd是一个非常不错的选择。赶快试试吧! 阅读详情

目录

s5cmd

$ s5cmd ls --help

$ s5cmd cp --help

$ s5cmd rm --help

$ s5cmd mv --help

$ s5cmd mb --help

$ s5cmd rb --help

$ s5cmd select --help

$ s5cmd du --help

$ s5cmd cat --help

$ s5cmd pipe --help

$ s5cmd run --help

$ s5cmd sync --help

$ s5cmd version --help

$ s5cmd bucket-version --help

$ s5cmd presign --help


s5cmd

NAME: 

s5cmd - Blazing fast S3 and local filesystem execution tool

USAGE:

s5cmd [global options] command [command options] [arguments...]

COMMANDS:

ls 列出存储桶和对象

cp 复制对象

rm 移除对象

mv 移动/重命名对象

mb 创建桶

rb 移除桶

select 在对象上运行 SQL 查询

du 显示对象大小使用情况

cat 打印远程对象内容

pipe 从标准输入流向远程

run 批量运行命令

sync 同步对象

version 打印版本

bucket-version 配置存储桶版本控制

presign 打印远程对象预签名 URL

help, h Shows a list of commands or help for one command

GLOBAL OPTIONS:

--credentials-file value 使用指定的凭据文件而不是默认的凭据文件

--dry-run 假运行;展示将执行哪些命令而不实际执行它们(默认:false)

--endpoint-url value 为自定义服务覆盖默认的 S3 主机 [%S3_ENDPOINT_URL%]

--help, -h show help (default: false)

--install-completion 获取您的 shell(仅适用于 bash、pwsh 和 zsh)的完整安装说明(默认值:false)

--json 启用 JSON 格式输出(默认值:false)

--log value 日志级别:(跟踪、调试、信息、错误)(默认:信息)

--no-sign-request 不要签署请求:如果提供了--no-sign-request,则不会加载凭据(默认值:false)

--no-verify-ssl 禁用 SSL 证书验证(默认值:false)

--numworkers value 每个对象上执行操作的工人数(默认值:256)

--profile value 使用凭证文件中的指定配置文件

--request-payer value 谁为请求付费(访问请求者支付存储桶费用)

--retry-count value, -r value 请求因失败而重试的次数(默认:10 次)

--stat 收集程序执行的统计信息并在结束时显示(默认:false)

--use-list-objects-v1 对于不支持 ListObjectsV2 的服务使用 ListObjectsV1 API(默认:false)

$ s5cmd ls --help

Name:

ls - 列出存储桶和对象

Usage:

ls [options] argument

Options:

--etag, -e 在输出中显示实体标签(ETag)(默认值:false)

--humanize, -H 对象大小的人类可读输出(默认:false)

--storage-class, -s 显示对象类的全名(默认:false)

--exclude value 排除具有给定模式的对象(接受多个输入)

--all-versions 列出对象的所有版本(默认值:false)

--show-fullpath 仅显示对象的完整路径名称(默认值:false)

--help, -h 显示帮助(默认值:false)

Examples:

  1. 列出所有桶

    > s5cmd ls

2. 列出存储桶中的对象和前缀

> s5cmd ls s3://bucket/

3. 列出存储桶中的所有对象

> s5cmd ls "s3://bucket/*"

4. 列出与通配符匹配的所有对象

> s5cmd ls "s3://bucket/prefix/*/*.gz"

5. 列出公共存储桶中的所有对象

> s5cmd --no-sign-request ls "s3://bucket/*"

6. 列出桶中的所有对象,但排除前缀为 abc 的对象

> s5cmd ls --exclude "abc*" "s3://bucket/*"

7.列出请求者付费存储桶中的所有对象

> s5cmd --request-payer=requester ls "s3://bucket/*"

8. 列出桶中对象的所有版本

> s5cmd ls --all-versions s3://bucket/object

9.列出桶中以某个前缀开头的所有对象的所有版本

> s5cmd ls --all-versions "s3://bucket/prefix*"

10. 列出桶中所有对象的所有版本

> s5cmd ls --all-versions "s3://bucket/*"

11. 列出所有文件及其完整路径

> s5cmd ls --show-fullpath "s3://bucket/*"

$ s5cmd cp --help

Name:

cp -复制对象

Usage:

cp [options] source destination

Options:

--flatten, -f 从第一个通配符开始展平源目录结构(默认值:false)

--no-clobber, -n 如果目标已经存在则不覆盖(默认值:false)

--if-size-differ, -s 仅在大小不同时覆盖目标(默认值:false)

--if-source-newer, -u 仅当源修改时间更新时覆盖目标(默认:false)

--version-id value 使用对象的指定版本

--show-progress, --sp 显示进度条(默认值:false)

--no-follow-symlinks 不要跟随符号链接(默认值:false)

--storage-class value 为目标设置存储类('STANDARD','REDUCED_REDUNDANCY','GLACIER','STANDARD_IA','ONEZONE_IA','INTELLIGENT_TIERING','DEEP_ARCHIVE')

--concurrency value, -c value 主机和远程服务器之间同时传输的部件数量(默认值:5)

--part-size value, -p value 主机和远程服务器之间传输的每个部分的大小,以 MiB 为单位(默认值:50)

--metadata value 为对象设置任意元数据,例如 --metadata'foo=bar'--metadata'fizz=buzz'

--sse value 在数据的目的地执行服务器端加密,例如 aws:kms

--sse-kms-key-id value 用于 SSE-KMS 加密的客户主密钥 (CMK) ID;如果需要服务器端生成的密钥,则将其忽略

--acl value 为目标设置 ACL:在不同的账户/组上定义授予的访问权限及其类型,例如 cp --acl 'public-read'

--cache-control value 为目标设置缓存控制:为对象定义缓存控制标头,例如 cp --cache-control 'public, max-age=345600'

--expires value 设置目标的过期时间(使用 RFC3339 格式):为对象定义过期标头,例如 cp --expires '2024-10-01T20:30:00Z'

--force-glacier-transfer 强制转移冰川对象,无论它们是否已恢复(默认:false)

--ignore-glacier-warnings 关闭冰川警告:忽略在复制、下载和移动冰川对象时遇到的错误(默认值:false)

--source-region value 设置源存储桶的区域;如果未指定 --source-region,则会自动发现源存储桶的区域。

--destination-region value 设置目标存储桶的区域:如果未指定 --destination-region,将自动发现目标存储桶的区域

--exclude value 排除具有给定模式的对象(接受多个输入)

--include value 包含具有给定模式的对象(接受多个输入)

--raw 禁用通配符操作,对于包含通配符字符的文件名很有用(默认值:false)

--content-type value 为目标设置内容类型:为对象定义内容类型标头,例如 --content-type text/plain

--content-encoding value 设置目标的内容编码:为对象定义内容编码标头,例如 --content-encoding gzip

--content-disposition value 为目标设置内容配置:为对象定义内容配置标头,例如 --content-disposition 'attachment; filename="filename.jpg"'

--help, -h 显示帮助(默认:false)

Examples:

  1. 将 S3 对象下载到工作目录

> s5cmd cp s3://bucket/prefix/object.gz .

02.下载 S3 对象并重命名

> s5cmd cp s3://bucket/prefix/object.gz myobject.gz

03. 将所有 S3 对象下载到一个目录

> s5cmd cp "s3://bucket/*" target-directory/

04. 从公共存储桶下载 S3 对象

> s5cmd --no-sign-request cp s3://bucket/prefix/object.gz .

05. 将文件上传到 S3 存储桶

> s5cmd cp myfile.gz s3://bucket/

06. 将匹配文件上传到 S3 存储桶中

> s5cmd cp "dir/*.gz" s3://bucket/

07. 递归上传一个目录中的所有文件到 S3 存储桶

> s5cmd cp dir/ s3://bucket/

08. 将 S3 对象复制到另一个桶中

> s5cmd cp s3://bucket/object s3://target-bucket/prefix/object

09.将匹配的 S3 对象复制到另一个存储桶

> s5cmd cp "s3://bucket/*.gz" s3://target-bucket/prefix/

10. 如果在目标上未找到,则将目录中的文件复制到 S3 前缀

> s5cmd cp -n -s -u dir/ s3://bucket/target-prefix/

11. 如果在目标中未找到,则将 S3 前缀中的文件复制到另一个 S3 前缀。

> s5cmd cp -n -s -u "s3://bucket/source-prefix/*" s3://bucket/target-prefix/

12. 在目标位置对对象执行 KMS 服务器端加密

> s5cmd cp --sse aws:kms s3://bucket/object s3://target-bucket/prefix/object

13. 在目标位置使用客户管理的客户主密钥 (CMK) 密钥 ID 对对象进行 KMS-SSE 操作

> s5cmd cp --sse aws:kms --sse-kms-key-id <your-kms-key-id> s3://bucket/object s3://target-bucket/prefix/object

14.强制传输带有前缀的 GLACIER 对象,无论它们是否已恢复

> s5cmd cp --force-glacier-transfer "s3://bucket/prefix/*" target-directory/

15.将文件上传到具有 publicreads3 acl 的 S3 存储桶

> s5cmd cp --acl "public-read" myfile.gz s3://bucket/

16. 向 S3 存储桶上传带有过期标头的文件

> s5cmd cp --expires "2024-10-01T20:30:00Z" myfile.gz s3://bucket/

17. 将文件上传到带有缓存控制标头的 S3 存储桶

> s5cmd cp --cache-control "public, max-age=345600" myfile.gz s3://bucket/

18. 将所有文件复制到 S3 存储桶,但不包括扩展名为 txt 和 gz 的文件

> s5cmd cp --exclude "*.txt" --exclude "*.gz" dir/ s3://bucket

19. 将所有文件从 S3 桶复制到另一个 S3 桶,但排除以“log”开头的文件。

> s5cmd cp --exclude "log*" "s3://bucket/*" s3://destbucket

20. 将 S3 存储桶中的所有文件复制到另一个 S3 存储桶,但仅复制以“log”开头的文件。

> s5cmd cp --include "log*" "s3://bucket/*" s3://destbucket

21. 从请求方付费存储桶下载 S3 对象

> s5cmd --request-payer=requester cp s3://bucket/prefix/object.gz .

22. 将具有 content-type 和 content-encoding 标头的文件上传到 S3

> s5cmd --content-type "text/css" --content-encoding "br" myfile.css.br s3://bucket/

23. 将远程对象的特定版本下载到工作目录

> s5cmd cp --version-id VERSION_ID s3://bucket/prefix/object .

24. 在上传或复制时向对象传递任意元数据

> s5cmd cp --metadata "camera=Nixon D750" --metadata "imageSize=6032x4032" flowers.png s3://bucket/prefix/flowers.png

$ s5cmd rm --help

Name:

rm - remove objects

Usage:

rm argument [argument]

选项:

--raw 禁用通配符操作,对于包含通配符字符的文件名很有用(默认:false)

--exclude 值 排除具有给定模式的对象(接受多个输入)

--include 值 包含具有给定模式的对象(接受多个输入)

--all-versions 列出对象的所有版本(默认:false)

--version-id 值 使用对象的指定版本

--help, -h 显示帮助(默认:false)

Examples:

  1. 删除一个 S3 对象

    s5cmd rm s3://bucketname/prefix/object.gz

2. 删除所有具有前缀的对象

> s5cmd rm "s3://bucketname/prefix/*"

3. 删除匹配通配符的所有对象

> s5cmd rm "s3://bucketname/*/obj*.gz"

4. 删除所有匹配对象和特定对象

> s5cmd rm "s3://bucketname/prefix/*" s3://bucketname/object1.gz

5. 删除所有匹配的对象,但排除扩展名为.txt 或以下划线开头的对象。

> s5cmd rm --exclude "*.txt" --exclude "main*" "s3://bucketname/prefix/*"

6. 删除所有匹配的对象,但仅删除扩展名为.txt 或以“main”开头的对象。

> s5cmd rm --include "*.txt" --include "main*" "s3://bucketname/prefix/*"

7. 将远程对象特定版本的内容删除并输出到标准输出

> s5cmd rm --version-id VERSION_ID s3://bucket/prefix/object

8. 删除桶中对象的所有版本

> s5cmd rm --all-versions s3://bucket/object

9. 删除桶中以某个前缀开头的所有对象的所有版本

> s5cmd rm --all-versions "s3://bucket/prefix*"

10. 删除桶中所有对象的所有版本

> s5cmd rm --all-versions "s3://bucket/*"

$ s5cmd mv --help

Name:

mv - 移动/重命名对象

Usage:

mv [options] source destination

Options:

--flatten, -f 展平源目录结构,从第一个通配符开始(默认值:false)

--no-clobber, -n 如果目标已存在,则不要覆盖(默认值:false)

--if-size-differ, -s 仅在大小不同时覆盖目标(默认:false)

--if-source-newer, -u 仅当源文件的修改时间更新时覆盖目标文件(默认:false)

--version-id value 使用对象的指定版本

--show-progress, --sp 显示进度条(默认:false)

--no-follow-symlinks 不要跟随符号链接(默认值:false)

--storage-class value 为目标设置存储类('STANDARD','REDUCED_REDUNDANCY','GLACIER','STANDARD_IA','ONEZONE_IA','INTELLIGENT_TIERING','DEEP_ARCHIVE')

--concurrency value, -c value 主机和远程服务器之间并发传输的部件数量(默认:5)

--part-size value, -p value 在主机和远程服务器之间传输的每个部分的大小,单位为 MiB(默认值:50)

--metadata value 为对象设置任意元数据,例如--metadata'foo=bar'--metadata'fizz=buzz'

--sse value 在其目的地对数据执行服务器端加密,例如 aws:kms

--sse-kms-key-id value 用于 SSE-KMS 加密的客户主密钥 (CMK) ID;如果需要服务器端生成的密钥,请将其省略。

--acl value 为目标设置 ACL:定义不同账户/组的授予访问权限及其类型,例如 cp --acl 'public-read'

--cache-control value 设置目标的缓存控制:为对象定义缓存控制标头,例如 cp --cache-control 'public, max-age=345600'

--expires value 设置目标的过期时间(使用 RFC3339 格式):为对象定义过期标头,例如 cp --expires '2024-10-01T20:30:00Z'

--force-glacier-transfer 强制传输冰川对象,无论它们是否已恢复(默认:false)

--ignore-glacier-warnings 关闭冰川警告:忽略在复制、下载和移动冰川对象时遇到的错误(默认:false)

--source-region value 设置源存储桶的区域;如果未指定 --source-region,则将自动发现源存储桶的区域

--destination-region value 设置目标存储桶的区域:如果未指定 --destination-region,目标存储桶的区域将自动发现。

--exclude value 排除具有给定模式的对象(接受多个输入)

--include value 包含具有给定模式的对象(接受多个输入)

--raw 禁用通配符操作,对于包含通配符字符的文件名很有用(默认:false)

--content-type value 为目标设置内容类型:为对象定义内容类型标头,例如 --content-type text/plain

--content-encoding value 为目标设置内容编码:为对象定义内容编码标头,例如 --content-encoding gzip

--content-disposition value 设置目标的内容处置:为对象定义内容处置标头,例如:--content-disposition 'attachment; filename="filename.jpg"'

--help, -h show help (default: false)

Examples:

  1. 将 S3 对象移动到工作目录

    s5cmd mv s3://bucket/prefix/object.gz .

2. 移动 S3 对象并重命名

> s5cmd mv s3://bucket/prefix/object.gz myobject.gz

3. 将所有 S3 对象移动到一个目录中

> s5cmd mv "s3://bucket/*" target-directory/

4. 将文件移动到 S3 存储桶

> s5cmd mv myfile.gz s3://bucket/

5. 递归地将一个目录移动到 S3 存储桶中

> s5cmd mv dir/ s3://bucket/

6. 将所有文件移动到 S3 存储桶,但排除扩展名是 txt 和 gz 的文件。

> s5cmd mv --exclude "*.txt" --exclude "*.gz" dir/ s3://bucket

7. 将 S3 存储桶中的所有文件移动到另一个 S3 存储桶,但排除以“log”开头的文件。

> s5cmd mv --exclude "log*" "s3://bucket/*" s3://destbucket

$ s5cmd mb --help

Name:

mb - make bucket

Usage:

mb s3://bucketname

Options:

--help, -h show help (default: false)

Examples:

  1. Create a new S3 bucket

    s5cmd mb s3://bucketname

$ s5cmd rb --help

Name:

rb - remove bucket

Usage:

rb s3://bucketname

Options:

--help, -h show help (default: false)

Examples:

  1. 删除具有给定名称的 S3 存储桶

    s5cmd rb s3://bucketname

$ s5cmd select --help

NAME:

s5cmd select - run SQL queries on objects

USAGE:

s5cmd select command [command options] [arguments...]

COMMANDS:

csv run queries on csv files

json 在 JSON 文件上运行查询

parquet 在 parquet 文件上运行查询

help, h 显示命令列表或一个命令的帮助

OPTIONS:

--compression value 输入压缩格式(AWS 的选项:GZIP 或 BZIP2)

--query value, -e value 用于从对象中进行选择的 SQL 表达式

--output-format value 结果的输出格式(选项:json、csv)

--exclude value 排除给定模式的对象(接受多个输入)

--force-glacier-transfer 无论冰川对象是否已恢复,都强制转移(默认值:false)

--ignore-glacier-warnings 关闭冰川警告:忽略选择对象时遇到的错误(默认值:false)

--raw 禁用通配符操作,对于包含通配符的文件名很有用(默认值:false)

--all-versions 列出对象的所有版本(默认:false)

--version-id value 使用指定版本的对象

--help, -h show help (default: false)

$ s5cmd du --help

Name:

du - 显示对象大小使用情况

Usage:

du [options] argument

Options:

--group, -g 按存储类划分的组大小(默认值:false)

--humanize, -H 对象大小的人类可读输出(默认:false)

--exclude value 排除具有给定模式的对象(接受多个输入)

--all-versions 列出对象的所有版本(默认:false)

--version-id value 使用对象的指定版本

--help, -h show help (default: false)

Examples:

  1. 显示桶中所有对象的磁盘使用情况

    s5cmd du "s3://bucket/*"

2. 显示与通配符匹配的所有对象的磁盘使用情况,按存储类分组

> s5cmd du --group "s3://bucket/prefix/obj*.gz"

3. 显示存储桶中所有对象的磁盘使用情况,[但排除扩展名为.py](http://xn--siq5yv8ij9jj0h5wb9v6o.py) 或以 main 开头的对象。

> s5cmd du --exclude "*.py" --exclude "main*" "s3://bucket/*"

4. 显示桶中对象的所有版本的磁盘使用情况

> s5cmd du --all-versions s3://bucket/object

5. 显示桶中以指定前缀开头的所有对象的所有版本的磁盘使用情况

> s5cmd du --all-versions "s3://bucket/prefix*"

6. 显示桶中所有对象的所有版本的磁盘使用情况

> s5cmd du --all-versions "s3://bucket/*"

7. 显示桶中特定版本对象的磁盘使用情况

> s5cmd du --version-id VERSION_ID s3://bucket/object

$ s5cmd cat --help

Name:

cat - 打印远程对象内容

Usage:

cat [options] source

Options:

--raw 禁用通配符操作,对于包含通配符字符的文件名很有用(默认值:false)

--version-id value 使用对象的指定版本

--concurrency value, -c value 主机和远程服务器之间同时传输的部件数量(默认值:5)

--part-size value, -p value 主机和远程服务器之间传输的每个部分的大小,单位为 MiB(默认值:50)

--help, -h show help (default: false)

Examples:

  1. 将远程对象的内容打印到标准输出

    s5cmd cat s3://bucket/prefix/object

2. 将远程对象的特定版本的内容打印到标准输出

> s5cmd cat --version-id VERSION_ID s3://bucket/prefix/object

$ s5cmd pipe --help

Name:

pipe - 从标准输入流到远程

Usage:

pipe [options] destination

Options:

--storage-class value 为目标设置存储类别('STANDARD','REDUCED_REDUNDANCY','GLACIER','STANDARD_IA','ONEZONE_IA','INTELLIGENT_TIERING','DEEP_ARCHIVE')

--concurrency value, -c value 主机和远程服务器之间并发传输的部件数量(默认值:5)

--part-size value, -p value 主机和远程服务器之间传输的每个部分的大小,以 MiB 为单位(默认值:50)

--metadata value 为对象设置任意元数据

--sse value 在其目的地对数据执行服务器端加密,例如 aws:kms

--sse-kms-key-id value 用于 SSE-KMS 加密的客户主密钥 (CMK) ID;如果需要服务器端生成的密钥,则省略它。

--acl value 为目标设置 ACL:为不同的账户/组定义授予的访问权限及其类型,例如 pipe --acl 'public-read'

--cache-control value 设置目标的缓存控制:为对象定义缓存控制标头,例如 pipe --cache-control 'public, max-age=345600'

--expires value 设置目标的过期时间(使用 RFC3339 格式):为对象定义过期标头,例如 pipe --expires '2024-10-01T20:30:00Z'

--raw 禁用通配符操作,对于包含通配符字符的文件名很有用(默认:false)

--content-type value 为目标设置内容类型:为对象定义内容类型标头,例如 --content-type text/plain

--content-encoding value 为目标设置内容编码:为对象定义内容编码标头,例如 --content-encoding gzip

--content-disposition value 为目标设置内容处置:为对象定义内容处置标头,例如 --content-disposition 'attachment; filename="filename.jpg"'

--no-clobber, -n 如果目标已存在,则不覆盖(默认:false)

--help, -h show help (default: false)

Examples:

  1. 将标准输入流到一个对象

> echo "content" | gzip | s5cmd pipe s3://bucket/prefix/object.gz

02. 将任意元数据传递给一个对象

> cat "flowers.png" | gzip | s5cmd pipe --metadata "imageSize=6032x4032" s3://bucket/prefix/flowers.gz

03. 下载一个对象并将其流式传输到存储桶

> curl https://github.com/peak/s5cmd/ | s5cmd pipe s3://bucket/s5cmd.html

04. 压缩一个对象并将其流传输到存储桶

> tar -cf - file.bin | s5cmd pipe s3://bucket/file.bin.tar

$ s5cmd run --help

Name:

run - run 批处理命令

Usage:

run [file]

Options:

--help, -h show help (default: false)

Examples:

  1. 并行运行“commands.txt”文件中声明的命令

    s5cmd run commands.txt

2.从标准输入读取命令并并行执行。

> cat commands.txt | s5cmd run

$ s5cmd sync --help

Name:

sync - 同步对象

Usage:

sync [options] source destination

Options:

--delete 删除目标中但源中不存在的对象(默认值:false)

--size-only 将对象的大小作为决定是否应同步对象的唯一标准(默认:false)

--exit-on-error 如果收到错误则停止同步进程(默认:false)

--no-follow-symlinks 不遵循符号链接(默认:false)

--storage-class value 为目标设置存储类('STANDARD','REDUCED_REDUNDANCY','GLACIER','STANDARD_IA','ONEZONE_IA','INTELLIGENT_TIERING','DEEP_ARCHIVE')

--concurrency value, -c value 主机和远程服务器之间同时传输的部件数量(默认值:5)

--part-size value, -p value 主机和远程服务器之间传输的每个部分的大小,单位为 MiB(默认值:50)

--metadata value 为对象设置任意元数据,例如:--元数据'foo=bar'--元数据'fizz=buzz'

--sse value 在数据的目的地执行服务器端加密,例如:aws:kms

--sse-kms-key-id value 用于 SSE-KMS 加密的客户主密钥 (CMK) ID;如果需要服务器端生成的密钥,请省略它

--acl value 为目标设置 ACL:定义不同账户/组的授予访问权限及其类型,例如 cp --acl 'public-read'

--cache-control value 设置目标的缓存控制:为对象定义缓存控制标头,例如 cp --cache-control 'public, max-age=345600'

--expires value 为目标设置过期时间(使用 RFC3339 格式):为对象定义过期标头,例如 cp --expires '2024-10-01T20:30:00Z'

--force-glacier-transfer 强制转移冰川物体,无论它们是否已恢复(默认值:false)

--ignore-glacier-warnings 关闭冰川警告:忽略在复制、下载和移动冰川对象期间遇到的错误(默认值:false)

--source-region value 设置源桶的区域;如果未指定 --source-region,则会自动发现源桶的区域

--destination-region value 设置目标存储桶的区域:如果未指定 --destination-region,则会自动发现目标存储桶的区域

--exclude value 排除具有给定模式的对象(接受多个输入)

--include value 包含具有给定模式的对象(接受多个输入)

--raw 禁用通配符操作,对于包含通配符字符的文件名很有用(默认:false)

--content-type value 为目标设置内容类型:为对象定义内容类型标头,例如 --content-type text/plain

--content-encoding value 为目标设置内容编码:为对象定义内容编码标头,例如 --content-encoding gzip

--content-disposition value 为目标设置内容处置:为对象定义内容处置标头,例如 --content-disposition 'attachment; filename="filename.jpg"'

--help, -h show help (default: false)

Examples:

  1. 将本地文件夹同步到 S3 存储桶

> s5cmd sync folder/ s3://bucket/

02. 将 S3 存储桶同步到本地文件夹

> s5cmd sync "s3://bucket/*" folder/

03. 将前缀下的 S3 存储桶对象同步到 S3 存储桶。

> s5cmd sync "s3://sourcebucket/prefix/*" s3://destbucket/

04. 将本地文件夹同步到 S3,但删除 S3 存储桶中有但本地没有的文件。

> s5cmd sync --delete folder/ s3://bucket/

05. 将 S3 存储桶同步到本地文件夹,但仅使用大小作为比较标准。

> s5cmd sync --size-only "s3://bucket/*" folder/

06. 将文件同步到 S3 存储桶

> s5cmd sync myfile.gz s3://bucket/

07. 将匹配的 S3 对象同步到另一个存储桶

> s5cmd sync "s3://bucket/*.gz" s3://target-bucket/prefix/

08. 在目标端对对象执行 KMS 服务器端加密

> s5cmd sync --sse aws:kms s3://bucket/object s3://target-bucket/prefix/object

09. 使用客户管理的客户主密钥 (CMK) 密钥 ID 在目标处对对象执行 KMS-SSE 操作

> s5cmd sync --sse aws:kms --sse-kms-key-id <your-kms-key-id> s3://bucket/object s3://target-bucket/prefix/object

10. 将所有文件同步到 S3 存储桶,但排除扩展名为 txt 和 gz 的文件。

> s5cmd sync --exclude "*.txt" --exclude "*.gz" dir/ s3://bucket

11. 将所有文件同步到 S3 存储桶,但仅包含具有 txt 和 gz 扩展名的文件。

> s5cmd sync --include "*.txt" --include "*.gz" dir/ s3://bucket

$ s5cmd version --help

NAME:

version - 打印版本

USAGE:

version [command options] [arguments...]

OPTIONS:

--help, -h show help (default: false)

$ s5cmd bucket-version --help

Name:

bucket-version -配置存储桶版本控制

Usage:

bucket-version [options] s3://bucketname

Options:

--set value 设置存储桶的版本控制状态:(已暂停,已启用)

--help, -h show help (default: false)

Examples:

  1. 获取桶的版本控制状态

    s5cmd bucket-version s3://bucketname

2. 为存储桶启用版本控制

> s5cmd bucket-version --set Enabled s3://bucketname

3.停用存储桶的版本控制

> s5cmd bucket-version --set Suspended s3://bucketname

$ s5cmd presign --help

Name:

presign - 打印远程对象预签名 URL

Usage:

presign [options] source

Options:

--expire value URL 有效时长(默认:3 小时 0 分钟 0 秒)

--version-id value 使用指定版本的对象

--help, -h 显示帮助(默认值:false)

Examples:

  1. 将远程对象的 URL 打印到标准输出

    s5cmd presign s3://bucket/prefix/object

2. 将带有特定到期时间的远程对象 URL 打印到标准输出

> s5cmd presign --expire 24h s3://bucket/prefix/object

简明 s3cmd 安装与使用手册 简明 s3cmd 安装与使用手册(part one)Preface S3是亚马逊AWS提供的简单存储服务(可以理解为有公网域名的大容量高可用存储) S3配合CloudFront服务可作为CDN使用,它提供多节点全球发布 在使用过程中,一般是通过web页面上传内容到S3 Bucket(Bucket桶,S3里存内容的容器) 这个过程缓慢繁琐容易中断 推荐S3cmd这个软件用命令行实现 如下就 阅读详情

相关推荐

s3cmd 命令

s3cmd是一个用于管理 Amazon S3 存储中的对象的工具。它允许创建和删除 “buckets”,以及上传、下载和删除这些 buckets 中的 “objects”。

Johnny's Lab 1411

s5cmd:并行S3和本地文件系统执行工具

s5cmd 总览 s5cmd是非常快速的S3和本地文件系统执行工具。 它带有对多种操作的支持,包括制表符补全和对文件的通配符支持,这在处理大量文件时非常方便您的对象存储工作流程。 已经有其他实用程序可以与S3和类似的对象存储服务一起使用,因此很自然地想知道s5cmd必须提供什么,而其他人则不需要。 简而言之, s5cmd提供了非常快的速度。 感谢在s5cmd;上的研究和实验s5cmd; 引用他的中等: 对于上传,s5cmd比s3cmd快32倍,比aws-cli快12倍。 对于下载,s5cmd可以使40Gbps链接饱和(〜4.3 GB / s),而s3cmdaws-cli分别只能达到85 MB / s和375 MB / s。 如果您想进一步了解s5cmd性能及其快速运行的原因,请参考部分 特征 s5cmd支持针对云存储服务和本地文件系统的各种对象管理任务。 列出存储桶和对象 上载,下载或删除对象 移动,复制或重命名对象 使用AWS Key Management Service(KMS)设置服务器端加密 为上载,复制,移动上的对象/文件设置访问控制列表(ACL)。 将对象内

并行S3和本地文件系统执行工具。-Golang开发

s5cmd这是并行的S3和本地文件系统执行工具。 安装您将需要Go 1.13+来安装s5cmd。 进入get -u github.com/peak/s5cmd这将在您的$ GOPATH / bin目录中安装s5cmd。 s5cmd这是并行的S3和本地文件系统执行工具。 安装您将需要Go 1.13+来安装s5cmd。 转到get -u github.com/peak/s5cmd,这将在您的$ GOPATH / bin目录中安装s5cmd。 使用Homebrew:brew tap peak / s5cmd https://github.com/peak/s5cmd brew install s5cmd Shell自动完成Bash和zsh shell完成(使用posener / complete)受支持。 支持工具和子命令参数,本地文件/目录以及远程(S3)存储桶和对象。

s5cmd 的介绍及安装

本文介绍了 s5cmd 的作用以及如何安装。

qq_52098522的博客 1488

s5cmd 介绍及安装

s5cmd 介绍及安装

weixin_46660849的博客 7万+

S3命令行工具:s3cmd与s5cmd的实用指南

本文详细介绍了两个S3服务命令行工具:s3cmd和s5cmd,它们用于自动同步S3服务上的文件到本地。文章讨论了对象存储和S3协议的基础知识,提供了s3cmd和s5cmd的安装、配置和使用指南,包括基础操作和进阶功能。此外,还对比了其他S3工具如s4cmdaws-cli和goofys,并提供了性能测试结果,帮助用户根据业务场景选择合适的工具。

欢迎自九陌而来的你做客九陌斋! 4000

CMD命令大全

CMD命令大全 cmd命令系列软件最新版本下载 CMD命令速查手册 立即下载 cmd命令大全工具 立即下载   最早期的电脑系统是DOS系统,DOS系统只有一个黑漆漆的窗口,需要自己输入命令,所以学习命令是很有必要的,那么CMD命令大全是什么?直到今天的Windows系统,还是离不开DOS命令的操作。下面一起来看看。 一、CMD命令: 开始->运行->键入cmd或command(在命令行里可以看到系统版本、文件系统版本)。 二、CMD命令大全详解: 1、 gpedit.msc-----

IT开发 2万+

S3命令行工具:rclone、s3cmd、s5cmd、mc、S3Copy

S3命令行工具:rclone、s3cmd、s5cmd、mc、S3Copy

lonelymanontheway的博客 384

Go-s5cmd并行S3和本地文件系统执行工具

s5cmd 并行S3和本地文件系统执行工具

开源项目-peakgames-s5cmd.zip

开源项目-peakgames-s5cmd.zip,GitHub - peakgames/s5cmd: Parallel S3 and local filesystem execution tool.

S3cmd命令行工具使用

《s3cmd 命令行工具》 介绍 S3cmd是一个免费的命令行软件和客户端,用于上传,恢复和管理数据, 适用于 Amazon S3 及其他使用S3协议的云存储服务。 安装 1)通过apt安装 > apt install s3cmd 通过pip安装 (python) pip install s3cmd # python pip 相关命令及使用方法 命令调用前需要先设置配置文件 1. 默认调用 /root/.s3cfg 文件中的配置 2. 可通过 -c filepa

wangxiaoxiaodeer的博客 4426

s3cmd常用命令

1、配置s3cmd s3cmd --configure 2、列举所有buckets(bucket相当于根文件夹) 命令:s3cmd ls root@node4:/home# s3cmd ls 2016-09-18 03:51 s3://my-bucket 2016-09-18 02:02 s3://my-new-bucket-node4 2016-09-18 07:17 s3://zhangbo 3、创建bucket(bucket名称唯一,不能重复) 命令:s3cmd mb s3://{KaTeX p

晨光运维之路 1万+

S5cmd:快速上手指南与最佳实践

S5cmd 是一款非常快速的 S3 和本地文件系统执行工具。它支持多种操作,包括文件 tab 补全和通配符支持,这对于处理大量文件的对象存储工作流程非常有用。S5cmd 相较于其他同类工具的主要优势在于其极高的速度,对于上传和下载任务,其速度远超 s3cmdaws-cli 等工具。 ## 2. 项目快速启动 首先,您需要安装 S5cmd。可以从官方网站获取预编译的二进制文件,或者使用以下...

gitblog_00591的博客 1221

s5cmd安全配置:完整掌握认证、加密和访问控制

s5cmd是一款高性能的S3和本地文件系统并行执行工具,为用户提供了快速、高效的数据管理能力。在使用s5cmd进行数据操作时,安全配置至关重要,它能保护你的数据免受未授权访问和泄露。本文将详细介绍s5cmd的认证管理、数据加密和访问控制等安全配置方法,帮助你全面保障数据安全。 ## 一、认证管理:确保访问身份的合法性 认证是s5cmd安全配置的第一道防线,它确保只有授权用户才能访问和操作数据。

gitblog_00817的博客 699

s5cmd高级用法:如何利用命令文件实现千级并发操作

s5cmd是一款闪电般快速的S3和本地文件系统执行工具,它通过并行处理能力帮助用户高效管理和操作大量文件。本文将详细介绍如何利用s5cmd命令文件功能实现千级并发操作,让你的数据处理效率提升数倍。 ## 为什么选择s5cmd实现并发操作? 在处理大规模数据时,传统工具往往受限于单线程执行,导致效率低下。s5cmd凭借其强大的并行处理能力,在性能上远超同类工具。 [![s5cmd与其他工具性

gitblog_00419的博客 884

K8S 生态周报| Helm 新版本发布,解决了内存泄漏的问题

“「K8S 生态周报」内容主要包含我所接触到的 K8S 生态相关的每周值得推荐的一些信息。欢迎订阅知乎专栏「k8s生态」[1]。”Trivy v0.22.0 正式发布Trivy 是一款轻量...

k8s 生态 581

s5cmd, s3cmd, rclone 上传文件到S3中的速度比较

s5cmd, s3cmd, rclone 上传文件到S3中的速度比较。

海鸥 1058
上一篇: 使用keil5调试和使用logic analyzer
下一篇: aws s3命令手册
橙汁大大OcO
博客等级 码龄6年 185粉丝 · 10原创
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值