s5cmd 的介绍及安装

S5cmd一个小文件上传对象利器 s5cmds5cmd是处理 S3 文件管理的一个高效工具,特别是在上传小文件和批量文件操作方面拥有巨大的优势。其简单易用的命令行界面、多线程并发支持、以及良好的跨平台兼容性使得它成为了对象存储操作中的一把利器。如果你正在寻找一个快速、高效的 S3 文件操作工具,特别是在上传小文件时,s5cmd是一个非常不错的选择。赶快试试吧! 阅读详情

一、介绍

         s5cmd 是一个非常快速的 S3 和本地文件系统执行工具。它支持多种操作,包括文件名补全和文件通配符支持,这对于在处理大量文件时的对象存储工作流程非常有用。

         s5cmd 支持多种对象管理任务,既适用于云存储服务,也适用于本地文件系统。

以下是s5cmd支持的功能:

  • 列出桶和对象
  • 上传、下载或删除对象
  • 移动、复制或重命名对象
  • 使用 AWS Key Management Service (KMS) 设置服务器端加密
  • 在上传、复制或移动时为对象/文件设置访问控制列表 (ACL)
  • 将对象内容打印到标准输出
  • 使用 SQL 表达式从对象中选择 JSON 记录
  • 创建或删除桶
  • 按存储类对对象大小进行分组,并总结其大小
  • 支持所有操作中的通配符
  • 支持删除操作中的多个参数
  • 支持命令文件,以在非常高的执行速度下批量运行命令
  • 支持试运行
  • 支持 S3 传输加速
  • 支持 Google Cloud Storage (以及任何其他与 S3 API 兼容的服务)
  • 提供结构化的日志记录,用于查询命令输出
  • 提供 shell 自动补全功能
  • 支持 S3 ListObjects API 的向后兼容性

GitHub链接:https://github.com/peak/s5cmd

项目git clone链接:https://github.com/peak/s5cmd.git

二、安装

windows系统

1、下载压缩包

v2.2.2版本下载链接:(可以去Github下载最新的版本:https://github.com/peak/s5cmd/releases

https://github.com/peak/s5cmd/releases/download/v2.2.2/s5cmd_2.2.2_Windows-64bit.zip

2、解压压缩包

下载完成后,请将其文件解压至自己偏好的存储位置,以便更好地管理和访问。

在这里插入图片描述

解压完成,将得到如下文件,只要有s5cmd.exe即可:
在这里插入图片描述

3(可选)、配置aws s3的凭证(配置文件)

ps:不设置这个的话只能通过脚本设置环境变量的方式运行,或者临时将aws凭证的变量添加到当次运行环境中,即每次运行都需要提供aws的凭证,不然无法使用s5cmd的命令。

windows环境下,一般aws的配置文件路径为C:\Users\username\.aws文件夹下,如果没有可以可以手动创建,或者使用aws cli命令创建。

C:\Users\username.aws 里面的username值是你们自己本机的用户名。如下图所示:
在这里插入图片描述

代码块里用XXXXXX的值,需要替换为想要访问的aws云存储服务或兼容aws api的服务的ak/sk(ACCESS KEY / SECRET ACCESS KEY)如果有region就替换,没有就删除该行。

[default]
output = json 
region = XXXXXX

config文件:

credentials文件:

[default]
aws_access_key_id = XXXXXX
aws_secret_access_key = XXXXX

4(可选)、简化命令输入

将s5cmd的可执行文件路径设置为系统环境变量。

将s5cmd的可执行文件的路径添加到Path环境变量中
本文的值为:E:\temp\dev_tool 如这张图片所示的路径
在这里插入图片描述

在这里插入图片描述

s3cmd使用介绍 s3cmd是一个用来操作s3接口的客户端。 安装 pip install s3cmd 或 yum install python-s3cmd 推荐版本 2+,2.0.0 版本之前测试过有bug,附录部分有说明。 配置 通过命令行传递参数配置 s3cmd --configure \ --access_key=<access_key> \ --secret_key=<secret_key> \ ... 阅读详情

相关推荐

并行S3和本地文件系统执行工具。-Golang开发

s5cmd这是并行的S3和本地文件系统执行工具。 安装您将需要Go 1.13+来安装s5cmd。 进入get -u github.com/peak/s5cmd这将在您的$ GOPATH / bin目录中安装s5cmd。 s5cmd这是并行的S3和本地文件系统执行工具。 安装您将需要Go 1.13+来安装s5cmd。 转到get -u github.com/peak/s5cmd,这将在您的$ GOPATH / bin目录中安装s5cmd。 使用Homebrew:brew tap peak / s5cmd https://github.com/peak/s5cmd brew install s5cmd Shell自动完成Bash和zsh shell完成(使用posener / complete)受支持。 支持工具和子命令参数,本地文件/目录以及远程(S3)存储桶和对象。

s5cmd:并行S3和本地文件系统执行工具

s5cmd 总览 s5cmd是非常快速的S3和本地文件系统执行工具。 它带有对多种操作的支持,包括制表符补全和对文件的通配符支持,这在处理大量文件时非常方便您的对象存储工作流程。 已经有其他实用程序可以与S3和类似的对象存储服务一起使用,因此很自然地想知道s5cmd必须提供什么,而其他人则不需要。 简而言之, s5cmd提供了非常快的速度。 感谢在s5cmd;上的研究和实验s5cmd; 引用他的中等: 对于上传,s5cmd比s3cmd快32倍,比aws-cli快12倍。 对于下载,s5cmd可以使40Gbps链接饱和(〜4.3 GB / s),而s3cmdaws-cli分别只能达到85 MB / s和375 MB / s。 如果您想进一步了解s5cmd性能及其快速运行的原因,请参考部分 特征 s5cmd支持针对云存储服务和本地文件系统的各种对象管理任务。 列出存储桶和对象 上载,下载或删除对象 移动,复制或重命名对象 使用AWS Key Management Service(KMS)设置服务器端加密 为上载,复制,移动上的对象/文件设置访问控制列表(ACL)。 将对象内

Go-s5cmd并行S3和本地文件系统执行工具

s5cmd 并行S3和本地文件系统执行工具

s5cmd高级用法:如何利用命令文件实现千级并发操作

s5cmd是一款闪电般快速的S3和本地文件系统执行工具,它通过并行处理能力帮助用户高效管理和操作大量文件。本文将详细介绍如何利用s5cmd的命令文件功能实现千级并发操作,让你的数据处理效率提升数倍。 ## 为什么选择s5cmd实现并发操作? 在处理大规模数据时,传统工具往往受限于单线程执行,导致效率低下。s5cmd凭借其强大的并行处理能力,在性能上远超同类工具。 [![s5cmd与其他工具性

gitblog_00419的博客 884

s5cmd命令手册

本命令手册旨在为用户提供详尽的S5cmd命令解释与用法指南,帮助用户轻松掌握并高效利用S5cmd进行文件上传、下载、同步、删除等操作。

qq_52098522的博客 2288

MindSpore + Qwen3-0.6B:多层级文本分类模型的微调实战教程 [特殊字符]

想要快速掌握**MindSpore大模型微调**技术吗?本文将为你详细介绍如何使用**Qwen3-0.6B**预训练模型构建**多层级文本分类**系统。通过这个完整的实战教程,即使是初学者也能轻松上手,在政务、客服、内容审核等场景中实现高效的文本理解与分析。 ## 📊 项目简介:什么是多层级文本分类? **Qwen3-0.6B-Classification** 是一个基于MindSpore与

gitblog_00420的博客 909

s5cmd 介绍安装

s5cmd 介绍安装

weixin_46660849的博客 7万+

S3命令行工具:s3cmd与s5cmd的实用指南

本文详细介绍了两个S3服务命令行工具:s3cmd和s5cmd,它们用于自动同步S3服务上的文件到本地。文章讨论了对象存储和S3协议的基础知识,提供了s3cmd和s5cmd安装、配置和使用指南,包括基础操作和进阶功能。此外,还对比了其他S3工具如s4cmdaws-cli和goofys,并提供了性能测试结果,帮助用户根据业务场景选择合适的工具。

欢迎自九陌而来的你做客九陌斋! 4000

s3cmd与阿里云OSS对接

项目中刚好用到了s3cmd和阿里云OSS对接。 使用方法如下 1. 安装s3cmd pip install s3cmd 2. 配置s3cmd s3cmd --configure 我的配置如下 New settings: Access Key:<RAM 的Access Key> Secret Key: <RAM 的Secret...

weixin_33972649的博客 2301

s3cmd用法

1.安装 yum install epel-release yum install s3cmd 2.配置 1)开启http访问配置(使用ETOS默认HTTP端口8081): vi /root/.s3cfg [default] access_key = BJE4K3BXE0G6O0KEK03U secret_key = CSPyfujX3XG62tXYnWDvvbirTAxquYZoWQNT59oA host_base = 10.1.17.188:8081 host_bucket = 10.1.17.18

shoushou_的博客 1887

S5cmd:快速上手指南与最佳实践

S5cmd 是一款非常快速的 S3 和本地文件系统执行工具。它支持多种操作,包括文件 tab 补全和通配符支持,这对于处理大量文件的对象存储工作流程非常有用。S5cmd 相较于其他同类工具的主要优势在于其极高的速度,对于上传和下载任务,其速度远超 s3cmdaws-cli 等工具。 ## 2. 项目快速启动 首先,您需要安装 S5cmd。可以从官方网站获取预编译的二进制文件,或者使用以下...

gitblog_00591的博客 1221

开源项目-peakgames-s5cmd.zip

开源项目-peakgames-s5cmd.zip,GitHub - peakgames/s5cmd: Parallel S3 and local filesystem execution tool.

s5cmd完全教程:从安装到精通S3对象存储

s5cmd是一款超高速的S3和本地文件系统执行工具,它支持多种操作,包括标签补全和文件通配符支持,在处理大量文件的对象存储工作流中非常实用。本文将从安装到高级用法,全面介绍这款工具的使用方法。 ## 为什么选择s5cmd? 在众多S3和对象存储服务工具中,s5cmd以其卓越的性能脱颖而出。根据测试,s5cmd的上传速度比s3cmd快32倍,比aws-cli快12倍;下载速度方面,s5cmd可以

gitblog_00392的博客 440

Amazon S3 Tools 简介及使用

Amazon S3 Tools 简介及使用 Amazon 提供了两种客户端工具 S3cmd 和 S3Express,方便用户快速操作开放 s3 标准接口的分布式文件存储系统。前者用于 Linux 环境,后者用于 Windows 环境,这里主要介绍 Linux 环境的客户端工具 S3cmd . 一、S3cmd 是什么 官方 文档给出了说明, S3cmd is a free command line tool and client for uploading, retrieving and managing

mc的博客 3661

S4cmd终极指南:10分钟掌握AWS S3高性能命令行工具

如果你正在使用AWS S3存储服务,并且对现有命令行工具的速度感到不满,那么s4cmd就是为你量身打造的性能加速器。这个Super S3 command line tool(超级S3命令行工具)专门为数据密集型应用场景设计,通过多线程架构和智能优化,让你的S3操作速度提升数倍! **核心关键词:S3命令行工具性能优化** **长尾关键词**:AWS S3快速传输、多线程文件上传、批量删除S3对

gitblog_00423的博客 406

Windows 10 系统安装 FFmpeg 查看、转换、编辑音频文件

打开CMD终端运行 ffmpeg -version 查看是否安装成功。下载之后解压到指定目录,在系统环境变量 Path 里面新增环境变量。可以选择下载full版本。

changingshow的专栏 1154

stm32f4实现s6d1121+xtp2046触摸屏功能

经过折腾液晶成功后,接下来实现下触摸屏的功能! 原理什么的就不多说,工程也是别人的。直接针对这块屏,说下接线! 这份是s6d1121的引脚图,其中以D_开头的引脚是用来实现触摸功能的! 其中,D_BUSY在实体屏上标记NC,也就用不到! 也就是说,触摸屏控制线只要5根就行了!       以下几段源码,是定义引脚的功能! 具体的接线就是: PD3 -----------

wzs298的专栏 7498

s3cmd安装及使用

Python崛起并且风靡,因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低,但它的晋级路线很多,通过它你能进入机器学习、数据挖掘、大数据,CS等更加高级的领域。Python可以做网络应用,可以做科学计算,数据分析,可以做网络爬虫,可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多,你需要学好基础,再选择明确的方向。这里给大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!

m0_60607371的博客 2531
上一篇: MinIO 的介绍及安装
下一篇: Shell的介绍及使用教程
橙汁大大OcO
博客等级 码龄6年 185粉丝 · 10原创
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值