hdfs文件系统基础命令,高级命令,安全模式,压力测试

本文介绍了HDFS(Hadoop Distributed File System)的常用命令,如ls、mkdir、copy等,并详细讲解了高级功能如空间和大小限额设置、安全模式、基准测试等,适合Hadoop开发者和管理员参考。

ls: -R 递归枚举

Usage: hdfs dfs -ls [-R] <args>

mkdir: -P 创建父目录和子目录

Usage: hdfs dfs -mkdir [-p] <paths>

moveFromLocal:从本地剪切文件到hdfs   注意大小写

Usage: hdfs dfs -moveFromLocal <localsrc> <dst>

moveToLocal :从hdfs移动到系统,此命令还不支持

Usage: hdfs dfs -moveToLocal [-crc] <src> <dst>

Displays a "Not implemented yet" message.

mv :移动重命名

Usage: hdfs dfs -mv URI [URI ...] <dest>

put:上传文件到hdfs系统

Usage: hdfs dfs -put <localsrc> ... <dst>

追加文件到指定文件,指定文件不存在会自动创建

Usage: hdfs dfs -appendToFile <localsrc> ... <dst>

追加一个或者多个文件到hdfs指定文件中.也可以从命令行读取输入.

cat:读指定文件

Usage: hdfs dfs -cat URI [URI ...]

cp :拷贝文件或文件夹到hdfs系统

Usage: hdfs dfs -cp [-f] [-p | -p[topax]] URI [URI ...] <dest>

复制文件(夹),可以覆盖,可以保留原有权限信息

删除:rm -r   -r:递归删除,到垃圾回收站

Usage: hdfs dfs -rm [-f] [-r|-R] [-skipTrash] URI [URI ...]

赋权777

Usage: hdfs dfs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]

修改属组.

Usage: hdfs dfs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

清空回收站(hdfs就不要用这个命令)

Usage: hdfs dfs -expunge

------------------------------------------------------------------------------------------------

高级命令:

文件数量限额

hdfs dfsadmin -setSpaceQuota 4k /user/root/lisi   # 限制空间大小4KB

hdfs dfsadmin -setQuota 2 lisi

hdfs dfsadmin -clrQuota /user/root/lisi

大小限额

hdfs dfsadmin -setSpaceQuota 4k /user/root/lisi   # 限制空间大小4KB

hdfs dfsadmin -clrSpaceQuota /user/root/lisi

查看限制:

hdfs dfs -count -q -h /user/root/lisi

hdfs安全模式:

hdfs集群刚启动的时候,默认30S钟的时间是出于安全期的只有过了30S之后,集群脱离了安全期,然后才可以对集群进行操作

hdfs  dfsadmin  -safemode

hdfs基准测试,压力测试

测试写入速度:

hadoop jar /export/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-cdh5.14.0.jar TestDFSIO  -write -nrFiles 10 -fileSize 10MB

查看测试结果:

hdfs dfs -text /benchmarks/TestDFSIO/io_read/part-00000

测试读取速度:

hadoop jar /export/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-cdh5.14.0.jar TestDFSIO -read -nrFiles 10 -fileSize 10MB

查看测试结果:

hdfs dfs -text /benchmarks/TestDFSIO/io_read/part-00000

清除测试数据:

hadoop jar /export/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-cdh5.14.0.jar TestDFSIO -clean

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值