Hadoop Shell命令速查表

原创已于 2022-08-26 13:42:32 修改 · 991 阅读

2 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#hadoop

于 2020-05-20 16:04:15 首次发布

Hadoop 专栏收录该内容

11 篇文章

订阅专栏

本文详细介绍了HDFS的各种命令，包括ls、cat、chgrp、chmod、chown、put、copyFromLocal、get、copyToLocal、cp、du、expunge、getmerge、mkdir、mv、rm、rmr、setrep、stat、tail、test、text、touchz等，涵盖了文件和目录的基本操作，如查看、复制、移动、删除、权限设置等。

HDFS命令有两种风格：

hadoop fs开头的

hdfs dfs开头的

两种命令均可使用，效果相同

命令	使用方法	作用
ls	hadoop fs -ls	如果是文件，则按照如下格式返回文件信息：文件名 <副本数>文件大小修改日期修改时间权限用户ID 组ID ，如果是目录，则返回它直接子文件的一个列表，就像在Unix中一样
lsr	hadoop fs -lsr	ls命令的递归版本。类似于Unix中的ls -R
cat	hadoop fs -cat URI	将路径指定文件的内容输出到stdout
chgrp	hadoop fs - chgrp [-R] GROUP URI	改变文件所属的组。使用-R将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户
chmod	hadoop fs - chmod [-R]	改变文件的权限。使用-R将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户
chown	hadoop fs - chown [-R] [OWNER][: [GROUP]] URI [URI ]	改变文件的拥有者。使用-R将使改变在目录结构下递归进行。命令的使用者必须是超级用户
put	hadoop fs -put	从本地文件系统中复制单个或多个源路径到目标文件系统。也支持从标准输入中读取输入写入目标文件系统
copyFromLocal	hadoop fs - copyFromLocal URI	除了限定源路径是一个本地文件外，和put命令相似
get	hadoop fs -get [-ignorecrc][- crc]	复制文件到本地文件系统。可用-ignorecrc选项复制CRC校验失败的文件。使用-crc选项复制文件以及CRC信息
copyToLocal	hadoop fs - copyToLocal [- ignorecrc][-crc] URI	除了限定目标路径是一个本地文件外，和get命令类似
cp	hadoop fs -cp URI	将文件从源路径复制到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录
du	hadoop fs -du URI	显示目录中所有文件的大小，或者当只指定一个文件时，显示此文件的大小
dus	hadoop fs -dus	显示文件的大小
expunge	hadoop fs - expunge	清空回收站
getmerge	hadoop fs - getmerge [addnl]	接受一个源目录和一个目标文件作为输入，并且将源目录中所有的文件连接成本地目标文件。addnl是可选的，用于指定在每个文件结尾添加一个换行符。
mkdir	hadoop fs - mkdir	接受路径指定的uri作为参数，创建这些目录。其行为类似于 Unix的mkdir -p，它会创建路径中的各级父目录
mv	hadoop fs -mv URI	将文件从源路径移动到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录。不允许在不同的文件系统间移动文件
rm	hadoop fs -rm URI	删除指定的文件。只删除非空目录和文件。请参考rmr命令了解递归删除
rmr	hadoop fs -rmr URI	delete的递归版本
setrep	hadoop fs - setrep [-R]	改变一个文件的副本系数。-R选项用于递归改变目录下所有文件的副本系数
stat	hadoop fs -stat URI	返回指定路径的统计信息
tail	hadoop fs -tail [-f] URI	将文件尾部1K字节的内容输出到stdout。支持-f选项，行为和Unix中一致
test	hadoop fs -test -[ezd] URI	选项： -e 检查文件是否存在。如果存在则返回0 -z 检查文件是否是 0字节。如果是则返回0 -d 如果路径是个目录，则返回1，否则返回0
text	hadoop fs -text	将源文件输出为文本格式。允许的格式是zip和 TextRecordInputStream
touchz	hadoop fs - touchz URI	创建一个0字节的空文件