Hadoop命令大全

Hadoop命令⼤全转载于https:///baidu_30851231/article/details/81664420
Hadoop 命令⼤全
appendToFile [localsrc] [dst]
将本地⽂件localsrc追加到hdfs的dst⽂件中，如果dst⽂件不存在，则创建。

hdfs dfs -appendToFile /home/t2.txt /user/hdfs/gpl/t2.txt
-cat [dst]
显⽰⽂件内容
hdfs dfs -cat /user/hdfs/gpl/t2.txt
-checksum [dst]
为匹配⽂件模式dst到stdou的⽂件转储校验和信息
hdfs dfs -checksum /user/hdfs/gpl/t2.txt
-chgrp [-R] GROUP PATH
相当与-chown
hdfs dfs -chgrp hdfs /user/hdfs/gpl/t2.txt
-chmod
更改⽂件的权限，与shell的chmod命令类似
hdfs dfs -chmod 777 /user/hdfs/gpl/t2.txt
-chown
更改⽂件所属者
hdfs dfs -chown hdfs /user/hdfs/gpl/tx.txt
-copyFromLocal [localsrc] [dst]
将本地⽂件上传到hdfs⽬录
hdfs dfs -copyFromLocal /home/t2.txt /user/hdfs/gpl/
-copyToLocal [dst] [localsrc]
将hdfs⽂件下载到本地
hadoop fs -copyToLocal /user/hdfs/data2/ip=10.69.2.3/logfile_localhost.lo
caldomain_1531106559.txt /home/
-count
查看⽬录下，⼦⽬录数[-q]、⽂件数[-h]、⽂件⼤⼩[-v]、⽂件名/⽬录名[dst]
hdfs dfs -count /user/hdfs/gpl
-cp SRC [SRC …] DST
将⽂件从SRC复制到DST，如果指定了多个SRC，则DST必须为⼀个⽬录
hdfs dfs -cp /user/hdfs/data2/ip=10.69.2.3/logfile_localhost.loc
aldomain_1531106600.txt /user/hdfs/gpl/
-createSnapshot [snapshotDir] [snapshotName]
在⽬录上创建快照
hdfs dfs -createSnapshot /user/hdfs/gpl/ kz
-deleteSnapshot [snapshotDir][snapshotName]
在⽬录上删除快照
hdfs dfs -deleteSnapshot /user/hdfs/gpl/kz
-df
显⽰⽂件系统的容量、空闲空间和使⽤空间
hdfs dfs -df /user/hdfs/gpl
-du
显⽰该⽬录中每个⽂件或⽬录的⼤⼩
hdfs dfs -du -s -h /user/hdfs
-expunge
清空回收站，⽂件被删除时，它⾸先会移到临时⽬录.Trash/中，当超过延迟时间之后，⽂件才会被永久删除 hdfs dfs -expunge
-find
查找与指定表达式匹配的所有⽂件
hdfs dfs -find /user/hdfs -name t2.txt
-get
将hdfs⽂件下载到本地与-copyToLocal 类似
hadoop fs -get /user/hdfs/data2/ip=10.69.2.3/logfile_localhost.lo
caldomain_1531106559.txt /home/
-getfacl [-R] [path]
显⽰⽂件和⽬录的访问控制列表(acl)。

如果⼀个⽬录有⼀个默认的ACL，然后getfacl也显⽰默认的ACL。

hdfs dfs -getfacl /user/hdfs
-getfattr
显⽰⽂件或的扩展属性名和值(如果有的话)
-getmerge [src] [localdst]
将hdfs的多个⽂件合并后下载到本地
hsfs dfs -getmerge /user/hdfs/data2/ip=10.69.2.3/ /home/ip.txt
help
帮助命令，列出可操作命令
-ls
列出指定⽬录下的⽂件或⽬录
hdfs dfs -ls /user/hdfs
-mkdir
创建⽬录
hdfs dfs -mkdir /user/hdfs/test
-moveFromLocal [localsrc] … [dst]
本地⽂件系统复制⽂件到HDFS⽂件系统后删除本地⽂件
hdfs dfs -moveFromLocal /home/md.txt /user/hdfs/gpl
-mv [src] [dst]
将匹配指定⽂件模式src的⽂件移动到⽬标dst,在移动多个⽂件时，⽬标必须是⼀个⽬录。

hdfs dfs -mv /user/hdfs/gpl/mft5.txt /user/hdfs/gpl/mft.txt
-put [localsrc] [dst]
本地⽂件系统复制⽂件到HDFS⽂件系统与，与-copyFromLocal类似
-renameSnapshot [snapshotDir][oldName] [newName]
快照重命名
-rm
删除，与shell的rm命令类似
hdfs dfs -rm -r /user/hdfs/gpl/mtf.txt
-rmdir [dir]
删除指定的dir⽬录项
hdfs dfs -rmdir /user/hdfs/test
-setfacl
设置⽂件和⽬录的访问控制列表(acl)。

-setfattr
设置⽂件或⽬录的扩展属性名和值。

-setrep
设置⽂件的复制级别
-stat [format] path
以指定格式打印⽂件/⽬录的统计信息,其中，%b-块、%g-所属组、%n-⽂件名、%o块⼤⼩、%u⽤户名hdfs dfs -stat [%b-%g-%n-%o-%r-%u-%y:%Y] /user/hdfs/gpl
-tail [-f] path
Show the last 1KB of the file
hdfs dfs -tail /user/hdfs/gpl/t2.txt
-test -[defsz] path
回答关于path的各种问题，结果通过退出状态。

-text
获取源⽂件并以⽂本格式输出该⽂件。

允许的格式是zip和TextRecordInputStream和Avro。

-touchz path
在path处创建⼀个0长度的⽂件，当前时间作为时间戳 <路径>如果⽂件的长度不为零，则返回错误
-usage
hdfs dfs -touchz /user/hdfs/gpl/1.txt
-usage
显⽰给定命令或所有命令的⽤法(如果没有指定任何命令)。

与-help类似
hdfs dfs -usage。