Hadoop命令大全

合集下载

Hadoop命令大全

Hadoop命令⼤全转载于https:///baidu_30851231/article/details/81664420

Hadoop 命令⼤全

appendToFile [localsrc] [dst]

将本地⽂件localsrc追加到hdfs的dst⽂件中，如果dst⽂件不存在，则创建。

hdfs dfs -appendToFile /home/t2.txt /user/hdfs/gpl/t2.txt

-cat [dst]

显⽰⽂件内容

hdfs dfs -cat /user/hdfs/gpl/t2.txt

-checksum [dst]

为匹配⽂件模式dst到stdou的⽂件转储校验和信息

hdfs dfs -checksum /user/hdfs/gpl/t2.txt

-chgrp [-R] GROUP PATH

相当与-chown

hdfs dfs -chgrp hdfs /user/hdfs/gpl/t2.txt

-chmod

更改⽂件的权限，与shell的chmod命令类似

hdfs dfs -chmod 777 /user/hdfs/gpl/t2.txt

-chown

更改⽂件所属者

hdfs dfs -chown hdfs /user/hdfs/gpl/tx.txt

-copyFromLocal [localsrc] [dst]

将本地⽂件上传到hdfs⽬录

hdfs dfs -copyFromLocal /home/t2.txt /user/hdfs/gpl/

-copyToLocal [dst] [localsrc]

【八斗学院】最新Hadoop集群常用命令

最新Hadoop集群常用命令

来源：八斗学院

查看共享文件在linux下的哪个地方

cd /mnt/hgfs/

在linux下解压压缩包

tar xvzf

启动hadoop集群

./start-all.sh 先进入cd /usr/local/src/目录再启动hadoop

从hdfs上把文件拿下来命令：

./hadoop fs -get /1.data /usr/local/src/ 后面加上要把文件拿下来放到那个目录下

从hdfs上查看已经在的文件命令：

./hadoop fs -ls /

查看集群运行好的文件输出out

hadoop fs -text

例子：

hadoop fs -text /output_cachearchive_broadcast

本地模拟测试文件命令：

cat 文件名| | python map.py | sort -k1

例子：

cat The_Man_of_Property.txt | python map.py | sort -k1 | python red.py > 1.data

通过map中输出出来的数据要经过排序那么-k1就是对第一列进行排序

cat The_Man_of_Property.txt | python map.py mapper_func white_list | sort -k1 | python red.py reduer_func > 1.data

跑代码

bash run.sh

hdfs上传文件

./hadoop fs -put

例子：

./hadoop fs -put /mnt/hgfs/lal/mr_file_broadcast/The_Man_of_Property.txt / 一定要在hadoop安装目录下上传hdfs文件

Hadoop 常用命令

Hadoop 常用命令：

1、hadoop dfs

查看Hadoop HDFS支持的所有命令

2、hadoop dfs help

显示所有dfs命令的帮助信息

3、hadoop dfs -ls /

列出目录及文件信息

4、hadoop dfs -put 1.txt /user

将本地文件系统的1.txt复制到HDFS文件系统的/user目录下

5、hadoop dfs -copyFromLocal 1.txt /test

将本地文件1.txt 复制到HDFS的文件夹test下，等同于put

6、hadoop dfs -moveFromLocal /home/hadoop/1.txt /test1

将本地文件移动到HDFS文件系统上

7、hadoop dfs -get /test/1.txt /home/hadoop

将HDFS中的test.txt复制到本地文件系统中，与-put命令相反

8、hadoop dfs -copyToLocal /test/1.txt /home/hadoop

将HDFS上的文件复制到本地，等同于get

9、hadoop dfs -moveToLocal /test1/1.txt /home/hadoop

将HDFS的1.txt 文件移动到本地目录

10、hadoop dfs -cat /test/1.txt

查看HDFS文件系统里1.txt的内容

11、hadoop dfs -tail /test/1.txt

查看HDFS文件系统中1.txt最后1KB的内容

12、hadoop dfs -rm /test/1.txt

hadoop的distcp命令

distcp是Hadoop的一个工具，用于在Hadoop集群之间复制数据。它的命令格式如下：

hadoop distcp [options] <源路径> <目标路径>

其中，[options]是可选项，用于指定一些额外的配置参数。常用的选项包括：

- -i：忽略校验和，即不使用CRC校验

- -p：保持文件属性，包括权限、修改时间等信息

- -update：只复制源路径中修改时间较新的文件

- -delete：删除目标路径中存在但源路径中不存在的文件

- -overwrite：覆盖目标路径中已存在的文件

- -bandwidth <带宽限制>：限制网络带宽

示例：

1. 将本地目录/tmp/data1拷贝到Hadoop集群的

/user/hadoop/data1目录下：

hadoop distcp /tmp/data1

hdfs://namenode:8020/user/hadoop/data1

2. 保持文件属性，并限制带宽为100MB/s：

hadoop distcp -p -bandwidth 100 /tmp/data1

hdfs://namenode:8020/user/hadoop/data1

hadoop常用命令详细解释

hadoop常⽤命令详细解释hadoop命令分为2级，在linux命令⾏中输⼊hadoop，会提⽰输⼊规则

Usage: hadoop [--config confdir] COMMAND

where COMMAND is one of:

namenode -format format the DFS filesystem

#这个命令⽤于格式化DFS系统：hadoop namenode -formate

secondarynamenode run the DFS secondary namenode

#运⾏第⼆个namenode

namenode run the DFS namenode

#运⾏DFS的namenode

datanode run a DFS datanode

#运⾏DFS的datanode

dfsadmin run a DFS admin client

#运⾏⼀个DFS的admin客户端

mradmin run a Map-Reduce admin client

#运⾏⼀个map-reduce⽂件系统的检查⼯具

fsck run a DFS filesystem checking utility

#运⾏⼀个DFS⽂件系统的检查⼯具

fs run a generic filesystem user client

#这个是daoop⽂件的系统的⼀级命令，这个⾮常常见稍后详细讲解这个命令：例如hadoop fs -ls /

balancer run a cluster balancing utility

#作⽤于让各个datanode之间的数据平衡，例如:sh $HADOOP_HOME/bin/start-balancer.sh –t 15%

hadoop的基本操作命令

Hadoop是目前最流行的分布式计算框架之一，其强大的数据处理能力

和可扩展性使其成为企业级应用的首选。在使用Hadoop时，熟悉一些

基本操作命令是必不可少的。以下是Hadoop的基本操作命令：

1. 文件系统命令

Hadoop的文件系统命令与Linux系统类似，可以用于管理Hadoop的文件系统。以下是一些常用的文件系统命令：

- hdfs dfs -ls：列出文件系统中的文件和目录。

- hdfs dfs -mkdir：创建一个新目录。

- hdfs dfs -put：将本地文件上传到Hadoop文件系统中。

- hdfs dfs -get：将Hadoop文件系统中的文件下载到本地。

- hdfs dfs -rm：删除文件系统中的文件或目录。

- hdfs dfs -du：显示文件或目录的大小。

- hdfs dfs -chmod：更改文件或目录的权限。

2. MapReduce命令

MapReduce是Hadoop的核心计算框架，用于处理大规模数据集。以下

是一些常用的MapReduce命令：

- hadoop jar：运行MapReduce作业。

- hadoop job -list：列出所有正在运行的作业。

- hadoop job -kill：终止正在运行的作业。

- hadoop fs -copyFromLocal：将本地文件复制到Hadoop文件系统中。- hadoop fs -copyToLocal：将Hadoop文件系统中的文件复制到本地。- hadoop fs -rmr：删除指定目录及其所有子目录和文件。

hadoop语法

Hadoop语法

Hadoop是一个开源的分布式计算框架，它能够处理大规模数据并实现高速数据处理和存储。在Hadoop中，我们可以使用特定的语法来操作和管理数据。本文将介绍一些常用的Hadoop语法，帮助读者更好地理解和使用Hadoop。

一、Hadoop文件系统操作

1. 创建目录

在Hadoop中，我们可以使用以下命令来创建目录：

```

hadoop fs -mkdir 目录路径

```

2. 上传文件

将本地文件上传到Hadoop文件系统中可以使用以下命令：

```

hadoop fs -put 本地文件路径 HDFS路径

```

3. 下载文件

从Hadoop文件系统中下载文件到本地可以使用以下命令：

```

hadoop fs -get HDFS文件路径本地路径

```

4. 查看文件内容

查看Hadoop文件系统中文件的内容可以使用以下命令：

```

hadoop fs -cat 文件路径

```

二、Hadoop MapReduce操作

1. 编写MapReduce程序

在Hadoop中，我们可以使用Java编写MapReduce程序来处理数据。首先，我们需要定义Mapper和Reducer类，然后实现相应的map和reduce方法。编写完成后，可以使用以下命令将程序打包成jar文件：

```

hadoop jar jar文件路径类名输入路径输出路径

```

2. 运行MapReduce程序

将编写好的jar文件提交到Hadoop集群中运行可以使用以下命令：```

hadoop jar jar文件路径类名输入路径输出路径

cdh集群常用命令

以下是CDH集群中常用的命令：

1. hdfs dfs -ls: 列出HDFS文件系统中的文件和目录。

2. hdfs dfs -mkdir: 在HDFS中创建新目录。

3. hdfs dfs -put: 将文件从本地文件系统上传到HDFS。

4. hdfs dfs -get: 将文件从HDFS下载到本地文件系统。

5. hdfs dfs -rm: 从HDFS中删除文件或目录。

6. hdfs dfs -chown: 更改文件或目录的所有者。

7. hdfs dfs -chmod: 更改文件或目录的权限。

8. hdfs dfs -cat: 查看文件的内容。

9. hdfs dfs -tail: 查看文件的末尾内容。

10. hdfs dfs -du: 估算文件或目录的大小。

11. hdfs dfs -mv: 移动文件或目录。

12. hdfs dfsadmin -report: 获取HDFS的报告，包括集群的容量、使用情况等信息。

13. yarn node -list: 列出YARN集群中的节点。

14. yarn application -list: 列出YARN集群中正在运行的应用程序。

15. yarn application -kill: 终止指定的YARN应用程序。

16. hadoop fsck: 检查HDFS中的文件完整性和一致性。

17. hadoop job -list: 列出运行中的Hadoop作业。

18. hadoop job -kill: 终止指定的Hadoop作业。

hadoop常用命令

启动Hadoop

进入HADOOP_HOME目录。

执行sh bin/start-all.sh

关闭Hadoop

进入HADOOP_HOME目录。

执行sh bin/stop-all.sh

1、查看指定目录下内容

hadoopdfs –ls [文件目录]

eg: hadoopdfs –ls /user/wangkai.pt

2、打开某个已存在文件

hadoopdfs –cat [file_path]

eg:hadoopdfs -cat /user/wangkai.pt/data.txt

3、将本地文件存储至hadoop

hadoopfs –put [本地地址] [hadoop目录]

hadoopfs –put /home/t/file.txt /user/t

(file.txt是文件名)

4、将本地文件夹存储至hadoop

hadoopfs –put [本地目录] [hadoop目录]

hadoopfs –put /home/t/dir_name /user/t

(dir_name是文件夹名)

5、将hadoop上某个文件down至本地已有目录下hadoopfs -get [文件目录] [本地目录]

hadoopfs –get /user/t/ok.txt /home/t

6、删除hadoop上指定文件

hadoopfs –rm [文件地址]

hadoopfs –rm /user/t/ok.txt

7、删除hadoop上指定文件夹（包含子目录等）hadoopfs –rm [目录地址]

hadoopfs –rmr /user/t

hadoop数据副本数量相关命令;

Hadoop是一种开源的分布式文件存储和计算系统，被广泛应用于大数据领域。在Hadoop中，数据的可靠性和容错性是至关重要的，因此Hadoop引入了数据副本机制来保障数据的可靠性。在Hadoop集裙中，数据会被分成多个块，并将这些块保存在不同的计算机上，以防止单点故障和数据丢失。在本文中，我们将介绍Hadoop中与数据副本数量相关的一些命令和操作。

1. 查看数据块的副本情况

在Hadoop中，可以使用以下命令来查看数据块的副本情况：

hdfs fsck / -files -blocks -locations

该命令会列出Hadoop集裙中所有块的副本情况，包括块的ID、复本数量、所在的数据节点等信息。通过这些信息，可以清楚地了解每个数据块的副本情况，从而评估数据的可靠性和容错性。

2. 修改数据块的副本数量

在Hadoop中，可以通过以下命令来修改数据块的副本数量：

hdfs dfs -setrep -w 3 /user/hadoop/data.txt

该命令会将指定文件的副本数量修改为3，这样可以增加数据的容错性和可靠性。在某些情况下，可能需要根据实际情况来调整数据块的副

本数量，以满足系统的要求。

3. 查看集裙的副本数量配置

在Hadoop集裙中，可以通过以下命令来查看副本数量的相关配置信息：

hadoop fs -getconf dfs.replication

该命令会显示Hadoop集裙当前的副本数量配置，可以了解到集裙中数据块的默认副本数量是多少。在实际应用中，可以根据业务需求和系统性能来调整副本数量的配置。

hadoop的基本操作命令

Hadoop的基本操作命令

Hadoop是一个分布式计算框架，常用于大数据处理。本文将介绍Hadoop的基本操作命令，包括文件系统操作、作业管理、信息查看等。

一、文件系统操作

1.创建目录

在Hadoop中，可以使用mkdir命令创建目录。具体用法如下：

hadoop fs -mkdir /path/to/directory

其中，/path/to/directory是要创建的目录路径。

2.上传文件

使用put命令上传本地文件到Hadoop文件系统中。用法如下：

hadoop fs -put /path/to/local/file /path/to/hdfs/directory

其中，/path/to/local/file是要上传的本地文件路径，/path/to/hdfs/directory是要上传到的Hadoop文件系统路径。

3.下载文件

使用get命令将Hadoop文件系统中的文件下载到本地。用法如下：

hadoop fs -get /path/to/hdfs/file /path/to/local/directory

其中，/path/to/hdfs/file是要下载的Hadoop文件系统文件路径，/path/to/local/directory是要下载到的本地文件夹路径。

4.列出目录内容

使用ls命令列出指定目录下的文件和子目录。用法如下：

hadoop fs -ls /path/to/directory

其中，/path/to/directory是要列出内容的目录路径。

5.删除文件或目录

HDFS操作命令

Hadoop Distributed File System（HDFS）是Hadoop框架中存储大数据的分布式文件系统。HDFS提供了一系列命令行工具，用于对HDFS上的文件和目录进行操作。下面是HDFS的主要操作命令及其用法，具体介绍如下：

1. hdfs dfs -ls [路径]

该命令用于列出指定路径下的文件和目录。如果不指定路径，则默认列出根目录下的内容。

2. hdfs dfs -mkdir [目录路径]

该命令用于在HDFS上创建一个新的目录。

3. hdfs dfs -put [本地文件路径] [HDFS目标路径]

该命令用于将本地文件复制到HDFS中的指定路径。

4. hdfs dfs -copyFromLocal [本地文件路径] [HDFS目标路径]

该命令与put命令功能相同，用于将本地文件复制到HDFS中的指定路径。

5. hdfs dfs -get [HDFS文件路径] [本地目标路径]

该命令用于将HDFS上的文件复制到本地文件系统中的指定路径。

6. hdfs dfs -copyToLocal [HDFS文件路径] [本地目标路径]

该命令与get命令功能相同，用于将HDFS上的文件复制到本地文件系统中的指定路径。

7. hdfs dfs -rm [路径]

该命令用于删除HDFS上的文件或目录。

8. hdfs dfs -rmdir [路径]

该命令用于删除HDFS上的空目录。

9. hdfs dfs -mv [源路径] [目标路径]

该命令用于移动文件或目录，可以用来重命名文件或目录。

hdfs常见命令

HDFS（Hadoop分布式文件系统）是Hadoop生态系统中的分布式文件系统，用于存储和处理大规模数据。下面是几个常见的HDFS 命令：

1.显示HDFS文件或目录列表：

hdfs dfs -ls <路径>

该命令用于列出指定路径下的文件或目录的详细信息。

2.创建目录：

hdfs dfs -mkdir <目录路径>

该命令用于在HDFS上创建一个新的目录。

3.上传文件或目录到HDFS：

hdfs dfs -put <本地路径> <目标HDFS路径>

该命令用于将本地文件或目录上传到HDFS中。

4.下载文件或目录从HDFS：

hdfs dfs -get <HDFS路径> <本地路径>

该命令用于从HDFS中下载文件或目录到本地。

5.删除文件或目录：

hdfs dfs -rm <路径>

该命令用于删除HDFS上的指定文件或目录。

6.复制文件或目录：

hdfs dfs -cp <源路径> <目标路径>

该命令用于在HDFS上复制文件或目录。

7.移动文件或目录：

hdfs dfs -mv <源路径> <目标路径>

该命令用于在HDFS上移动文件或目录。

这只是几个常见的HDFS命令示例，HDFS还支持其他许多命令和选项，可以根据具体需求进行深入了解和使用。可以使用"hdfs dfs -help"命令来查看完整的HDFS命令和选项列表。

hadoop常用指令

HDFS 常用文件操作命令

前言

HDFS命令基本格式：hadoop fs -cmd < args >

ls 命令

hadoop fs -ls /

hadoop fs -ls -R /

列出hdfs文件系统所有的目录和文件

put 命令

hadoop fs -put < local file > < hdfs file >

hdfs file的父目录一定要存在，否则命令不会执行

hadoop fs -put < local dir >...< hdfs dir >

hdfs dir 一定要存在，否则命令不会执行

hadoop fs -put - < hdsf file>

从键盘读取输入到hdfs file中，按Ctrl+D结束输入，hdfs file不能存在，否则命令不会执行

moveFromLocal 命令

hadoop fs -moveFromLocal < local src > ... < hdfs dst >

与put相类似，命令执行后源文件local src 被删除，也可以从从键盘读取输入到hdfs

file中

copyFromLocal 命令

hadoop fs -copyFromLocal < local src > ... < hdfs dst >

与put相类似，也可以从从键盘读取输入到hdfs file中

get 命令

hadoop fs -get < hdfs file > < local dir>

Hadoop命令大全

本节比较全面的向大家介绍一下Hadoop命令，欢迎大家一起来学习，希望通过本节的介绍大

家能够掌握一些常见Hadoop命令的使用方法。下面是Hadoop命令的详细介绍。

Hadoop命令大全

1、列出所有HadoopShell支持的命令

$bin/hadoopfs-help

2、显示关于某个命令的详细信息

$bin/hadoopfs-helpcommand-name

3、用户可使用以下命令在指定路径下查看历史日志汇总

$bin/hadoopjob-historyoutput-dir

这条命令会显示作业的细节信息，失败和终止的任务细节。

4、关于作业的更多细节，比如成功的任务，以及对每个任务的所做的尝试次数等可以用下面的命令查看

$bin/hadoopjob-historyalloutput-dir

5、格式化一个新的分布式文件系统：

$bin/hadoopnamenode-format

6、在分配的NameNode上，运行下面的Hadoop命令启动HDFS：

$bin/start-dfs.sh

bin/start-dfs.sh脚本会参照NameNode上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上启动DataNode守护进程。

7、在分配的JobTracker上，运行下面的命令启动Map/Reduce：

$bin/start-mapred.sh

bin/start-mapred.sh脚本会参照JobTracker上${HADOOP_CONF_DIR}/sla ves文件的内容，在所有列出的slave上启动TaskTracker守护进程。

hdfs的常用命令

HDFS（Hadoop Distributed File System）的常用命令包括：

1. 创建目录：hdfs dfs -mkdir /path/to/dir

2. 查看目录下的内容：hdfs dfs -ls /path/to/dir

3. 上传文件：hdfs dfs -put local_file /path/to/hdfs_file

4. 上传并删除源文件：hdfs dfs -put -delete local_file /path/to/hdfs_file

5. 查看文件内容：hdfs dfs -cat /path/to/hdfs_file

6. 查看文件开头内容：hdfs dfs -head /path/to/hdfs_file

7. 查看文件末尾内容：hdfs dfs -tail /path/to/hdfs_file

8. 下载文件：hdfs dfs -get /path/to/hdfs_file local_file

9. 合并下载文件：hdfs dfs -getmerge /path/to/hdfs_dir local_dir

10. 拷贝文件：hdfs dfs -cp /path/to/hdfs_file /path/to/new_hdfs_file

11. 追加数据到文件中：hdfs dfs -appendToFile local_file /path/to/hdfs_file

12. 查看磁盘空间：hdfs dfs -df /path/to/dir

13. 查看文件使用的空间：hdfs dfs -du -h /path/to/dir