Hadoop伪分布安装配置
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
西北师范大学计算机科学与工程学院学生 实验报告
学号： 201471030129 月 27 日
系别
计 算
专业
计算机 科学与
班级
14卓 越
机
技术
课程名 云计算 称
课程 选修 类型
实验名 Hadoop伪分布安装配置 称
2016 年 9
吴铠年 姓名
学时 4 数
实验目的பைடு நூலகம்要求：
一、Hadoop伪分布模式安装配置 二、HDFS Shell命令使用
<!-- Put site-specific property overrides in this file. -->
<configuration> <property> <name>dfs.replication</name> <value>2</value> </property>
</configuration> 3. 开启关闭 通过NameNode格式化HDFS文件系统 cd hadoop-0.20.2/conf hadoop namenode -format 开启hadoop cd hadoop-0.20.2/bin sh start-all.sh
通过jps命令检查期望的hadoop进程是否运行
关闭hadoop cd hadoop-0.20.2/bin sh stop-all.sh
错误分析： 实验总结： 成绩
批阅 教师
批阅日期
</property> </configuration> 文件：mapred-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
三、Hadoop配置
1.修改环境变量 vim ~/.bashrc export HADOOP_HOME=/home/rte/hadoop-0.20.2 //这里为实际 hadoop解压的目录位置 export PATH=$PATH:$HADOOP_HOME/bin source ~/.bashrc 2.配置hadoop-env.sh vim conf/hadoop-env.sh export JAVA_HOME=/home/rte/Software/java/jdk1.6.0_27 3.配置conf/core-site.xml、conf/hdfs-site.xml、conf/mapredsite.xml文件 文件：core-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
实验内容：
一、环境准备：
JDK for Linux 1.8.x Hadoop2.7.3
二、Standalone安装：
1. 将JDK和Hadoop解压到制定文件夹 建议：/usr/local下 2. 配置Hadoop的Java环境 修改hadoop安装路径下，etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/java/latest 3. 测试单节点Hadoop $ bin/hadoop $ mkdir input $ cp etc/hadoop/*.xml input $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduceexamples-2.7.3.jar grep input output 'dfs[a-z.]+' $ cat output/*
<configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property>
</configuration> 文件：hdfs-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property> <name></name> <value>hdfs://localhost:9000</value>
学号： 201471030129 月 27 日
系别
计 算
专业
计算机 科学与
班级
14卓 越
机
技术
课程名 云计算 称
课程 选修 类型
实验名 Hadoop伪分布安装配置 称
2016 年 9
吴铠年 姓名
学时 4 数
实验目的பைடு நூலகம்要求：
一、Hadoop伪分布模式安装配置 二、HDFS Shell命令使用
<!-- Put site-specific property overrides in this file. -->
<configuration> <property> <name>dfs.replication</name> <value>2</value> </property>
</configuration> 3. 开启关闭 通过NameNode格式化HDFS文件系统 cd hadoop-0.20.2/conf hadoop namenode -format 开启hadoop cd hadoop-0.20.2/bin sh start-all.sh
通过jps命令检查期望的hadoop进程是否运行
关闭hadoop cd hadoop-0.20.2/bin sh stop-all.sh
错误分析： 实验总结： 成绩
批阅 教师
批阅日期
</property> </configuration> 文件：mapred-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
三、Hadoop配置
1.修改环境变量 vim ~/.bashrc export HADOOP_HOME=/home/rte/hadoop-0.20.2 //这里为实际 hadoop解压的目录位置 export PATH=$PATH:$HADOOP_HOME/bin source ~/.bashrc 2.配置hadoop-env.sh vim conf/hadoop-env.sh export JAVA_HOME=/home/rte/Software/java/jdk1.6.0_27 3.配置conf/core-site.xml、conf/hdfs-site.xml、conf/mapredsite.xml文件 文件：core-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
实验内容：
一、环境准备：
JDK for Linux 1.8.x Hadoop2.7.3
二、Standalone安装：
1. 将JDK和Hadoop解压到制定文件夹 建议：/usr/local下 2. 配置Hadoop的Java环境 修改hadoop安装路径下，etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/java/latest 3. 测试单节点Hadoop $ bin/hadoop $ mkdir input $ cp etc/hadoop/*.xml input $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduceexamples-2.7.3.jar grep input output 'dfs[a-z.]+' $ cat output/*
<configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property>
</configuration> 文件：hdfs-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property> <name></name> <value>hdfs://localhost:9000</value>