Hadoop环境配置与实验报告
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
4 Hadoop 集群安装 .............................................................................................................. 11 4.1 安装 hadoop................................................................................................................ 11 4.1.1 在"/usr/hadoop"创建"tmp"文件夹..................................................................... 11 4.1.2 配置"/etc/profile" ................................................................................................ 11 4.1.3 重启"/etc/profile" ................................................................................................ 12 4.2 配置 hadoop................................................................................................................ 12 4.2.1 配置 hadoop-env.sh............................................................................................. 12 4.2.2 配置 core-site.xml 文件 ....................................................................................... 12 4.2.3 配置 hdfs-site.xml 文件 ....................................................................................... 13 4.2.4 配置 mapred-site.xml 文件.................................................................................. 14 4.2.5 配置 masters 文件 ............................................................................................... 14 4.2.6 配置 slaves 文件 .................................................................................................. 15 4.3 启动及验证 ................................................................................................................. 16 4.3.1 格式化 HDFS 文件系统 ....................................................................................... 16 4.3.2 启动 hadoop ........................................................................................................ 16 4.3.3 验证 hadoop ........................................................................................................ 17 4.3.4 关闭 hadoop ........................................................................................................ 19 4.4 网页查看集群 ............................................................................................................. 19 4.4.1 访问"http://localhost:50030" .............................................................................. 19 4.4.2 访问" http://localhost:50070" ............................................................................. 20
评
足功能要求；
（3） 报告内容很好地符合要求。
语
考核论题 总评成绩 （含平时成绩）
备注
任课教师签名：
日期： 2014.7 注：1. 以论文或大作业为考核方式的课程必须填此表，综合考试可不填。“简要
评语”栏缺填无效。 2. 任课教师填写后与试卷一起送院系研究生秘书处。 3. 学位课总评成绩以百分制计分。
2
目录
1 集群部署介绍 ...................................................................................................................... 3 1.1 Hadoop 简介 ................................................................................................................. 3 1.2 环境说明 ....................................................................................................................... 3 1.3 网络配置 ....................................................................................................................... 3 1.3.1 编辑当前机器名称 ................................................................................................ 3 1.3.2 修改当前机器 IP.................................................................................................... 4 1.3.3 配置 hosts 文件 ..................................................................................................... 4 1.4 所需软件 ....................................................................................................................... 6 1.4.1 JDK 软件................................................................................................................. 6 1.4.2 Hadoop 软件 .......................................................................................................... 6
3 Java 环境安装 ...................................................................................................................... 9 3.1 安装 JDK ...................................................................................................................... 10 3.2 配置环境变量 ............................................................................................................. 10 3.2.1 编辑"/etc/profile"文件 ........................................................................................ 10 3.2.2 添加 Java 环境变量 ............................................................................................. 10 3.2.3 使配置生效.......................................................................................................... 10 3.3 验证安装成功 ............................................................................................................. 10 3.4 安装剩余机器 ............................................................................................................. 11
院系 学生姓名 课程名称 授课时间
研究生课程考试成绩单
源自文库
（试卷封面）
计算机科学与工程
专业
计算机科学与技术
李富豪
学号
131440
计算机新技术综合实践
2014 年 4 月 至 2014 年 6 月 周学时 1 学分 2
简
（1） 小组答辩过程表述很清晰；
要
（2） 实验结果的演示表明搭建的系统以及编写的程序很好地满
2 SSH 无密码验证配置 ........................................................................................................... 6 2.1 安装和启动 SSH 协议 ................................................................................................... 6 2.2 配置 Master 无密码登录所有 Salve............................................................................. 6 2.3 配置所有 Slave 无密码登录 Master............................................................................. 9
评
足功能要求；
（3） 报告内容很好地符合要求。
语
考核论题 总评成绩 （含平时成绩）
备注
任课教师签名：
日期： 2014.7 注：1. 以论文或大作业为考核方式的课程必须填此表，综合考试可不填。“简要
评语”栏缺填无效。 2. 任课教师填写后与试卷一起送院系研究生秘书处。 3. 学位课总评成绩以百分制计分。
2
目录
1 集群部署介绍 ...................................................................................................................... 3 1.1 Hadoop 简介 ................................................................................................................. 3 1.2 环境说明 ....................................................................................................................... 3 1.3 网络配置 ....................................................................................................................... 3 1.3.1 编辑当前机器名称 ................................................................................................ 3 1.3.2 修改当前机器 IP.................................................................................................... 4 1.3.3 配置 hosts 文件 ..................................................................................................... 4 1.4 所需软件 ....................................................................................................................... 6 1.4.1 JDK 软件................................................................................................................. 6 1.4.2 Hadoop 软件 .......................................................................................................... 6
3 Java 环境安装 ...................................................................................................................... 9 3.1 安装 JDK ...................................................................................................................... 10 3.2 配置环境变量 ............................................................................................................. 10 3.2.1 编辑"/etc/profile"文件 ........................................................................................ 10 3.2.2 添加 Java 环境变量 ............................................................................................. 10 3.2.3 使配置生效.......................................................................................................... 10 3.3 验证安装成功 ............................................................................................................. 10 3.4 安装剩余机器 ............................................................................................................. 11
院系 学生姓名 课程名称 授课时间
研究生课程考试成绩单
源自文库
（试卷封面）
计算机科学与工程
专业
计算机科学与技术
李富豪
学号
131440
计算机新技术综合实践
2014 年 4 月 至 2014 年 6 月 周学时 1 学分 2
简
（1） 小组答辩过程表述很清晰；
要
（2） 实验结果的演示表明搭建的系统以及编写的程序很好地满
2 SSH 无密码验证配置 ........................................................................................................... 6 2.1 安装和启动 SSH 协议 ................................................................................................... 6 2.2 配置 Master 无密码登录所有 Salve............................................................................. 6 2.3 配置所有 Slave 无密码登录 Master............................................................................. 9