Hadoop大数据平台构建与应用 第4章 Hadoop的伪分布式安装与使用
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
✎ 4.1深入了解Hadoop
4.1.2 Hadoop核心架构
Hadoop是apache基金会组织的一个顶级项目,其核心为HDFS和 MapReduce,HDFS为海量的数据提供存储,而MapReduce为海量的数据 提供计算。
✎ 4.1深入了解Hadoop
4.1.3 Hadoop的主要应用场景
场景1:数据分析平台 场景2:推荐系统 场景3:业务系统的底层存储系统 场景4:业务监控系统
✎ 4.2安装JAVA环境(JDK)
4.2.1 第一种安装方式(离线安装)
(1)解压JDK包 (2)查看JDK目录并复制安装路径 (3)修改环境变量 (4)验证JAVA是否可用
✎ 4.2安装JAVA环境(JDK)
✎ 4.3 安装Hadoop
4.3.1 下载Hadoop安装文件并解压
安装Hadoop就是解压的过程: 安装运行Hadoop之前,一定要确保已经安装SSH。 解压hadoop-2.7.3.tar.gz 查看Hadoop安装成功。
✎ 4.3 安装Hadoop
4.3.3 伪分布式模式配置
伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。具体配置 实现过程为: 1、修改配置文件 core-site.xml 2、修改配置文件 hdfs-site.xml 3、NameNode格式化 4、开启和关闭 NameNode 和 DataNode 守护进程
✎
第4章 Hadoop的伪分布式安装 与使用
·HADOOP简介 ·安装JAVA环境(JDK)
·安装HADOOP
✎ 目录页
4.1 HADOOP简介 4.1.1 Hadoop发行版本介绍 4.1.2 Hadoop核心架构 4.1.3 Hadoop的主要应用场景 4.2 安装JAVA环境(JDK) 4.2.1 第一种安装方式(离线安装) 4.2.2 第二种安装方式(在线安装) 4.3 安装HADOOP 4.3.1 下载Hadoop安装文件并解压 4.3.2 配置Hadoop环境变量 4.3.3 伪分布式模式配置 4.3.4 Hadoop无法正常启动和使用的解决方法
Βιβλιοθήκη Baidu
✎ 4.3 安装Hadoop
4.3.4 Hadoop无法正常启动和使用的解决方法
1、NameNode能启动,DataNode不能启动 2、错误现象:Name node is in safe mode. 3、出现其他错误可通过上网查找解决方案。
✎ 4.3 安装Hadoop
4.3.4 Hadoop无法正常启动和使用的解决方法
4.2.2 第二种安装方式(在线安装)
检查联网正常,执行命令如下: $ sudo apt-get install default-jre default-jdk 下载安装结束以后,需要找到相应的安装路径,这个路径是用于配置 JAVA_HOME 环境变量的。经过此在线安装,JDK的安装路径为: /usr/lib/jvm/default-java。 配置JAVA_HOME环境变量。
1、NameNode能启动,DataNode不能启动 2、错误现象:Name node is in safe mode. 3、出现其他错误可通过上网查找解决方案。
✎ 4.1深入了解Hadoop
4.1.1 Hadoop发行版本介绍
本教材使用Apache Hadoop版本,又称Apache社区版本。该版本分为两 代,我们将第一代Hadoop称为Hadoop 1.0,第二代Hadoop称为Hadoop 2.0。第一代已基本淘汰,第二代Hadoop包含两个版本,分别是0.23.x和 2.x,它们完全不同于Hadoop 1.0,是一套全新的架构,均包含HDFS Federation联邦机制和YARN资源管理两个系统。本教材使用2.x版本搭建 平台。