云平台搭建流程总结

2.云平台搭建流程详述
（1）打开 terminal 终端，输入 sudo yum install ssh,用 于被远程访问
（2）安装 rsync，输入 sudo yum install rsync
3
rsync 是一个远程数据同步工具，可通过 LAN/WAN 快速同步多台主机间的文件。
（3）修改机器名称
查看当前机器名称 输入指令 hostname 用于显示机器名称，如果机器名称不是想要的，那么就 需要修改
修改机器名称 修改/etc/sysconfig/network 文件中的”HOSTNAME”后面的值，改成我们规 划的名字。
之后显示文件内容如下，修改 HASTNAME 值为规划的机器名称即可：
云平台搭建流程总结
--许康
目录
1、云平台搭建简要概述 ...................................................................................... 1 （1）云平台运行环境概述 ............................................................................ 1 （2）云平台搭建架构概述 ............................................................................ 1 （3）集群机器信息 ...................................................................................... 3 （4）搭建云平台需要的软件包 ...................................................................... 3 2.云平台搭建流程详述 ........................................................................................ 3 （1）打开 terminal 终端，输入 sudo yum install ssh,用于被远程访问 ................ 3 （2）安装 rsync，输入 sudo yum install rsync ................................................ 3 （3）修改机器名称 ...................................................................................... 4 （4）本机 IP 地址的设置 .............................................................................. 4 （5）hosts 文件设置 .................................................................................... 5 （6）JDK 的安装 .......................................................................................... 6 （7）SSH 无密码验证 ................................................................................... 7 （8）hadoop 的安装与配置 ......................................................................... 10 3、hadoop 的启动与验证................................................................................... 14 （1）格式化 HDFS 文件系统 ....................................................................... 14 （2）启动 hadoop ...................................................................................... 14 （3）验证 hadoop ...................................................................................... 15
基于 Hadoop 的云计算与存储架构模型如下图所示。
2
（3）集群机器信息
这里的集群机器其实就是在自己主机上建的三台 linux 虚拟机，下面将这三 台虚拟机信息以表格形式展现出来，如下表所示。 三个节点上均是 centos 系统，并且有一个相同的用户 hadoop,主服务器主 要配置 namenode 和 jobtracker 的角色，负责总管分布式数据和分解任务的执 行，两个子服务器配置 datanode 和 tasktracker,负责分布式数据存储以及任务 的执行。 机器名称 namenode datanode1 datanode2 节点作用 Namenode&jobtracker Datanode1&tasktracker Datanode2&tasktracker ip 地址 192.168.216.10 192.168.216.11 192.168.216.12 用户名称 hadoop hadoop hadoop 用户密码 hadoop hadoop hadoop
（4）本机 IP 地址的设置
打开/etc/sysconfig/network-scripts/ifcfg-eth0 文件进行配置，
对打开的文件进行修改如下所示，就可以设置本机的 ip 地址等网络配置了。
4
（5）hosts 文件设置
/etc/hosts 这个文件是用来配置主机将用的 dns 服务器信息的，记载 LAN 内接 续的各主机的对应【HostName 和源自文库IP】用的。当用户在进行网络连接时需要查 找对应主机名或域名的 IP 地址。 如果想 ping 某台主机发现 ping 不到，那么解决办法就是修改”/etc/hosts”这个 文件，通过把局域网内某台主机的 ip 地址和 hostname 一一对应写入这个文件 就可解决。修改后的内容如下所示：
接着进入/usr/java 目录下，通过下面命令使 jdk 获得可执行权限，并安装 jdk.
按 enter 键安装完成后，会提示你按 enter 键退出，查看/usr/java 下会多了一 个 jdk1.6.0_35 的文件，表示 jdk 安装成功。 配置环境变量 编 辑 /etc/profile, 在后面添加 java 的“ JAVA_HOME ”、 ”CLASSPATH” 以 及’’PATH’’内容，如下所示，并保存退出。
（4）搭建云平台需要的软件包
软件名称 JDK（java 开发工具包） Hadoop 软件分发包 SSH 远程控制端 版本号 jdk-6u35-linux-i586 hadoop-1.0.4.tar pc6-SSHSecureShellClient
上述这些软件包都已经上传到 SVN 上 https://192.168.103.131/svn/Project/2015/IOTESP/Code/xk/云计算平台建设方案/相关软件安装包
1
分布式系统。Hadoop 具有成本低廉、可靠性高、容错性高、扩展性强、效率 高、可移植性强、免费开源的优点。 Hadoop 的核心功能有两个：HDFS 与 MapReduce。与 HDFS 相关的服务 有 NameNode、SecondaryNameNode 及 DataNode；与 MapReduce 相关的服 务有 JobTracker 和 TaskTracker 两种。当最终基于 Hadoop 的云平台搭建完成 时，在主服务器上启动服务器集群后，就会看到这 5 个服务进程启动起来。 Hadoop 集群中有两种角色：master 与 slave，master 又分为主 master 与次 master。其中：主 master 同时提供 NameNode、SecondaryNameNode 及 JobTracker 三种服务；次 master 只提供 SecondaryNameNode 服务；所有 slave 提供 DateNode 和 TaskTracker 两种服务。 启动 Hadoop 的方式是在主 master 上调用命令：$ start-all.sh。 此调用过程中，Hadoop 依次启动以下服务： 在主 master 上启动 NameNode 服务；在主 master 上启动 SecondaryNameNode 服务；在次 master 上启动 SecondaryNameNode 服务； 在所有 slave 上启动 DataNode 服务；在主 master 上启动 JobTracker 服务； 在所有 slave 上的 TaskTracker 服务。
（2）云平台搭建架构概述
目前分布式云平台搭建主流是基于 Hadoop 架构的，采用三台安装 Linux 环境的机器来构建一个小规模的分布式集群，其体现效果等同于在一台电脑上 用三台 linux 虚拟机构建一个小规模的分布式集群。 Hadoop 是并行技术、分布式技术和网格计算技术发展的产物，是一种为 适应大规模数据计算和存储而发展起来的模型架构。Hadoop 是 Apache 公司旗 下的一个分布式计算和存储的框架平台，能够高效存储大量数据，而且可以编 写分布式应用程序来分析计算海量数据。Hadoop 可在大量廉价硬件设备集 群 中运行程序，为各应用程序提供可靠稳定的接口来构建高扩展性和高可靠性的
其他几台子服务器也这样设置。
5
（6）JDK 的安装
安装 jdk 用 root 身份登录主服务器后，在/usr 目录下创建“java”文件夹，再把 jdk-6u35-linux-i586.bin 放到/usr/java 文件夹中（通过共享方式，从 mnt 目 录移到/usr/java 文件夹），如下所示
0
1、云平台搭建简要概述
（1）云平台运行环境概述
所谓的云平台就是云计算与存储平台。 此云平台搭建是在 linux 虚拟机上进行的，因为搭建云平台需要三台以上 的 linux 主机做服务器，在现行环境下，给三台 win7 电脑装 linux 系统比较繁 琐，不切实际，所以在自己的 win7 电脑上面使用 VMvare 准备三台一模一样的 linux 虚拟机（centos）搭建云平台环境不失为一简便可行的方案，就能够抛开 硬件环境，在虚拟机上来方便的搭建云平台服务器集群。在 vmvare 上面装 centos 操作系统流程很简单，参考网上做法即可，并且克隆出几个一模一样的 虚拟机 centos 网上都有资料，即点击当前的虚拟机右键点击管理，在弹出的菜 单中选择克隆即可。 VMware 可以在个人本地一台电脑上同时运行二个或更多 Windows、DOS、 LINUX 系统。与“多启动”系统相比，VMWare 采用了完全不同的概念。多启 动系统在一个时刻只能运行一个系统，在系统切换时需要重新启动机器。 VMWare 是真正”同时”运行，多个操作系统在主系统的平台上，就象标准 Windows 应用程序那样切换。而且每个操作系统你都可以进行虚拟的分区、配 置而不影响真实硬盘的数据，你甚至可以通过网卡将几台虚拟机用网卡连接为 一个局域网，极其方便。安装在 VMware 操作系统性能上比直接安装在硬盘上 的系统低不少，因此，比较适合学习搭建以及测试云平台环境。