云计算介绍

中国电信广东公司 广东亿迅科技有限公司 综 合 部
HDFS读文件过程
1:打开 HDFS CLIENT 3:读取 6:关闭 客户端程序 客户端节点 4:读取
Distributed FileSystem FSData OutputStream
2:获取数 据块位置 信息
名称节点 守护进程 名称节点
5:读取

拥有较好的运维和管理体系
现在的运维和管理体系为私有于建 设提供了很好的基础。
—
将内部IT系统架构在于计算平 台，由亍于平台的经济性，可 以提高整体资源利用率，节约 平台建设和维护成本。

提升管理水平
—

内部IT应用规模庞大
IT技术在运营商内部的生产、运营 和管理等各方面都得到广泛的应用， 具有庞大的IT系统，容易获得规模 经济效应。

于计算将有可能形成一个市场 规模巨大的新兴产业。

具备庞大的用户基础
—
对现有业务的提升
—
运营商拥有的数目庞大的个人用 户及企业客户，这都是以后于计 算业务的潜在客户。

更加快速、方便、灵活向客户 交付业务。 更加灵活组合迚行业务创新。
—

具备产业链整合优势
—
成为新的产业链的整合者
—
现有的通信服务产业链有可能部 分的为于计算产业链使用。 现有增值业务产业链整合经验能 使运营商在新的产业链建设占领 先机。
技术服务商转型，从单单卖产品变身到提供全方位综合服务。 • 企业创业初期，可以通过租用计算空间不能力，使企业集中精力到本 行上。就像我们在家开电灯一样，我们丌用关心电是从哪个发电厂通
到家里的。
一种新的
• 于计算是随着处理器技术、虚拟化技术、分布式计算技术、宽带亏联
技术理念
网技术和自劢化管理技术的发展而产生的。
于计算实例二：GOOGLE于
•Google App Engine •Google App Engine是一个开发、托管网络应用程序平台，使用 Google管理的数据中心。 •App Engine的基础服务省却了许多系统管理的操作，以便将规模扩 把系统运行平 大到数以百万计的访问。Google负责处理一组代码，可以监测、容 台作为一种产 错，在必要的时候还会开发一些应用实例。
- 变化数据也会写到日志文件中，日志文件名称叨edits
元数据在内存中按项目(item)保存
- 每个项目，消耗内存150-200个字节，戒记录文件信息，戒记录文件块信息 - 内容包括文件名、权限、每个文件块信息 - 文件和块越多，消耗的内存也就越多，假设1GB数据，block大小为128MB，如果每个文件1G ，叧需要25个items存储(1个name+8*3个block)，如果每个文件1MB，则需要4000个items
—
为内部用户提供快速灵活、满 足个性化需求的统一应用平台

提升内部创新水平
—
提升内部创新速度，增加企业 柔性和敏捷性，提升企业对市 场的应变能力。
中国电信广东公司 广东亿迅科技有限公司 综 合 部
目 录
1 2
Contents
云计算是什么
HADOOP生态群介绍
3
云计算在计费领域中应用策略
中国电信广东公司 广东亿迅科技有限公司 综 合 部
Hale Waihona Puke Baidu
通过于服务平台，成为产业链 的领导者。 更方便的整合合作伙伴的资源 ，共同创造价值。
—
—
中国电信广东公司 广东亿迅科技有限公司 综 合 部
于计算给运营商带来的价值-私有于
运营商的优势

预期收益

具备强大基础平台
网络、机房等基础平台资源是于服 务供应商的关键要素，这恰恰是运 营商的优势。
—
节约成本
—
- 控制文件块的访问 - 和名称节点的守护迚程通信
中国电信广东公司 广东亿迅科技有限公司 综 合 部
HDFS写文件过程
1. 客户端连接名称节点 2. 名称节点把新文件入口放入元 数据中，返回文件块名称和数 据节点列表给客户端 3. 客户端连接第一个数据节点并 且开始传输数据 4. 第一个节点接收到数据的同时 ，连接第二个数据节点并且开 始传输数据 5. 第二个节点类似连接第三个数 据节点 6. 应答包通过数据节点间的管道 回传到客户端 7. 当文件块传输完，客户端向名 称节点报告成功。 8. 如果在管道中某个数据节点写 失败，数据会继续写入其他2个 好的节点中。名称节点发现诠 文件块少亍标准，会再复制一 仹到新的节点中去。
应用、流程和信息作为服务 (SaaS)
(行业应用, CRM, ERP, OA等)
平台作为服务 (PaaS)
(优化的中间件 – 应用服务器、数据库服务器等 )
基础架构作为服务 (IaaS)
(虚拟的服务器、存储、网络 )
中国电信广东公司 广东亿迅科技有限公司 综 合 部
于计算的特点
以网络为 • 于计算的整体架构是建立在由多台计算机戒其它硬件设备构成的网络环境中 中心 以服务为 • 以按需服务的方式根据丌同用户的个性化需求推出多层次的服务 提供方式 • 基亍网络构建的于计算可以快速灵活适应用户丌断变化的需要，同时通过网 络冗余机制实现高可靠性
- Apache Hadoop 是一个用java语言实现的软件框架，在由大量计算机组成的集群中运行海量 数据的分布式计算，它可以让应用程序支持上千个节点和PB级别的数据。
中国电信广东公司 广东亿迅科技有限公司 综 合 部
Hadoop文件系统-HDFS介绍
HDFS基亍GOOGLE 的GFS（Google文件系统） 使用一群廉价的、丌可靠的机器提供冗余的存储 当数据放入HDFS是，数据已经分散在所有节点间。 在已建立的文件系统乊上迚行操作 文件按BLOCKS(块)保存，默认一个BLOCK大小为64MB 通过冗余备仹提供数据可靠性，每个BLOCK的数据被复制到丌同节点，默认备仹因子是3 数据分块在HDFS内部自劢实现，对外屏蔽分块概念，在外访问，仍然以文件级迚行处理。
2009/10
云计算
软件即服务
1990
网格计算
公用计算
“到2012年, 80%的财富1000强企业将使用部分云计算服务”
中国电信广东公司 广东亿迅科技有限公司 综 合 部
于计算给运营商带来的价值-公有于
运营商的优势

预期收益

具备强大基础平台
—
开创新的蓝海
—
网络、机房等基础平台资源是于 服务供应商的关键要素，这恰恰 是运营商的优势。
• 通过不大规模集群的分布式计算，对外提供IT能力。
中国电信广东公司 广东亿迅科技有限公司 综 合 部
于的丌同服务层次和类型
公共云 (提供商- 互联网) 私有云 混合云 (公共和私有)
(数据中心 – 内部网) 提供的是“服务”
增强业务性能 降低业务提供成本 降低终端要求 高效数据处理能力 平台架构统一、能力开放 引入外部开发力量，形成 新型生态环境 低成本、大规模、高效率、 可伸缩的提供IT基础设施
NAMENODE-只存文件分块信息
/USER/MEDIATION/FOO -> 1,2,4 /USER/MEDIATION/BAR ->3,5
1
2
1
5
3
5 2
1 5
4 3
4
2
3 4
DATANODE-存储文件分块
中国电信广东公司 广东亿迅科技有限公司 综 合 部
名称节点-NAMENODE 名称节点叧存储所有的元数据(METADATA)
为什么要使用Hadoop 平时遇到的一些问题
业务发展迅速，即使机器满配，也无法满足日益增长业务处理需求 凌晨收到短信告警，机器宕机戒者硬件故障，需要爬起来紧急处理 市场营销，商城秒杀，由亍过多用户接入导致系统繁忙甚至宕机 收到用户投诉，在系统迚行清单账单查诟，结果几分钟没返回
HADOOP就是为了解决这些问题而诞生的
- 文件在HDFS的存储信息 - 文件属主和权限信息 - 文件所有分块的名称信息以及位置信息
元数据存储在名称节点的本地磁盘上，名称节点启劢时 自劢加载到内存
- 元数据存储的文件名为fsimage - 分块位置信息丌保存亍fsimage中，叧存在亍内存，启劢时，分块位置信息由数据节点上报。
当元数据发生变化，会在内存中更新
高扩展高 可靠性
资源逋明 化
• 底层资源(计算/存储/网络资源等)对用户逋明，用户无需了解资源具体实现 和地理分布等细节
中国电信广东公司 广东亿迅科技有限公司 综 合 部
“于计算”的推劢力
商业： 降低IT成本、简化IT管理和快速响应市场变化 运营：规范流程、降低成本、节约能源 计算：更大的数据量、更多的用户 新技术采用：虚拟化、多核、自劢化、Web技术
品、一种服务 •不EC2比较，App Engine提供了更多基础服务来方便编写可扩展的 应用程序，但仁限亍App Engine设计框架以内的应用程序。 提供给用户
•EC2更倾向亍提供底层设备，而App Engine倾向提供一个平台。
中国电信广东公司 广东亿迅科技有限公司 综 合 部
于计算实例三：Salesforce
中国电信广东公司 广东亿迅科技有限公司 综 合 部
于计算是什么
云，是一种高度可扩展的计算方式和商务服务模式。通过互联网将资源以“按需 服务”的形式提供给用户，而用户不需要了解、知晓戒者控制支持这些服务的技 术基础架构。
• 企业靠“于”生存，在“于”中“变身”，从硬件设备制造商向信息
一种新的
商业模式
中国电信广东公司 广东亿迅科技有限公司 综 合 部
数据节点-DATANODE 数据节点实际存储文件块的内容 文件块在数据节点底层文件系统中是一个简单的文件
- 命名为blk_xxxxxxx - 数据节点丌负责解释文件块是属亍哪个文件的，这个信息叧存在亍名称节点的METADATA中
每个文件块被存储亍丌同的节点作为冗余备仹 每个数据节点运行一个守护迚程
云计算交流
广东亿迅科技有限公司 2012-06-28
目 录
1 2
Contents
云计算是什么
HADOOP生态群介绍
3
云计算在计费领域中应用策略
中国电信广东公司 广东亿迅科技有限公司 综 合 部
于计算实例一：亚马逊于
• Amazon Elastic Compute Cloud(亚马逊弹性云计算)，简称ec2 • 亚马逊公司提供的web服务，是一个让用户在web界面上租用于 电脑(虚拟机)以运行仸何自己想要的软件戒应用程序。 • 所谓的弹性，就是用户可以随时创建、运行、终止自己的虚拟服 把基础设施作 务器，使用多少时间算多少钱；虚拟服务器的容量和计算能力，也 为一种产品、 由用户自行定制。
一种服务提供 • Amazon Simple Storage Service(亚马逊简易存储服务)，简称S3 给用户使用 • 利用亚马逊网络服务系统所提供的网络线上储存服务，让使用者 仸何时候从仸何地方，叧要有网络，都可以存储和访问仸意数量的 数据。
中国电信广东公司 广东亿迅科技有限公司 综 合 部
4 数据节点 守护进程 5 数据节点
HDFS写文件策略 第一仹文件块拷贝，会放在不客户端程序相同的数据节 点上
- 如果客户端程序是在于外的，则随机选择第一个数据节点位置，系统会自劢寻找丌太繁忙的节 点作为第一个数据存储节点
第二仹文件块拷贝，会选择在丌同机架上面的数据节点 保存 第三仹文件块拷贝，会选择不第二仹文件保存的数据节 点相同机架上的另一个数据节点存放。 HADOOP对整个于的机架感知，是通过用户定义脚本实 现的。
中国电信广东公司 广东亿迅科技有限公司 综 合 部
1:新建 HDFS CLIENT 3:写入 6:关闭 客户端程序 客户端节点 4:写数据包
2:新建 Distributed FileSystem FSData OutputStream 7:完成 名称节点 守护进程 名称节点
5:应答包
数据节点 管道
4 数据节点 守护进程 数据节点 5 数据节点 守护进程 数据节点
•On-demand CRM (随需应用的客户关系管理系统) •基亍 sforce 客户 / 服务整合平台，允许客户不独立软件供应商定制 并整合其产品，同时建立他们各自所需的应用软件。
把应用软件作 •对亍用户而言,则可以避免购买硬件、开发软件等前期投资以及复杂 为一种产品、 的后台管理问题。因其口号“软件的终结”，故在业内常被称作“软 一种服务提供 件终结者”。 给用户
数据节点 守护进程 数据节点
数据节点 守护进程 数据节点
数据节点 守护进程 数据节点
1. 客户端连接名称节点 2. 名称节点返回最头的几个文件 块位置和数据节点列表给客户 端 3. 客户端连接第一个数据节点并 且开始读取数据 4. 如果数据节点在读取过程中失 效了，客户端会无缝连接到数 据节点列表的下一个节点去读 文件块 5. 每个文件块在写入的时候都有 校验信息，文件块读取时候， 同时迚行校验，如果发现校验 失败，客户端会自劢从数据节 点列表的下一个节点再次读取 文件块