(完整版)云存储平台搭建PPT文档
合集下载
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
可HD以F认S有为着它高是容一错种性P的aa特S 模点型,。并且设计用来部署在低廉的硬件上。
Y可a以ho认o!为拥它有是最一大种的PHaaadSo模op型L。inux生产架构,共由 10,000 多个内核组成,有超过5PB字节的储存分布到各个 DataNode。
而Ya且ho它o!提拥供有高最传大输的率H来ad访oo问p 应Li用nu程x生序产的架数构据,,共适由合1那0,些00有0着多超个大内数核据组集成的,应有用超程过序5P。B字节的储存分布到各个 DataNode。
*应用案例
感谢观看
完它成的云 设存计储核平心台是的M搭ap建Re,du实c现e 实文现件和存H储D功F能S (;Hadoop Distributed File System),它们源自 MapReduce(由一份 Google 文件引入)和
HGoDoFgSle有F着ile高S容yst错em性。的特点,并且设计用来部署在低廉的硬件上。
*云存储平台搭建
*云存储结构模型
*在现有的硬件基础上,选择合适的云存储平台;
*完成云存储平台的搭建,实现文件存储功能;
它于 2006 年出现,由 Google、Yahoo! 和 IBM 等公司支持。
*在建立的云存储平台上开发若干个应用案例。 在它们的 Web 索引内部差不多有一万亿个链接。
在可它以们 使的用 WAmebaz索on引E内la部sti差c C不om多p有u一te 万Cl亿ou个d (链EC接2。) 构建一个包含 20 个节点的虚拟集群。 在Ha它do们op的DWisetrbib索ut引ed内F部ile差S不yst多em有,一简万称亿H个D链FS接,。是一个分布式文件系统。
HDFS有着高容错性的特点,并且设计用来部署在低廉的硬件上。 而HD且F它S有提着供高高容传错输性率的来特访点问,应并用且程设序计的用数来据部,署适在合低那廉些的有硬着件超上大。数据集的应用程序。 而且它提供高传输率来访问应用程序的数据,适合那些有着超大数据集的应用程序。
*目标
*Hadoop Distributed File System,简称HDFS,
共由 10,000 多个内核组成,有超过5PB字节的储 存分布到各个 DataNode。在它们的 Web 索引内 部差不多有一万亿个链接。
* 可以使用 Amazon Elastic Compute Cloud
(EC2) 构建一个包含 20 个节点的虚拟集群。事实 上,纽约时报 使用Hadoop和EC2在36个小时内将 4TB的TIFF图像 — 包括 405K 大 TIFF 图像,3.3M SGML 文章和405K XML 文件 — 转换为 800K 适合 在 Web 上使用的 PNG图像。这种处理称为云计算, 它是一种展示Hadoop的威力的独特方式。
它可的以设 认计为核它心是是一种MaPpaRaSed模uc型e 。实现和 HDFS (Hadoop Distributed File System),它们源自 MapReduce(由一份 Google 文件引入)和
G完o成og云le存Fi储le平Sy台st的em搭。建,实现文件存储功能;
Hale Waihona Puke YHaahdoooo!p拥D有ist最rib大u的tedHFaidloeoSpysLtienmu,x生简产称架H构D,FS共,由是一10个,00分0布多式个文内件核系组统成。,有超过5PB字节的储存分布到各个 DataNode。
是一个分布式文件系统。HDFS有着高容错性 的特点,并且设计用来部署在低廉的硬件上。 而且它提供高传输率来访问应用程序的数据, 适合那些有着超大数据集的应用程序。
*HDFS
*Apache Hadoop 是一个软件框架(平台),它可
以分布式地操纵大量数据。它于 2006 年出现, 由 Google、Yahoo! 和 IBM 等公司支持。可以认 为它是一种 PaaS 模型。
*它的设计核心是 MapReduce 实现和 HDFS
(Hadoop Distributed File System),它们源自 MapReduce(由一份 Google 文件引入)和 Google File System。
*操作系统:Linux *开发语言:Java
*应用平台和开发工具
* Yahoo! 拥有最大的Hadoop Linux生产架构,
它完的成设 云计存核储心平是台的M搭ap建Re,du实c现e 实文现件和存H储D功F能S (;Hadoop Distributed File System),它们源自 MapReduce(由一份 Google 文件引入)和
GYaohoogole! F拥il有e S最ys大te的mH。adoop Linux生产架构,共由 10,000 多个内核组成,有超过5PB字节的储存分布到各个 DataNode。