Hadoop在大数据处理中的应用优势分析
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
须真正的认识到优缺点 ,根据实际的情况和 需 要选择合适 的方式进行数据处理 ,帮助企业更 好的进步和发展 。
} 。其本质上是一种计算集群 ,也就是将不
j 数据进行分配 ,并对其进行数据 的处理 。 : 数据 处理 中 Ha d o o p之 所 以能够 应用非常
一
参考文献
[ 1 ]黄素 萍 , 葛 萌. H a d o o p 平 台在 大数 据 处 理 中的应 用研 究 [ J ] . 现代 计算机 ( 专 业
析 ,甚至还能够对欺诈进行检测。
1 . 4 f f a d o o p 在进行大数据 处理 的时候 处理 的速 度非常的快
i 式架构 能够让大数据 处理 时候 引擎 靠存储
£
[ 2 1 孟 小 峰 ,慈 祥 .大 数 据 管 理 : 概 念、 技 术 与挑 战 [ J 】 . 计 算 机 研 究 与 发
数据库技术 ・ D a t a B a s e T e c h n i q u e
H a d o o p 在 大数据处理 中的应用优势分析
文/ 任仁
势 也更加 的明显 。在 以往 利用 关系型数据库进
在 最 近 几年 中, 大数 据 分析 非常的流行 。但是 ,就 目前而言, 很 多单位 都发 现 , 目前 具有 的数 据 挖掘 以及 数据 分析 投 术还 是无 法很好 的对 大数据 进行 处 理。 为 了 更好 的解 决 问题 ,便 必须 进行 H a d o o p 集群 的建 立,但 是这 并 不 是 完全 的适 用 于所有 的情 况 ,本 文主要 分析 了在进 行 大数据 处理 时候 ,H a d o o p集群使 用 的优 点 和 缺 点 ,并 着重对 其应 用 优 势进行
在I T行业 中,大数据 处理和 分析是非 常 】 的,很 多企业 都相信 能够 通过大数据处理 ) 企业获 得成 功。但 是就现在而言,现存的 } 技术还存在很 多的问题 ,为了能让大数据 更好 的进行 ,存储 系统便 必须更快,并且 展性更 强。而 H a d o o p的出现便给大数 据 提供 了一定的方便 。
短 的时 间内进行 问题 的解 决,但是随着企业 的
发展 ,数据量也会不断 的增加 ,这种方式并不
能 够 彻 底 地 解 决 问题 。Ha d o o p的 构 架 却 和 以
往的关系型数据库有着 明显 的不 同,它能够进
键词 l H a d o o p大数据处理 应用优势
行外延 ,能够更广地 向外扩展 ,能够将企业所
有 的数据存储起来 ,并且 消耗 的成本 比较 低,
在成 本节 约方 面 的效果非 常好。并 且 Ha d o o p 能够提供的计算能力以及存储 能力也是非常惊 人的,这 不是较少 的资金便能够解决 的问题 。
若是需要进行的数据分析并不和并行处理环境
适应 ,那 么 Ha d o o p集群便 不能够很好 的进行 数据处理和分析 。
展 , 2 O 1 3 ( 0 1 ) .
H a d o o p 本身的扩展性非常的 高
了一 定 的 阐 述 。
数据发送 到某个 单独借 点中去的时候 ,这些数 行 系统管理 的时候 ,存在 着一些 问题 ,比如无 据 会业会在这方面 在 出现故 障导致数据损 失的时候 ,其他借 点的 付 出大量 的金钱 ,这和企业 的成本效益是不符 数据 也能够应用 。 合 的。很 多公司在 以往不得不对数据 的最优价 值进行假设 ,然后根据其假设 的价值对数据设 定进行一定 的分类 ,选择价值高 的数据进行存 储和处理 ,因为若是保存所有 的数据 ,企业会
付 出 巨大 的成 本 。 虽然 上 面 的方 式 能 够 在 比较
2 H a d o o p 本 身的一些缺点
虽 然 Ha d o o p集 群 本 身 的优 势 非 常 的 明 显,但是在进行数据处理的时候,也不是什 么 情况下都 有必要利用 Ha d o o p进 行大数据分 析 的。 比如 说一个 公 司 中,其数据 比较 的少, 那么其即便是进行数据分析也不一定非要应用 Ha d o o p进 行 分 析。 其 次,在 进 行 Ha d o o p集 群 使用的时候,必须在独 立节点 以及数据 “ 可 分 ”的情况下才 能够利 用其进 行数据的处理,
3 结 语
1 . 2 H a d o o p 在进行 大数据 处理的时候灵活性非 常的强
在 进 行 大 数 据 处 理 的 时 候 ,Ha d o o p的 优
势还是非常 明显的 ,能够给企业节省大量的资
H a d o o p的应 用能够 帮助企业 更快捷地 进 金 ,并且保证数据分析的效果 ,这是 以往的方 行新数据的访问,并且还能够对这些类型不同 式所不具有的优 点, 但是它也具有一定的缺 点, 的数据进行一定的分析,找到这些数据 中存在 所 以在 利用 Ha d o o p进行 数据处理 的时候,必
的价 值。这 种应 用也 直接 意味着 企业 可 以将 H a d o o p本 身的灵 活性利 用进去 ,在一些 电子 邮件 、社交媒体 以及点击浏览中获得一些具有 商业价值的信息,这对企业未来的发展是非常
有利的。
a d o o p 集群本 身的优点
Ha d o o p集群指 的便是 为 了对 海量 的非结 : 数据 进行存储和分析而设计的一种特定 的
版) . 2 0 1 3 ( 2 9 ) .
除此 之外 ,Ha d o o p本 身的应 用也 非常 的 广泛 ,能够更好 的进行数据处理 、系统推荐 , 对仓 库 中的数 据 以及市场 活动 进行 一 定的分
泛,主要在于其进行数据提取 、数据变形 加载 等方面 优势 非常 的明显 。Ha d o o p的