【方案】大数据存储解决方案

【关键字】方案

大数据存储解决方案

篇一：大数据分析解决方案

大数据分析的三个技巧

.cn/cio/ XX年01月08日09：03 来源：CIO时代网

【文章摘要】大数据的性质是有他的三个特点（数据量大、种类多、处理速度快）决定的，数据分析的角色和作用理所当然是由大数据的性质决定的。当数据分析作用于大数据时，大数据必须身兼数职。意思就是数据分析在一个组织中扮演着多种角色和担负着多重责任。数据分析的职位是由DJ Patil和Jeff Hammerbacher制定的，他们试图称呼数据组的同事们，而又不想因为称呼而限制他们的能力。（because of improper job title like business analyst or research scientist Building Data Science Teams）

随着大数据在驱动企业成功中越来越有决定性作用，数据分析也变得越来越受欢迎。然而，一些领导者对数据分析扮演的角色和它所起的作用仍然不是很了解，就像很多时候领导者不知道怎么从大数据中抽取有用的信息，虽然很清楚的知道这些大数据是很可信的。他们的脚步落后了——他们的眼光在大数据的利用上其实是模糊的。

大数据的性质是有他的三个特点（数据量大、种类多、处理速度快）决定的，数据分析的角色和作用理所当然是由大数据的性质决定的。当数据分析作用于大数据时，大数据必须身兼数职。意思就是数据分析在一个组织中扮演着多种角色和担负着多重责任。

多种知识的掌握

为了解决数据量大的问题，大数据平台（例如：Apache Hadoop、LexisNexis HPPC）要求数据是被整理过的。数据分析员应该具有大数据平台应用的全方位知识，这样才能熟练的应用数据平台处理大数据。数据分析元应当具有以下知识：

1、了解大数据平台的框架，例如：DFS和MapReduce，他们的编程框架提供强大的应用程序设计。这就意味着数据分析员还要有软件构筑和设计的能力。

2、精通大数据平台支持的编程语言，例如：Java, Python, C++, or ECL, 等等。

3、具有熟练的数据库知识，特别是用到SQL语言的数据库，像：HBase, CouchDB, 等等。因为大数据平台经常需要数据库来保存和转换数据。

4、具有数学/统计学、机器学习、数据挖掘领域的专业知识。

一个企业的成功不是由数据量决定的，而是由能否成功的从大数据中发现和抽取有用的知识模式和关系决定的，然后用这些有价值的信息创造出有价值的产品。统计学、机器学习和数据挖掘可以很好的用于理解数据和发掘数据的价值。自然，为了成功数据分析者必须具备这些领域的专门知识。会使用一些数据挖掘工具或者平台（例如：R, Excel, SPSS and SAS）是最好的，可以《Top Analytics and big data software tools》这本书。

5、熟练应用自然语言处理的软件或工具。大数据的内容大都来自于文本文件、新闻、社交媒体和报告、建议书等等。因此了解和掌握至少一种自然语言处理软件或工具对于做一个成功的分析者起着决定性的作用。

6、应用至少一种数据可视化工具。为了更有效的演示数据存在的模式和关系，能应用好数据可视化工具无疑是对数据分析员的一个加分。这里有20款数据可视化工具的链接。

创新——好奇

随着数据变化速度的加快，经常也会有新的发现和问题出现，数据分析员应该对那些变化敏感、对新发现好奇，并且找出应对新问题的方法。他/她也要热情的及时相互沟通，从新问题中探索新产品的思路和解决方案，成为产品创新的驾驭者。

商业技能

首先，数据分析员多元化的性质决定了数据分析员要好很强的沟通能力，在企业里数据分析员必须和不同的人沟通，其中包括：沟通和理解业务需求、应用程序的要求、把数据的模式和关系翻译给市场部、产品开发组和公司高管看。对于企业来说有效的沟通是及时采取行动应对大数据新发现的关键。数据分析员应该是能联系所有，很好的沟通者。

第二、数据分析员要具有良好的规划和组织能力。这样他/她才能巧妙地处理多个任务、树立正确的优先顺序、保证按时完成任务。

第三，数据分析员应该具有说服力、激情、和演讲能力。才能引导人们基于数据的发现做出正确的决定，让人们相信新发现的价值。数据分析员在某种意义上说是领导者，驱动产品创新。

所有这些大数据的性质决定了数据分析员该具备的技巧和他们在企业中扮演的角色。

盘点大数据分析的十二大杀手锏

分类：BI MapReduceXX-11-19 13:12 218人阅读评论(0) 收藏举报

当数据以成百上千TB不断增长的时候，我们需要一种独特技术来应对这种前所未有的挑战。大数据分析迎来大时代

全球各行各业的组织机构已经意识到，最准确的商务决策来自于事实，而不是凭空臆想。这也就意味着，他们需要在内部交易系统的历史信息之外，采用基于数据分析的决策模型和技术支持。互联网点击数据、传感数据、日志文件、具有丰富地理空间信息的移动数据和涉及网络的各类评论，成为了海量信息的多种形式。

极具挑战性的是，传统的数据库部署不能处理数TB数据，也不能很好的支持高级别的数据分析。在过去十几年中，大规模并行处理（MPP）平台和列保存数据库开启了新一轮数据

分析史上的革命。而且近年来技术不断发展，我们开始看到，

技术升级带来的已知架构之间的界限变得更加模糊。更为重要的是，开始逐步出现了处理半结构化和非结构化信息的NoSQL等平台。

大数据分析迎来大时代

本文中，我们将向大家介绍迄今为止，包括EMC的Greenplum、Hadoop和MapReduce 等提供大数据分析的产品。此外，惠普前段时间收购实时分析平台Vertica、IBM独立的基于DB2智能分析系统和Netezza的相关产品。当然，也有微软的Parallel Data Warehouse、SAP 旗下公司Sybase的Sybase IQ数据仓库分析工具等。下面，就让我们来了解业界大数据分析的这十二大产品：

1.模块化EMC Appliance处理多种数据类型