大数据生态系统概念组成

大数据生态系统概念组成

（一）大数据生态系统的提出

大树据时代已经到来，人们对于大数据对整个社会所起到的推动作用已经逐步认识到，但大数据的应用需要整个系统的运作，需要数据的获取渠道，数据的分析工具，数据分享的平台，数据分析人员等。因此，大数据要得以应用发展，必须建立大数据生态系统。随着大数据相关企业的迅速崛起以及社会对大数据信息的需求推动，大数据产业正在逐步形成一个完整的体系，从数据产生到数据输出的全过程，各个环节环环相扣，这一过程称之为大数据生态系统。IBM架构师对大数据生态系统进行了简单描述，提出大数据生态系统就是数据的生命周期，即数据采集、存储、查找、分析和可视化的过程。

（二）大数据生态系统的组成结构

CTOCTO发布的大数据生态图谱"将数百家大数据公司和

IT企业从产品和商业模式划分为2种，从中我们可以看到大数据的生态结构，以及其中各个环节的发展状况和市场热点)从图谱上来看，大数据产业可以划分为*大类：大数据基础设施&大数据分析类&大数据应用类&大数据数据源类&跨基础设施分析&开源软。大数据的概念目前被炒得非常火暴，但大数据应用还不甚成熟，大数据市场仍处于初级阶段，但大量的创业者已经涌入其中，不少企业经历了失败，但也有不少企业取得了可观的成果。在竞争过程中，市场在逐步走向整合，IT巨头在现阶段已经开始了收购大战，市场在竞争中，逐步走向成熟，大数据的价值即将接受实践的检验。

（三）大数据生态系统的构建措施

大数据生态系统的构建对于企业的未来发展具有决定性的作用，未来市场竞争将更趋于信息化科学化，企业决策将依靠大量的量化信息。当然要建立大数据生态系统需要耗费企业大量的资源，由于目前技术还不是很稳定，整个社会的数据环境还不甚好，企业构建大数据生态系统存在较大的风

险)但提前做好准备，为未来搭建一个坚实的基础是很有必要的。首先，要培养企业的数据文化，建立数据思维模式，充分理解数据作为一种资源对企业的重要性。从发现问题，查找数据，解决问题的思维，逐步转向使用数据进行预测，找出最优实现方案的思维模式。

其次，开拓企业数据获取渠道，随着大数据时代到来，企业需要收集的数据类型将不再局限于关系型数据，更多的是非结构化的数据，例如电子商务网站、网上银行和外部社交媒体网站等。将各种渠道的数据进行整合，突破传统数据壁垒，构建企业全面的数据信息视图)最后，加强对数据资源的管理，数据作为企业的资产，应对其进行维护，管理大师汤姆彼得斯曾说过：一个组织如果没有认识到管理数据和信息如同管理有形资产一样重要，那么它在新经济时代将无法生存。因此，对于数据的管理，应与资产管理一样，能够做到确认、计量、记录、归档、销毁。对于数据资源的确认首先要对数据资产作出明确的定义及其确认标准，符合确认条件的数据资源是能够引起经济利益流入的资产，在满足资

产的一般定义的情况下，同时要结合数据资源自身的特征。其次，数据资源的确认要进一步细化，对其进行归类，分类的标准多种多样，比如依据数据描述的对象进行初步分类，之后再按照关系密切程度进一步分类等等。总之，按照企业的业务需要，对数据资源在确认的基础上，进一步分类，既有利于企业的数据资源的管理和核算，而且可以提高使用效率。数据资源的计量是数据作为资产所必不可少的一步，对此企业可建立自身的价值评估体系，对数据的价值加以衡量。另外，信息技术的发展为大数据生态系统的建设带来了广阔的前景。大数据生态系统构建过程中，一大难题是基础设施的高投资额，这使得企业不得不考虑大数据生态能够为企业带来多大的收益，然而目前大数据的应用还在初级阶段，前景还不是很明朗的情况下，企业只能驻足观望。然而云计算的发展，以及与此相关的云服务产业为这一难题的解决带来了极大的可能性。云服务包括三个层级的服务，基础设施服务、软件研发平台服务、租用基于web的软件服务，云服务为未来大数据技术的应用提供了一种渠道，通过云服

务可以节省大量的资金，降低企业风险，提高使用效率。对于小型企业，通过云服务可以在大数据时代获取更大的利益。

（四）大数据处理生态系统构建

随着大数据和分析在企业应用的深入，面临的问题和挑战也越来越多，主要有如下方面：第一，对大数据和分析平台的企业级应用的可靠性、稳定性、安全性要求会越来越高；第二，大多数企业级用户都面对着极为复杂的行业应用场景，不同类型和来源的数据需要统一地被利用，在系统较多的企业中，如何对数据进行集成管理是很大的问题，特别是新的大数据方案如何与传统的数据仓库无缝集成；第三，大多数企业级客户还处于对大数据和分析的探索初期，对于新问题的初判和解决经验不足。

对于企业来说，随着系统的复杂性上升，最为迫切也是最为重要的问题是，如何将不同来源、不同结构的数据通过系统整合到一个平台。在这个平台上，全面涵盖大数据和分

析的各个应用，采用统一架构，集成到一个系统。在这个系统上，建立全面覆盖各种复杂行业应用场景的企业级大数据和分析应用解决方案，如静态批量大数据处理、实时大数据业务处理、数据仓库整合和数据集市构建等，对于这些大量异构数据系统，整合的标准是一个非常关键的问题。同时企业又在不断发展，未来要部署包括电商、移动商务、社交网络等新的应用，都需要在这个统一的平台上展开。以上所有的应用，构成了一个大数据的生态系统。

（五）大数据生态分析技术

1.5.1 大数据生态分析技术的机遇与挑战

快速捕获即时数据，创造高速价值大数据最大的特点是数据的产生速度非常快，每时每秒可以产生很多的数据。例如，每分钟facebook上的视频就可以多产生390万部，大数据的产生速度是不可想象的。据调查，53%的高管表示大部分关键信息无法及时获得，获取信息的速度越快，采取行动的速度也就越快，快速行动创造的价值越高，数据的使用