大数据时代的数据库的创新与发展

大数据时代的数据库的创新与发展

大数据时代的数据库的创新与发展

摘要：大数据时代的到来，使得传统数据库在处理百TB以上、特别是PB级数据的查询、

统计、分析等应用时，遇到性能上的瓶颈。面对电信、金融、安全、政企等大数据量应用，包括电信话单、金融细帐、智能电网、经营分析、公安网监、舆情监控、审计稽查、应急指挥等，用户体验往往不可接受。海量数据的3V(数量Volume、速度Velocity、多样Variety)挑战着传统数据库曾经非常成功的“一种架构支持多类应用”的模式。互联网和大数据应用的冲击下，世界数据库格局在发生革命性的变化，通用数据库(OldSQL)一统天下变成了OldSQL、NewSQL、NoSQL共同支撑多类应用的局面。

大数据是信息化的一个崭新发展阶段，通过分析各种大数据，人类对知识的认知可以见微知著、集腋成裘、由此及彼，对世界的认知也将更全面、更深入、和更具前瞻性。自2011年5月，EMC和IDC在合作研究“数字宇宙”五年之后提出“大数据”概念以来，“大数据经济”的影响力愈发显著，谷歌、Facebook竞相超过微软，曾经的“软件为王”让位于“数据为王”。

可以预见，大数据时代将引发大量应用创新，比如，城市大数据应用将支撑智慧城市建设，还有智慧教育、智慧医疗、智慧交通、智慧金融等;

关键词：大数据时代，数据库；系统；创新；

引言：“大数据”（ big data）或者称为“海量数据”，这个直白的名词，已经在全球

引起了广泛关注，已经引领了又一轮数据技术的革命。

美国EMC 公司于2011 年5 月在美国拉斯维加斯举办第11 届 EMC World 大会，大会的核心是帮助企业利用IT变革的重要趋势。此次大会以“云计算相遇大数据（ Cloud Meets Big Data）”为主题，着重展现当今两个最重要的技术趋势，正式抛出了“大数据”概念。

根据IDC《数字世界》研究项目在2012年的统计，2010年全球数字资源的规模首次突破了ZB（1ZB=1万亿GB）级别，达到了1.227ZB；而2005年只有130Eb，五年增长了10倍。如果保持这种爆炸式的增长速度，到了2020年，我们的数字资源规模将超过40ZB，相当于世界上每个人拥有超过5200GB的数据。无疑，我们已进入了大数据时代。

在 2011 年 12 月，我国工信部发布了物联网“十二五”规划，提出了4项关键技术创新工程。信息处理技术的内容包括海量数据存储、数据挖掘、图像视频智能分析等，都是大数据技术的重要组成部分；另外 3 项关键技术创新工程，包括信息感知技术、信息传输技术、信息安全技术，这些也都与“大数据”密切相关。我国也对大数据技术给与了足够的重视。基于以上概述，大数据时代已经到来，已经对我们的社会产生了重大影响，本文将尝试对大数据时代我国的索引和数据库事业的发展与创新进行研究和展望。

大数据时代：

多权威机构和企业对大数据给予了不同的定义。麦肯锡认为，“大数据所涉及的数据集规模已经超过了传统数据库软件获取、存储、管理和分析的能力。”IBM公司认为，可以用3个特征相结合来定义大数据：数量（V olume）、种类（Variety）和速度（Velocity），即庞大容量、极快速度和种类丰富的数据。IDC认为，“大数据不是一个事物，而是一个跨多个信息技术领域的活动。大数据技术描述了新一代的技术和架构，其被设计用于通过使用高速（V elocity）的采集、发现或分析，从超大容量（V olume）的多样（Variety）数据中经济地提取价值（Value）。”

综合对种不同的见解，本文认为，具备以下特征的就是大数据。

（1）数量大（V olume）。大数据所包含的数据量很大，而且在急剧增长之中。但是，可供使用的数据量在不断增长的同时，可处理、理解和分析的数据比例却不断下降。

（2）种类多（Variety）。随着技术的发展，数据源不断增多，数据的类型也不断增加。不仅包含传统的关系型数据，还包含来自网页、互联网、搜索索引、论坛、电子邮件、传感器数据等原始的、半结构化和非结构化数据。

（3）速度快（Velocity）。除了收集数据的数量和种类发生变化，生成和需要处理数据的速度也在变化。数据流动的速度在加快，要有效的处理大数据，需要在数据变化的过程中实时地对其进行分析，而不是滞后的进行处理。

（4）价值量（Value）。在信息时代，信息具有很重要的商业价值。但是，信息具有生命周期，数据的价值会随时间快速减少。另外，大数据数量庞大，种类繁多，变化也快，数据的价值密度很低，如何从中尽快的分析得出有价值的数据非常重要。对海量的数据进行挖掘分析，这也是大数据分析的难点。

（5）真实性（Veracity）。这是一个衍生特征。真实有效的数据才具有意义。随着新数据源的增加，信息量的爆炸式增长，我们很难对数据的真实性和安全性进行控制，因此需要对大数据进行有效的信息治理。

大数据在结构类型上也有其特点：大多数的大数据都是半结构化或非结构化的。半结构化的数据是指具有一定的结构性并可被解析或者通过使用工具可以使之格式化的数据，如包含不一致的数据之和格式的员工薪酬数据。非结构化的数据是指没有固定结构，通常无法直接知道其内容，保存为不同类型文件的数据，如各种图像、视频文件。根据目前大数据的发展状况，未来数据增长的绝大部分将是半结构化或非结构化的数据。

大数据时代的到来：

（1）大数据时代的到来

理论的提出：2008年，《Nature》杂志出版一期专刊专门讨论未来的大数据（Big Data）处理相关的一系列技术问题和挑战。

现实的节点：2007 人类创造的信息量有史以来第一次在理论上超过可用存储空间总量的一年。

（2）大数据时代到来的原因：

首先，信息技术和计算机网络技术的发展，为大数据时代的到来奠定了坚实的技术基础。各种技术的发展，使得数据的产生、来源、类型变得越来越多，由此产生出了的数目庞大且不断急剧增长的非结构化数据、半结构化数据，整个社会发展进入到了大数据时代。

其次，大量智能终端的广泛应用与网络应用的不断增长，为大数据时代的到来奠定了坚实的物质基础。通过互联网和社交网络，数码相机等工具，每个人的日常生活正在被数字化，人们可以随时方便的根据自己的需要，产生大量的非结构化数据、半结构化数据。特别是智能手机和笔记本电脑的普及，是当前数据量爆炸增长的一个重要原因。

最后，信息社会的快速建立，信息成为越来越重要的经济资源，也是大数据时代到来的重要原因。在信息时代，数据已经成为社会资源的重要部分，基于数据的处理、分析、挖掘等服务都被信息服务机构广泛应用和开展，信息的经济价值越来越大，对数据的重视程度越来越高，由此也产生了大量的数据。

（3）大数据时代的到来，必定会对索引和数据库事业也产生了重大影响，本文将论述大数据为索引和数据库带来的机遇和挑战，探讨大数据时代索引和数据库事业的发展与创新，以引起业界学者对相关问题的关注与探讨。

大数据对于索引和数据库事业而言，既是巨大的机遇，又是巨大的挑战。面对海量的种类繁多的半结构化和非结构化数据，从中迅速的进行分析，找出有效的价值，这一方面具有重大的经济价值，另一方面也要求我们必须改进现有的技术，使用新方法来从数据中提取价