NoSQL

NoSQL数据库综述胡宗鹏 0943041310四川大学计算机学院计算机科学与技术专业09级7班摘要：本文由新浪微博为例子，引出NoSQL，然后简要介绍NoSQL的发展历史，然后对NoSQL进行较为详细的说明，最后对NoSQL的一些应用进行简要介绍。

关键词：NoSQL1引言在讨论NoSQL数据库之前，让我们先看一个例子：新浪微博作为社交类网站的巨头之一，每天产生的数据数以亿计，每时每刻都有大量的用户编写新的微博，因此每时每刻都会产生大量的数据库读写请求，但是关系型数据库应对上万次SQL查询还勉强撑得过去，面对数十万甚至上百万的访问量已经无能为力，何况还有几万几十万的SQL写数据请求。

其次，新浪微博不仅要面对大量的读写请求，其本身也要对海量的数据进行存储，每天几亿次的用户状态，会使SQL数据表变得无比庞大，而查询效率也会因此变得无比低下。

第三，关系型数据库很难进行横向扩展，面对与日俱增的数据量，新浪微博倘若要对SQL数据库进行升级，就需要停机维护和数据迁移，这对提供24小时服务的新浪微博来说，无疑是一件异常痛苦的事情。

因此，关系型数据库已经无法适应如今海量数据的存储和访问，由此NoSQL便顺应时势的诞生了。

那么，什么是NoSQL呢？字面上看，好像是No SQL，但是如今更为人所接受的解释是Not only SQL。

它并不是某一个特定的数据库，而是一类数据库的集合，代表着一种新的与传统关系型数据库完全不同的数据库类型。

NoSQL提倡运用非关系型的数据存储，不需要固定的表结构，通常也不存在连接操作，大部分使用如key-value存储、文档存储、列存储、图存储、对象存储和xml存储等方式。

2NoSQL的发展历史NoSQL的由来大约是这样的:当时还效力于Last. FM的JohanOskarsson(现在已经投靠Twitter了)组织了一个技术会议，话题是关于“opensource,distributed,nonrelationaldatabases"，为了方便一点，想出来一个“NoSQL”的术语。

然后由Rackspace的EricEvans引用，进而流传开来[1]。

但是实际上NoSQL数据库并不是最近才出现的，最早可以追溯到 1991年Berkeley DB第一版的发布,Berkeley DB是一个Key/Value(键/值)类型的Hush 数据库。

这种类型的数据库适用于数据类型相对简单，但需要极高的插入和读取速度的嵌入式场合[2]。

NoSQL得到真正的快速发展开始于2007年，从2007年到现在，先后出现了十多种比较流行的NoSQL产品，从2009年开始，国内的NoSQL领域也开始活跃起来，豆瓣的BcansDB，人人网的Nuclear开源NoSQL产品以及盛人创新院的TCDatabasc纷纷发布。

那么为什么NoSQL到现在才发展起来呢？首先是海量数据和云计算的发展，将SQL原本因数据量小而隐藏的一些问题逐渐暴露出来，证明了SQL在处理海量数据和高并发访问方面存在着缺陷；其次，随着网络的快速发展，新型web应用出现了更多的非结构化数据的存储要求，而SQL严谨的结构化数据存储方式却无法满足这急剧增长的需求，所以NoSQL便自然开始进入人们的视野。

在NoSQL的发展过程中，有两个比较重要的系统及论文。

其一便是Google的BigTable。

BigTable是一个分布式的、面向列的、多维的、稀疏的和多版本的表格系统，它将一个大表的数据，根据行键的取值区间进行分片，并且分布到多个服务器中，是一个强一致性系统。

其次便是亚马逊的Dynamo，这是一个基于P2P架构的分布式存储系统，以一致性哈希算法来分布数据，具有更好的可用性和故障恢复能力，但是一致性比较差，是一个最终一致性系统。

基于这两个系统，后来又出现了许多不同的系统，大部分是对这两个系统的克隆实现或混搭。

3NoSQL详细介绍3.1NoSQL的分类之前大致介绍了NoSQL的几种存储方式，现在我们进行一下详细的说明。

NoSQL分类[4]3.1.1键-值存储系统键一值存储系统是最简单的NoSQL系统，它将以一种算法把”键”映射到相应的“值”(数据)，而不关心数据的内容，它是非结构化的数据存储模式。

应用开发者需要自己组织和定义“值”的数据格式并解析。

键一值存储系统不支持任何非“键”的查询。

Dynamo是典型的键一值存储系统。

3.1.2列存储系统面向列的存储系统以BigTable和Hbase为典型代表。

在面向列的存储系统中，数据是以列为单位存储的，这有别于传统的关系数据库以行为单位存储。

相同列的数据存储在一起，从而可以支持列的动态扩展，可以容易地实现数据的线性扩展以达到海量的存储规模。

但是面向列的存储在复杂查询方面比较弱，比如多表的联合查询。

3.1.3文档存储系统面向文档的存储系统以MongoDB, CouchDB和Riak为典型代表。

面向文档的存储系统，将“键”映射到包含一定格式信息的文档中，这些文档都是JSON格式或者类似JSON格式。

文档中的格式是自由的，甚至可以存储列表和递归嵌套。

格式自由和文件存储的复杂性是一把双刃剑:应用开发者在建模上享有更大的自由，但应用的查询逻辑可能变得极其复杂。

3.1.4图存储系统图数据管理系统使用图结构(节点和边)和属性来表示信息和存储信息。

通用的图数据库可以存储任意的图，不同于特殊的图数据库和网络数据库。

基于图理论的图数据库使用节点、属性和边的概念。

节点类似于面向对象编程中的对象概念，代表类似于人、商业、账户或者其他任意项的实体。

属性存储与节点有关的信息，例如使用Wikipedia作为节点，那么它的属性可以是网页、引用材料或者以W开头的单词，选择哪一个取决于实际应用。

边被用来连接节点与节点或者节点与属性，表示两者之间的关系，最重要的信息存储在边上。

相对于关系数据库，图数据库存储某些特定的数据集要快得多，并且可以直接把图映射到面向对象应用中的结构体中。

因为不需要昂贵的Join操作，所以很容易就可以扩展到大规模数据集上。

因为较少依赖于严格的模式，所以较适合管理点对点和使用模式进化改变的数据，而关系数据库在处理相同操作时较快。

HyperGraphDB和Neo4J,是2个著名的图数据管理系统。

[3]3.2NoSQL的优势和劣势3.2.1NoSQL的优势3.2.1.1灵活的数据模型在传统的RDBMS的领域，存储数据库前必须分析数据，构建数据模型。

构建数据模型就是建立数据表，确定表里的各个字段，字段的数据类型以及表之间字段之间的关联。

应用随着时间的推移，需求必将，即数据模型将发生改变。

然而，在生产环境中更改数据模型是非常困难的问题。

即使是增加一个字段，或者更改一个字段的类型，都需要付出极大的代价，甚至是停机或者降低服务级别。

NoSQL数据库的共同思想就足要打破这种数据模型的限制。

NoSQL数据库允许应用在一个数据单元中存入其想要的任何结构，数据单元间一般没有模型的限制，他们之间的联系是扁平的。

如果要添加或删除数据单元里的数据项，不会影响到其他的数据单元。

理论上可以提高应用的迭代速度。

然而，如果不注意管理数据的完整性，那么模式自由也会带来灾难。

[5]3.2.1.2大数据量，高性能同样由于数据之间无关系，数据库的结构简单，在大数据量下，NoSQL数据库表现出非常高的读写性能。

3.2.1.3良好的扩展性随着数据库的负载增加，RDBMS的管理员一般采用向上扩展的方式提高能。

即购买性能史好的服务器代替旧服务器，这针对负载缓慢增加的情况是较有效的。

然而负载可能一直增加，不可能每次都更换服务器。

这样，水平扩展的思想被提出来，把负载均衡的分到小同的主机上。

RDBMS提供了水平扩展的功能，但对程序来说是半透明的，在水平扩展的时候，会大量的修改程序，甚至会停服。

NoSQL数据库在设计之初就考虑到了水平扩展，它对程序来说是透明的，可以随时添加节点，删除节点。

3.2.1.4经济性RDBMS通常被部署在高能机器上，甚至是专用硬件上，价格比较昂贵。

在云计算时代，数据量急速暴增，云提供商为了提供可靠的服务不得不大量采购昂贵的机器。

而NoSQL数据库通常使用廉价服务器集群来管理暴增的数据与事务规模。

廉价服务器集群的方案，相对高性能机器的RDBMS的集群有更多的数据节点，提供了更廉价、更可靠、更多备份的服务。

[5]3.2.2NoSQL的劣势3.2.2.1成熟度不高RDBMS己经存在了30多年了。

经过实践的证明，RDBMS满足了过去30年来的软件需求，为数据存储作出了巨大的贡献，无数的应用以RDBMS作为后端的存储。

NoSQL的实际应用刚刚起步，但对企业来说，稳定压倒一切，关系型数据库的成熟度足可以让人放心的，它运行稳定，功能也很丰富。

相比而言，大部分NoSQL的产品都还处于实验阶段。

3.2.2.2缺乏有力的商业支持RDBMS有着强大的商业支持。

Oracle、 Microsoft和IBM等世界级的数据库厂商提供了完善的服务。

相比而言，大部分的NoSQL数据库都是开源项目，虽然也有一些商业公司的支持，但支持的效果不可预计。

如果出现故障，通常只能自己解决。

3.2.2.3设计困难比起关系型数据库中的关系模型，NoSQL数据库的数据模型更加抽象，难以体现业务的实际情况，而且大部分开发人员的思想大都习惯了关系模型，使数据库的设计和维护都增加了很大难度。

3.3几个NoSQL实例3.3.1MongoDBMongoDB是一种非常优秀的面向文档存储的数据库，它主要解决海量数据的存储和访问效率的问题。

数据以一种类似json格式的bson格式组织成一个文档，存储在一个集合里。

根据官方测试，当数据量达到50Gb以上的时候，MongoDB的访问速度是MySQL的10倍以上，支撑的并发可以达到每秒0. 5-1. 5万次。

MongoDB自带了一个很出色的分布式文件系统gridfs，用来支持海量数据存储。

此外MongoDB还支持复杂的数据结构，有很强的数据查询功能，基本上可以完成关系型数据库要完成的任务。

3.3.2RedisRedis是一个高性能的key-value数据库。

redis的出现，很大程度补偿了memcached这类keyvalue存储的不足，在部分场合可以对关系数据库起到很好的补充作用。

它提供了Python，Ruby，Erlang，PHP客户端，使用很方便。

性能测试结果：SET操作每秒钟 110000 次，GET操作每秒钟 81000 次，服务器配置如下：Linux 2.6, Xeon X3320 2.5Ghz。

stackoverflow 网站使用Redis 做为缓存服务器。

3.3.3MembaseMembase 是 NoSQL 家族的一个新的重量级的成员。