大数据论文报告

计算机系统结构（论文）

题目大数据的分析

院系信息工程系专业计算机科学与技术

年级2014级班级1471

姓名杜航学号201442051029

****: **

2015 年12 月22 日

目录

1 绪论 (3)

2 大数据概述 (3)

2.1 什么是大数据 (3)

2.2 大数据的三个层次 (4)

2.3 云存储对大数据的促进作用 (5)

2.4 大数据未来的行业应用 (6)

3 大数据时代的机遇与挑战 (7)

3.1 机遇与挑战并存 (7)

3.2 大数据时代如何抓住机遇并应对挑战 (7)

4 国内外有关大数据以及信息资源共享的研究现状 (9)

4.1 境外的大数据发展 (9)

4.2 国内外有关"政府数据信息共享"研究与比较……………………………………………………

10

5 参考文献…………………………………………………………………………………………………

11

1 绪论

说起大数据，估计大家都觉得只听过概念，但是具体是什么东西，怎么定义，没有一个标准的东西，因为在我们的印象中好像很多公司都叫大数据公司，业务形态则有几百种，感觉不是很好理解，所以我建议还是从字面上来理解大数据，在维克托•迈尔•舍恩伯格及肯尼斯•库克耶编写的《大数据时代》提到了大数据的4个特征，一个是数量大，一个是价值大，一个是速度快，一个是多样性。

关于大数据的概念其实在1998年已经就有人提出了，但是到了现在才开始有所发展，这些其实都是和当下移动互联网的快速发展分不开的，移动互联网的高速发展，为大数据的产生提供了更多的产生大数据的硬件前提，比如说智能手机，智能硬件，车联网，Pad等数据的产生终端。这些智能通过移动通信技术和人们的生活紧密的结合在一起，在人流、车流的背后产生了信息流，也就产生了大量的数据。

其次就是移动通信技术的快速发展，在2G时代，无线网速慢，数据产生也非常慢，数据体量也不够，所以还是无法形成大数据，而到了4G时代，终端数据的增加，使得任何的移动终端都在无时无刻的产生着大量的数据，这个也是大数据到来的一个条件之一。

第三个方面的就是大数据相关技术的飞速发展，如云计算，云存储技术，他们的快速发展，是大数据诞生的温床，如果没有这些技术，即使有大量的数据也只能望洋兴叹。传统的存储技术相对落后，根据不同数据实行单一存储，这个显然满足不了大数据的需求，而云时代的存储系统需要的不仅仅是容量的提升，对于性能的要求同样迫切，与以往只面向有限的用户不同，在云时代，存储系统将面向更为广阔的用户群体，用户数量级的增加使得存储系统也必须在吞吐性能上有飞速的提升，只有这样才能对请求作出快速的反应，云储存技术的成熟为大数据的快速发展奠定了基础。

2 大数据概述

2.1 什么是大数据？

说起大数据，估计大家都觉得只听过概念，但是具体是什么东西，怎么定义，没有一个标准的东西，因为在我们的印象中好像很多公司都叫大数据公司，业务形态则有几百种，感觉不是很好理解，所以我建议还是从字面上来理解大数据，在《大数据时代》提到了大数据的4个特征，一个是数量大，一个是价值大，一个是速度快，一个是多样性。

一个是数量比较大，大致有多大，就是大到PB级别，甚至ZB级别，1PB等于1024TB，1TB 等于1024G，那么1PB等于100多G，当然了具体的计算方法可以相关资料数据进行查询，总之，和传统的单个网站数据库存储的数据相比，已经是它的上百倍还多，而只有数据体量达到了PB级别以上，才能被称为大数据。第二个是价值大，价值是大体量数据的更深一步的演变，就是说，你如果有1PB以上的全国所有20-35年轻人的上网数据的时候，那么它自然就有了商业价值，比如通过分析这些数据，我们就知道这些人的爱好，进而指导产品的发展方向等等。如果有了全国几百万病人的数据，根据这些数据进行分析就能预测疾病的发生。这些都是大数据的价值。

第三个就是多样性，如果只有单一的数据，那么这些数据就没有了价值，比如只有单一的个人数据，或者单一的用户提交数据，这些数据还不能称为大数据，所以说大数据还需要是多样性的，比如当前的上网用户中，年龄，学历，爱好，性格等等每个人的特征都不一样，这个也就是大数据的多样性，当然了如果扩展到全国，那么数据的多样性会更强，每个地区，每个时间段，都会存在各种各样的数据多样性。

第四个是速度快，就是通过算法对数据的逻辑处理速度非常快，1秒定律，可从各种类型的数据中快速获得高价值的信息，这一点也是和传统的数据挖掘技术有着本质的不同。

总之，这些就是大数据的四个特征，只有具备了这些特征的数据才能称为大数据，那么实际中的大数据是怎么样呢？业内著名的和大数据相关的公司，七牛云存储将要在8月29日、30日举办一次大数据的会议，对于位于大数据技术产业链上的公司来说，我们应该可以获得更多的干货爆料。

2.2 大数据的三个层次

大数据有三个层次，第一个是数据采集层，以App、saas为代表的服务。第二个技术服务层，以七牛云存储为代表的大数据技术服务层，这些包括数据的存储，数据的分析，数据的挖掘等等，第三个是数据应用层，以数据为基础，为将来的移动社交、交通、教育，金融进行服务。本模块主要讲第一个层次，后面两个层次在下面的模块再细讲。

数据采集层——App、saas服务

在移动互联网时代，大数据的来源层有两个方面，一个方面是面向个人的数据来源前端如各种各样的App，一方面是面向企业服务的saas服务的产品。

面向个人的App：饮食领域的App，如饿了么，用户通过App进行选餐，下单，通过App交互就会形成饮食领域的大数据；在o2o领域，如嗒嗒巴士，用户通过使用App进行乘坐交通，上班下班，就会形成交通领域的大数据，如穿衣助手，用户通过App进行选择衣服颜色，样式，进行搭配，就会形式服务类的大数据，当然了还有秒拍、快看等娱乐类的消费数据。面向个人用户的App，以满足用户的需求为主要出发点，产生用户的数据，这些数据包括以个人基础的数据，也包括随群体数据，随着App用户量的增长，这些App数据就成了大数据。

面向个人的数据来源：直接通过用户的需求产生数据，而面向企业服务的——saas服务则不一样，他们通过为企业提供一套完整的解决方案，而产生数据，比如图灵机器人，人脸识别技术，气象plus、海康威视等，他们通过完美的解决方案服务企业，最终服务用户，从而产生大数据，数据采集层，是大数据的来源，也是大数据的基础。

2.3云存储对大数据的促进作用

有了数据采集层，那么下一步就是数据的存储层了，使用云存储技术将数据存储在云主机上，保证数据的安全、稳定、高效都需要云存储技术来完成。云存储主要负责数据的存储以及计算，比如七牛的云存储技术，云存储技术是大数据发展跨不过去的一道坎，如果没有云存储技术，大数据就不能得到发展。

（1）云存储中面向企业存储的数据最大

当前的云存储分为公共云存储和私有云存储，公共云存储主要是面向个人，比如百度网盘等，而私有云存储主要是面向企业，其实面向企业的云存储的存储的大数据最终来源还是来自个人，比如目前的很多saas服务，IM、统计等企业服务，服务主要是面向个人的App，而类似七牛云存储这样的云存储则是出于更底层，基于云主机之上，而位于所有个人服务、企业服务之下，所以说，七牛云存储应该积累了更多的大数据，而通过即将月底举办的这次《数据重构未来》的大会，我想可以获得更多的关于大数据的干货。

（2）云存储满足了海量数据的存储需求

随着移动互联网的快速发展，传统的存储方式已经在容量、性能、智能化等方面无法满足需求。云存储的出现，比如类似和七牛一样的云存储技术，从功能上弥补了传统存储的不足，通过虚拟化大容量存储、分布式存储和自动化运维等功能，实现了存储空间无限增加和扩容，自动化和智能化功能提高了存储效率。另外，规模效应和弹性扩展，降低运营成本，避免资源浪费。