第7章 现代计算机新技术介绍

4、特点 大数据分析相比于传统的数据仓库应用，具有数据量大、查询 分析复杂等特点。《计算机学报》刊登的“架构大数据：挑战、 现状与展望”一文列举了大数据分析平台需要具备的几个重要特 性，对当前的主流实现平台——并行数据库、MapReduce及基 于两者的混合架构进行了分析归纳，指出了各自的优势及不足， 同时也对各个方向的研究现状及对未来研究做了展望。 大数据的4个“V”，或者说特点有四个层面：第一，数据体量巨 大。从TB级别，跃升到PB级别；第二，数据类型繁多。前文提 到的网络日志、视频、图片、地理位置信息等等。第三，处理 速度快，1秒定律，可从各种类型的数据中快速获得高价值的信 息，这一点也是和传统的数据挖掘技术有着本质的不同。第四， 只要合理利用数据并对其进行正确、准确的分析，将会带来很 高的价值回报。业界将其归纳为4个“V”：Volume（大量）、 Variety（多样）、Velocity（高速）、Value（价值）。



5、作用及其用途 作用 （1）变革价值的力量 未来十年，决定中国是不是有大智慧的核心意义标准，是国民幸福。 一体现到民生上，通过大数据让事情变得澄明，看我们在人与人关系 上，做得是否比以前更有意义；二体现在生态上，看我们在天与人关 系上，做得是否比以前更有意义。总之，让我们从前10年的意义混沌 时代，进入未来10年意义澄明时代。 （2）变革经济的力量 生产者是有价值的，消费者是价值的意义所在。有意义的才有价值， 消费者不认同的，就卖不出去，就实现不了价值；只有消费者认同的， 才卖得出去，才实现得了价值。大数据帮助我们从消费者这个源头识 别意义，从而帮助生产者实现价值。这就是启动内需的原理。 (3)变革组织的力量 随着具有语义网特征的数据基础设施和数据资源发展起来，组织的变 革就越来越显得不可避免。大数据将推动网络结构产生无组织的组织 力量。最先反映这种结构特点的，是各种各样去中心ห้องสมุดไป่ตู้的WEB2.0应用， 如RSS、维基、博客等。 大数据之所以成为时代变革力量，在于它通 过追随意义而获得智慧。
用途 大数据可分成大数据技术、大数据工程、大数据科学和大数据 应用等领域。目前人们谈论最多的是大数据技术和大数据应用。 工程和科学问题尚未被重视。大数据工程指大数据的规划建设 运营管理的系统工程；大数据科学关注大数据网络发展和运营 过程中发现和验证大数据的规律及其与自然和社会活动之间的 关系。 物联网、云计算、移动互联网、车联网、手机、平板电脑、PC 以及遍布地球各个角落的各种各样的传感器，无一不是数据来 源或者承载的方式。 有些例子包括网络日志，RFID，传感器网络，社会网络，社会 数据（由于数据革命的社会），互联网文本和文件;互联网搜索 索引;呼叫详细记录，天文学，大气科学，基因组学，生物地球 化学，生物，和其他复杂和/或跨学科的科研，军事侦察，医疗 记录;摄影档案馆视频档案;和大规模的电子商务。 6、最核心的价值 大数据最核心的价值就是在于对于海量数据进行存储和分析。 相比起现有的其他技术而言，大数据的“廉价、迅速、优化”这 三方面的综合成本是最优的。
2、大数据技术特点 大数据的4V特点：Volume（大量）、Velocity（高速）、Variety（多 样）、value（价值）。 Hadoop MapReduce 思维模式转变的催化剂是大量新技术的诞生，它们能够处理大数据分 析所带来的4个V的挑战。扎根于开源社区，Hadoop已经是目前大数据 平台中应用率最高的技术，特别是针对诸如文本、社交媒体订阅以及 视频等非结构化数据。除分布式文件系统之外，伴随Hadoop一同出现 的还有进行大数据集处理MapReduce架构。根据权威报告显示，许多 企业都开始使用或者评估Hadoop技术来作为其大数据平台的标准。 NoSQL数据库 我们生活的时代，相对稳定的数据库市场中还在出现一些新的技术， 而且在未来几年，它们会发挥作用。事实上，NoSQL数据库在一个广 义派系基础上，其本身就包含了几种技术。总体而言，他们关注关系 型数据库引擎的限制，如索引、流媒体和高访问量的网站服务。在这 些领域，和关系型数据库引擎比较，NoSQL的效率明显更高。 3、结构 大数据就是互联网发展到现今阶段的一种表象或特征而已，没有必要 神话它或对它保持敬畏之心，在以云计算为代表的技术创新大幕的衬 托下，这些原本很难收集和使用的数据开始容易被利用起来了，通过 各行各业的不断创新，大数据会逐步为人类创造更多的价值。
第7章 现代计算机新技术介绍
7.1 大数据
大数据技术(big data)，或称巨量资料，指的是所涉 及的资料量规模巨大到无法通过目前软件工具，在 合理时间内达到管理、处理成为帮助政府、企业决 策更积极目的的资讯。 大数据的4V特点：Volume（大量）、Velocity（高 速）、Variety（多样）、value（价值）。
1 历史 “大数据”这个术语最早的引用可追溯到apache org的开源项目Nutch。 当时，大数据用来描述为更新网络搜索索引需要同时进行批量处理或 分析的大量数据集。随着谷歌MapReduce和Google File System （GFS） 的发布，大数据不再仅用来描述大量的数据，还涵盖了处理数据的速 度。 2 定义及其意义 1、大数据与云计算的关系 对于“大数据”（Big data），研究机构Gartner给出了这样的定义。“大 数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优 化能力的海量、高增长率和多样化的信息资产。 大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含 有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业， 那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过 “加工”实现数据的“增值”。 从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不 可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架 构。它的特色在于对海量数据进行分布式数据挖掘，但它必须依托云 计算的分布式处理、分布式数据库和云存储、虚拟化技术。 随着云时代的来临，大数据也吸引了越来越多的关注。大数据通常用 来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据 在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分 析常和云计算联系到一起，因为实时的大型数据集分析需要像 MapReduce一样的框架来向数十、数百甚至数千台电脑分配工作。