大学计算机基础-11-计算机的新技术简介

1983年，太阳电脑提出“网络是电脑”;
2006年3月，亚马逊推出弹性计算云（Elastic Compute Cloud；EC2）服务; 2007年10月 Google与IBM开始在美国大学校园推广云计算的计划;
2008年1月30日，Google宣布在台湾启动“云计算学术计划”;
2008年2月1日，IBM宣布将在中国无锡太湖新城科教产业园为中国的软件公司建立全球第一个云计算 中心 2008年7月29日，雅虎、惠普和英特尔宣布一项涵盖美国、德国和新加坡的联合研究计划，推出云计 算研究测试床，推进云计算。 2008年8月3日，美国专利商标局网站信息显示，戴尔正在申请“云计算”商标 2010年3月5日，Novell与云安全联盟（CSA）共同宣布一项供应商中立计划，名为“可信任云计算计划 2010年7月，美国国家航空航天局和包括Rackspace、AMD、Intel、戴尔等支持厂商共同宣布“Open Stack”开放源代码计划 2011年2月，思科系统正式加入Open Stack，重点研制Open Stack的网络服务
11.1.1.3云计算平台 1.云计算的基本原理
通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中，企业数据
中心的运行将更与互联网相似。 2.云计算的资源迁移
从外部看，云计算只是将计算和存储资源从企业迁出，并迁入到云中。
3.云计算基本框架 云计算的基本框架是一个分层的结构，低层为上层提供服务，同时上层使用低层提供的 服务。从下向上每一层都通过虚拟化技术为上层提供服务。在不同的层次采用相应的虚拟化 技术，通过这些虚拟化技术，上层就会更容易的使用服务。
虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些来 自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一 些简单的清洗和预处理工作。 3.统计/分析 统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分 析和分类汇总等，以满足大多数常见的分析需求。
2.批处理
Google公司在2004年提出的Map Reduce编程模型是最具代表性的批处理模式。Map Reduce模
型首先将用户的原始数据源进行分块，然后分别交给不同的Map任务区处理。
Map Reduce的核心设计思想在于：（１）将问题分而治之；（２）把计算推到数据而不是把数据 推到计算，有效地避免数据传输过程中产生的大量通信开销。
“云计算”基本框架图
4.云计算服务模式 • 软件即服务（SaaS） • 平台即服务（PaaS） • 基础架构即服务（IaaS） 5.云计算部署模型 • 公用云（Public Cloud）
• 私有云（Private Cloud）
• 社区云（Community Cloud） • 混合云（Hybrid Cloud）
11.2.1.3 大数据的作用 变革价值的力量
变革经济的力量
变革组织的力量 12.2.1.4 大数据带来的机遇和挑战
机遇：大数据的挖掘和应用成为核心，将从多个方面创造价值。
大数据利用中安全更加重要，为信息安全带来发展契机。 大数据时代来临，使商业智能、信息安全和云计算具有更大潜力。 挑战：大数据需要专业化的技术和管理人才。 大数据的有效应用需要解决大容量、多类别和高时效数据处理的问题。 大数据利用对信息安全提出了更高要求。
第11章 计算机新技术简介
11.1 云计算与云时代
11.2 大数据
11.3 人工智能 11.4 物联网 11.5 移动互联网
11.1 云计算与云时代
11.1.1 云计算
11.1.1.1云计算概述
云计算（Cloud Computing）是继1980年代大型计算机到客户端-服务器的大转变之后的又一种 巨变。作为一种把超级计算机的能力传播到整个互联网的计算方式，云计算似乎已经成为研究专家
11.2.3.2 大数据处理的基本流程 大数据处理整个流程主要概括为四步，分别是采集、导入和预处理、统计和分析，最后是数据挖掘。 1.采集：大数据的采集是指利用多个数据库来接收发自客户端（Web、App或者传感器形式等）的 数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。
2.导入/预处理
们苦苦追寻的“能够解决最复杂计算任务的精确方法”的最佳答案。
事实上，许多云计算部署依赖于计算机集群（但与网格的组成、体系机构、目的、工作方式 大相径庭），也吸收了自主计算和效用计算的特点。它从硬件结构上是一种多对一的结构，从服务 的角度或从功能的角度它是一对多的。
“云计算”示意图
11.1.1.2云计算发展
6.云计算的关键技术
• 虚拟化技术 • 自动化技术 • 计算能力的整合
11.1.2 云时代
• 国外的云计算现状
• 我国的云计算现状 • 云计算的优势
基于使用的支付模式
扩展性和弹性 厂商的大力支持
可靠性
效率与成本 • 云计算需解决的问题
11.2 大数据
11.2.1 大数据概述
11.2.1.1 大数据的定义 大数据（Big Data），或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软 件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。 11.2.1.2 大数据的特点 Variety（多样化） Volume（海量） Velocity（快速） Vitality（灵活） Complexity（复杂）
4.挖掘
与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数据上 面进行基于各种算法的计算，从而起到预测（Predict）的效果，从而实现一些高级别数据分析的需求。
11.2.2 大数据分析
大数据分析常用的方法有以下几种： 1. 2. 3. 可视化分析 数据挖掘算法 预测性分析能力
4.
ቤተ መጻሕፍቲ ባይዱ5.
语义引擎
数据质量和数据管理
11.2.3 大数据处理技术
11.2.3.1 大数据处理模式 1．流处理 流处理的基本理念是数据的价值会随着时间的流逝而不断减少，因此尽可能快地对最新的数 据做出分析并给出结果是所有流数据处理模式的共同目标。