认知计算与大数据科学
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
从图中看到系统发展的两条演变轨迹— —HPC与HTC系统。
技术融合
图1-6 技术融合促成互联网的云计算 （来自Buyya, Broberg, and Goscinski，转载许可[4]）
云计算由4种技术结合而成，如图所示。 硬件虚拟化和多核芯片使得在云上进行 动态配置成为可能。效用和网格计算技 术为云计算奠定了必要的基础。面向架 构的服务（SOA）、Web2.0以及平台 混搭的最新进展推动着云向前发展。自 主计算和数据中心自动化的操作也开始 使用云计算。
什么是数据科学
• 数据科学被认为是计算科学与工程、数理统计 以及实际应用领域这三个跨学科领域的交集。
• 大多数数据科学家是精通数学建模、数据挖掘 和数据分析等领域的专家。通过领域知识和数 学技能的结合，他们在设计算法的同时开发了 具体的模型。
• 数据科学存在于数据的整个生命周期中。它结 合了许多学科和领域的原理、技术和方法，如 数据挖掘和分析，特别是机器学习和模式识别。
供应商 供应商
供应商 供应商
表1-2 大数据产业在三个发展阶段的演变
阶段
数据库
数据中心
大数据产业
时间段
1960 ~ 1990
1980 ~ 2010
2010及之后
数据大小
MB – GB -TB
TB – PB - EB
EB – ZB - YB
市场大小和成长
数据库市场, 数据/
IDC 2012投入了
2013年IT投入为$34 B in ,
Massager
几乎所有的应用都需要计算经济学、网络级的数 据采集、可靠的系统和可扩展的性能。例如，银 行和金融业经常会用到分布式事务处理。近年来， 5大前沿信息技术，即社交、移动、分析、云和物 联网，变得越来越热门，需求越来越高，被誉为 SMACT技术。
大数据分析 数据挖掘、 机器学习、 人工智能
器Байду номын сангаас
Samsung,
Huawei.
数据中心、 浏览器、APIs、 BroadbandInterne Facebook,Twitter,
搜索引擎和 Web 2.0、YouTube、t, Sofware-
QQ,Linkedin,Baidu,
WWW基础架构 Whatsapp、微信、 Defined Networks. Amazon,Taobao.
数据可视化
数据挖掘
机器学习 深度学习
分析
社交网络和图分析 Hadoop
编程 技巧
分布式计算
领域 专家
数据 科学
算法
医疗工程和科学
建模
自然语言处理
数理 统计
统计学
Spark
线性代数和编程
下一个十年的新兴技术
系统发展趋势
使用集群、MPPs、P2P网络、网格计算、 网络云、Web服务和物联网的并行、分 布和云计算的发展趋势。 HPC：高性能计算 HTC：高通量计算 P2P：对等网 MPP：大规模并行处理器 RFID：射频识别
大数据革命
大数据特征：4V
大数据特征：3V
大数据特征： 5V
数据科学革命式进展
数据科学演进
数据科学用于在数据的发现，假 设和分析过程中直接抽取出可用 的知识
建立数据与其在相关领 域所表达含义的关联
知识发现和数据挖掘
KDD
大数据
数据仓库
统计学
统计学也叫数据科学
1968
1997
2001
Year 2013
率
知识工程
$22.6 B， (增长 了21.5%)
2015年催生了4.4 M的新兴大数据 工作岗位, Gartner 预测2020年这 一数据将扩大到100 B
SMACT技术
表1-3 SMACT技术及其特点
SMACT技术 理论基础
移动系统 电信、无线 接入理论、 移动计算
社交网络 社会科学、 图论、统 计学、社 会计算
云服务模型与大数据产业演变
表1-1三种云服务模型与本地部署计算的差异 （基于用户、供应商和共同责任的资源控制）
资源类型
本地部署 计算
IaaS模型
PaaS模型
SaaS模型
应用软件 虚拟机 服务器 存储 网络
用户 用户 用户 用户 共享
用户 共享 供应商 供应商 供应商
共享 共享 供应商
供应商 供应商 供应商
认知计算与深度学习
基于物联网云平台的智能应用
认知计算与大数据科学
目录 CONTENT
1 数据科学简介 2 大数据采集、挖掘和分析 3 社交媒体和移动云计算 4 机器智能和大数据应用
数据科学简介
在大数据、云平台以及物联网广泛应用于各个领域的今天，人们迫切需要智慧云 计算平台来应对越来越多的计算存储需求。目前，大部分云计算平台的主要功能 集中在对数据统一的存储处理和管理，而在认知和模拟人类感知智能方面的发展 尚处于初级阶段。并且，它们在物联网感知、机器学习、数据挖掘和分析能力上 有很大的发展空间。本章简要介绍了大数据理论基础、云服务模型、社交网络、 移动与无线通信、物联网以及认知能力。我们用SMACT代表5个前沿技术：社交 网络（Social）、移动通信（Mobile）、分析（Analytics）、云计算（Cloud） 以及物联网（IoT）。同时，我们针对智慧城市、健康监护、社交媒体以及商业 智能等领域，分别给出了应用案例，详细介绍了移动云和物联网资源的大数据采 集、挖掘、处理和分析等方法。
硬件研究基 软件工具和库 础
网络启用器
代表性的服务提供 商
智能设备、 安卓、IOS、Uber、4GLTE,WiFi,
AT&TWireless,
无线、移动 微信、NFC、
Bluetooth,Radio T-Mobile,
基础架构 iCloud、谷歌播放 AccessNetworks Verizon, Apple,
云计算
虚拟化、并 行与分布式 计算
物联网 （IoT）
感知理论、 赛博物理、 导航、普 适计算
数据中心、 云、搜索引 擎、大数据 湖泊，数据 存储 服务器集 群、云、 虚拟机、 互联网络
传感器、射 频识别、 GPS、机器 人、卫星、 ZigBee、陀 螺仪
Spark,Hama,
Co-
DatTorrent,MLlib,LocationClouds,
下面总结了大数据研究、开发和应用中的一些 开放性的挑战。
结构化数据 VS 具有有效索引的非结构化数据 识别、去识别与再识别技术 大数据的本体与语义 数据的检查与缩减技术 设计、构造、操作与描述 数据的集成与软件的互操作性 数据的不变性与永生性 数据测量方法 数据范围、标准、趋势和估计
技术融合
图1-6 技术融合促成互联网的云计算 （来自Buyya, Broberg, and Goscinski，转载许可[4]）
云计算由4种技术结合而成，如图所示。 硬件虚拟化和多核芯片使得在云上进行 动态配置成为可能。效用和网格计算技 术为云计算奠定了必要的基础。面向架 构的服务（SOA）、Web2.0以及平台 混搭的最新进展推动着云向前发展。自 主计算和数据中心自动化的操作也开始 使用云计算。
什么是数据科学
• 数据科学被认为是计算科学与工程、数理统计 以及实际应用领域这三个跨学科领域的交集。
• 大多数数据科学家是精通数学建模、数据挖掘 和数据分析等领域的专家。通过领域知识和数 学技能的结合，他们在设计算法的同时开发了 具体的模型。
• 数据科学存在于数据的整个生命周期中。它结 合了许多学科和领域的原理、技术和方法，如 数据挖掘和分析，特别是机器学习和模式识别。
供应商 供应商
供应商 供应商
表1-2 大数据产业在三个发展阶段的演变
阶段
数据库
数据中心
大数据产业
时间段
1960 ~ 1990
1980 ~ 2010
2010及之后
数据大小
MB – GB -TB
TB – PB - EB
EB – ZB - YB
市场大小和成长
数据库市场, 数据/
IDC 2012投入了
2013年IT投入为$34 B in ,
Massager
几乎所有的应用都需要计算经济学、网络级的数 据采集、可靠的系统和可扩展的性能。例如，银 行和金融业经常会用到分布式事务处理。近年来， 5大前沿信息技术，即社交、移动、分析、云和物 联网，变得越来越热门，需求越来越高，被誉为 SMACT技术。
大数据分析 数据挖掘、 机器学习、 人工智能
器Байду номын сангаас
Samsung,
Huawei.
数据中心、 浏览器、APIs、 BroadbandInterne Facebook,Twitter,
搜索引擎和 Web 2.0、YouTube、t, Sofware-
QQ,Linkedin,Baidu,
WWW基础架构 Whatsapp、微信、 Defined Networks. Amazon,Taobao.
数据可视化
数据挖掘
机器学习 深度学习
分析
社交网络和图分析 Hadoop
编程 技巧
分布式计算
领域 专家
数据 科学
算法
医疗工程和科学
建模
自然语言处理
数理 统计
统计学
Spark
线性代数和编程
下一个十年的新兴技术
系统发展趋势
使用集群、MPPs、P2P网络、网格计算、 网络云、Web服务和物联网的并行、分 布和云计算的发展趋势。 HPC：高性能计算 HTC：高通量计算 P2P：对等网 MPP：大规模并行处理器 RFID：射频识别
大数据革命
大数据特征：4V
大数据特征：3V
大数据特征： 5V
数据科学革命式进展
数据科学演进
数据科学用于在数据的发现，假 设和分析过程中直接抽取出可用 的知识
建立数据与其在相关领 域所表达含义的关联
知识发现和数据挖掘
KDD
大数据
数据仓库
统计学
统计学也叫数据科学
1968
1997
2001
Year 2013
率
知识工程
$22.6 B， (增长 了21.5%)
2015年催生了4.4 M的新兴大数据 工作岗位, Gartner 预测2020年这 一数据将扩大到100 B
SMACT技术
表1-3 SMACT技术及其特点
SMACT技术 理论基础
移动系统 电信、无线 接入理论、 移动计算
社交网络 社会科学、 图论、统 计学、社 会计算
云服务模型与大数据产业演变
表1-1三种云服务模型与本地部署计算的差异 （基于用户、供应商和共同责任的资源控制）
资源类型
本地部署 计算
IaaS模型
PaaS模型
SaaS模型
应用软件 虚拟机 服务器 存储 网络
用户 用户 用户 用户 共享
用户 共享 供应商 供应商 供应商
共享 共享 供应商
供应商 供应商 供应商
认知计算与深度学习
基于物联网云平台的智能应用
认知计算与大数据科学
目录 CONTENT
1 数据科学简介 2 大数据采集、挖掘和分析 3 社交媒体和移动云计算 4 机器智能和大数据应用
数据科学简介
在大数据、云平台以及物联网广泛应用于各个领域的今天，人们迫切需要智慧云 计算平台来应对越来越多的计算存储需求。目前，大部分云计算平台的主要功能 集中在对数据统一的存储处理和管理，而在认知和模拟人类感知智能方面的发展 尚处于初级阶段。并且，它们在物联网感知、机器学习、数据挖掘和分析能力上 有很大的发展空间。本章简要介绍了大数据理论基础、云服务模型、社交网络、 移动与无线通信、物联网以及认知能力。我们用SMACT代表5个前沿技术：社交 网络（Social）、移动通信（Mobile）、分析（Analytics）、云计算（Cloud） 以及物联网（IoT）。同时，我们针对智慧城市、健康监护、社交媒体以及商业 智能等领域，分别给出了应用案例，详细介绍了移动云和物联网资源的大数据采 集、挖掘、处理和分析等方法。
硬件研究基 软件工具和库 础
网络启用器
代表性的服务提供 商
智能设备、 安卓、IOS、Uber、4GLTE,WiFi,
AT&TWireless,
无线、移动 微信、NFC、
Bluetooth,Radio T-Mobile,
基础架构 iCloud、谷歌播放 AccessNetworks Verizon, Apple,
云计算
虚拟化、并 行与分布式 计算
物联网 （IoT）
感知理论、 赛博物理、 导航、普 适计算
数据中心、 云、搜索引 擎、大数据 湖泊，数据 存储 服务器集 群、云、 虚拟机、 互联网络
传感器、射 频识别、 GPS、机器 人、卫星、 ZigBee、陀 螺仪
Spark,Hama,
Co-
DatTorrent,MLlib,LocationClouds,
下面总结了大数据研究、开发和应用中的一些 开放性的挑战。
结构化数据 VS 具有有效索引的非结构化数据 识别、去识别与再识别技术 大数据的本体与语义 数据的检查与缩减技术 设计、构造、操作与描述 数据的集成与软件的互操作性 数据的不变性与永生性 数据测量方法 数据范围、标准、趋势和估计