大学计算机基础 第九章 数据处理及前沿技术

— 25 —
9.2 普适计算及其应用
3.一个普适计算应用实例
在美国华盛顿湖的东岸，有一幢名为Bighouse的大房子， 又被称作是“未来之屋”，比尔盖茨就曾住在这座广 为人知的房屋里。
盖茨“未来之屋”客厅
— 26 —
第九章 数据处理及前沿技术
• 9.1 数据与数据处理 • 9.2 普适计算及其应用 • 9.3 机器学习与自然语言理解 • 9.4 计算机前沿技术概述
全校公共基础课（必修）
授课教师：金鑫 授课班级：口腔、藏医全科、藏医、藏西医
计算机系 《计算机应用基础》课程组
计算机应用基础
第一章 文字处理软件 第二章 电子表格软件 第三章 演示文稿软件 第四章 基于计算机的问题求解 第五章 计算机信息数字化基础 第六章 计算机的工作原理与硬件体系结构 第七章 计算机软件平台 第八章 计算机网络平台 第九章 数据处理及前沿技术
— 33 —
9.3 机器学习与自然语言理解
9.3.2 自然语言理解
➢ 自然语言处理过程 ➢ 从语言学角度提出自然语言处理问题，并建立 计算思维的抽象模型。 ➢ 把抽象模型形式化，使之能以一定的数学形式 或接近于数学的形式表现出来。 ➢ 把这种数学形式表示为算法，使之可以在计算 机上形式化。 ➢ 根据算法编写可在计算机上实现的程序，使之 成为语言分析器。
【情景问题9-1】
经过了一天学习和生活，你躺在宿舍的床上回顾 自己充实的一天：上午制作了学生会竞选所需的幻 灯片，幻灯片中还插入了一小段体现自己竞选理念 的视频；下午收集汇总了全班同学的期中考试成绩， 制作了电子表格并进行了数据分析，然后将电子表 格作为附件通过电子邮件发送给了年级辅导员；在 学长的指导下从互联网下载了一篇专业所需的学术 论文，准备明天认真研读……你是否能通过现在已 经学习的知识和掌握的方法，估算出自己这一天产 生了多大的数据量？并和同学分享这一数字，看看 你们谁是“数据达人”？
— 28 —
9.3 机器学习与自然语言理解
9.3.1 机器学习
➢ 机器学习重要理论和策略 ➢ 机器学习理论，主要是设计和分析一些计算机 可以自动“学习”的算法，这些算法是计算机 对大量数据进行自动分析获得规律，反过来再 利用这些规律对未知数据进行预测。 ➢ 机器学习策略，是推理机制。一个学习系统是 由学习和环境两部分组成。 ➢ 机器学习策略的分类：机械学习、示教学习、 演绎学习、类比学习、解释学习、归纳学习。
— 8—
9.1 数据与数据处理
— 9—
9.1 数据与数据处理
— 10 —
9.1 数据与数据处理
➢大数据的特点
Volume 海量
Velocity 高速
Variety 多样
Value 价值
— 11 —
9.1 数据与数据处理
➢大数据的价值
对大数据价值挖掘利用的研究趋势分布的预测
— 12 —
9.1 数据与数据处理
— 17 —
9.1 数据与数据处理
➢ 数据空间特点
数据空间与公共数据空间示意图
— 18 —
9.1 数据与数据处理
➢数据空间作为一种新型数据管理技术，面 临着诸多挑战:
– 完备的数学模型是数据管理技术的基础 – 数据空间的个性化和多样性问题 – 数据空间需要什么样的管理系统，是像传统的关系数
据库那样以集中的、庞大的系统软件形式呈现出来,还 是以服务的方式分布在不同的机构和位置，这就涉及 数据空间系统架构 – 其它问题：数据清洗和数据质量问题、数据空间不确 定性问题
— 13 —
9.1 数据与数据处理
9.1.3 数据中心
• 数据中心是一整套复杂的设施，不仅仅包括计算 机系统和其它与之配套的设备（如:通信和存储系 统）,还包含冗余的数据通信连接、环境控制设备、 监控设备以及各种安全装置。 ——维基百科
— 14 —
9.1 数据与数据处理
➢数据中心的“能量”
– 北京市交通运行监测调度中心，每日新增30GB – B – 智能电网数据中心，以国网信通在北京五个小
1GB=1024MB=230B 1TB=1024GB=240B 1PB=1024TB=250B 1EB=1024PB=260B 1ZB=1024EB=270B
— 4—
9.1 数据与数据处理
9.1.1 数据的分类
➢ 结构化数据: 即行数据,一般存储在数据库,可以 用二维表结构来逻辑表达实现的数据。如:所有 关系数据库中的数据均为结构化数据。
区为例。共有 353个采集点，日采集1.2万个参 数，包括频率、电压、电流等， 15分钟采集一 次，一天就能产生34GB。
— 15 —
9.1 数据与数据处理
➢数据中心发展趋势
– 亚太地区已经成为全球数据中心市场增速最快 的地区，尤其以中国和印度市场最为突出。众 多国际巨头，如Google，Apple，Facebook 纷纷计划在亚太地区筹建新的数据中心。
— 29 —
9.3 机器学习与自然语言理解
9.3.1 机器学习
➢ 机器学习的发展及应用 ➢ 机器学习始于20世纪50年代，复兴于80年代。 ➢ 机器学习应用方面
➢ 机器学习与人工智能各种基础问题的统一性观点在形成。 ➢ 机器学习已成为新的边缘学科并在高校形成一门课 ➢ 结合各种学习方法、多种形式的集成学习系统研究正在兴
9.1 数据与数据处理
数据挖掘（Data Mining）
数据挖掘是指通过特定的计算机算法对大量的数据 进行自动分析、从而揭示数据之间隐藏的关系、模 式和趋势，为决策者提供信息知识。
真实案例：沃尔玛号称拥有世界上最大的数据仓库，在一次 购物分析后，研究人员发现与婴儿尿片一起搭配购买最多的商 品竟然是风马牛不相及的啤酒！这是对真实历史数据进行“挖 掘”和“深层”分析之后得到的结论，应该反映出的是数据层 面的规律。原来30%-40%新生婴儿的年轻爸爸们被妻子派到 超市买婴儿尿片时，会顺便买点啤酒“犒赏”自己。沃尔玛随 后对啤酒和尿片进行了捆绑销售，结果销售量双双增加。
（1TB=240B），2倍于2012年，相当于2009年全球的数据 总量 ➢ 而据Cisco预测，2010至2015年，全球移动数据流量将激增 26倍，达到6.3EB/月（1EB=260B） 1K➢B=“102N4aBytuter=e2”10B、“Science”等顶级学术刊物对Big Data的关 1MB=注1024KB=220B
普适计算的创始人Mark Weiser说：“只有当机器进 入人们生活环境而不是强迫人们进入机器世界时，机 器的使用才能像林中漫步一样新鲜有趣。”
所以普适计算追求的是：人可以和计算环境更好地 融为一体，人们能够在任何时间、任何地点、以任何 方式进行信息的获取与处理。
— 24 —
9.2 普适计算及其应用
— 6—
9.1 数据与数据处理
9.1.2 大数据处理
➢ “大数据”带来的“冲击”
一 分 钟 产 生 的 数 据 量
— 7—
9.1 数据与数据处理
一 国内社交媒体的情况
分
钟 ➢ 新浪发送2 万条微博
产
生 ➢ 淘宝可以卖出6 万件商品
的
数 ➢ 人人网可以发出结构化数据: 不便于用数据库二维逻辑表来表 现的。如:各种格式的办公文档、文本、图片、 各类图像和音频/视频信息等。
➢ 半结构化数据: 用来统称介于上述二者之间的 数据。如:HTML文档就属于半结构化数据，数 据的结构和内容混在一起，没有明显的区分
— 5—
9.1 数据与数据处理
9.1.2 大数据处理
— 22 —
第九章 数据处理及前沿技术
• 9.1 数据与数据处理 • 9.2 普适计算及其应用 • 9.3 机器学习与自然语言理解 • 9.4 计算机前沿技术概述
— 23 —
9.2 普适计算及其应用
1.普适计算的特点
普适计算的概念源于1988年美国Xerox（施乐）公司 PARC研究中心的一系列研究计划，又称为“无处不在 的计算”。
2.普适计算的研究内容
普适计算需要从多个方面进行突破研究，最终构建一 个普适计算的体系结构。这些方面包括：
➢普适计算设备：包括传统计算机设备、移动数字设备及智能 电子设备等，共同协作搜集传递信息，对环境命令进行响应并 完成相关动作。 ➢普适网络：构建普适计算设备之间信息交互的网络平台。 ➢系统软件：保持用户在普适计算环境中的自然感。 ➢人机交互和觉察上下文：普适计算环境中需要对人机交互上 下文环境足够警觉，才能够在不打扰用户的前提下觉察到人机 交互的需求，及时、主动地提供服务。
第九章 数据处理及前沿技术
• 9.1 数据与数据处理 • 9.2 普适计算及其应用 • 9.3 机器学习与自然语言理解 • 9.4 计算机前沿技术概述
— 3—
第九章 数据处理及前沿技术
问题导入:大数据到底有多大？
➢ 截止2012年，人类拥有的信息总量约为2.8ZB（1ZB=270B） ➢ 2013年中国产生的数据总量超过0.8ZB，相当于8亿TB
➢ 认知模型
➢ 研究人类学习过程并进行计算机模拟
➢ 理论分析
➢ 从理论上探索各种可能的学习方法和独立应用 领域的算法
— 31 —ຫໍສະໝຸດ 9.3 机器学习与自然语言理解
[练习与思考9-1] 在搜索引擎中搜索若干关键字，根据搜索的
结果，归纳总结一下目前自然语言理解的智能 程度，并尝试找出某些难点上存在的问题。
– 2012年全球数据中心规模达到255.2亿美元， 增速为14.6%，整体态势已趋于放缓。
– 我国数据中心规模增速比较明显，但能耗问题 也日益突出。截止2014年初，全国规划建设大 型数据中心超过200个，服务器总数超过700 万台。
— 16 —
9.1 数据与数据处理
9.1.4 数据空间
➢ 数据空间（Data Space） – 数据空间就是一个实体所拥有的所有数据的集 合，包含与某个组织或个体相关的一切信息。 – 实际上是指主体数据空间，数据空间中的所有 数据对于主体来说都是可以控制的。 – 数据空间也是一种不同于传统数据管理的新的 数据管理理念，是一种面向主体的数据管理技 术。