大数据处理的基本思想和架构课件浙教版(2019)高中信息技术必修1(33张PPT)
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
据不适合使用Hadoop进行处理的是 C
A.某市高三学生模拟考成绩 B.某小区所有住户上半年的用水量 C.某市天气的实时变化情况 D.某大型超市3年的生鲜销售情况
图4.2.2 Hadoop的组成
同时适用于静态和动态数据
A
C
下列不属于Hadoop计算平台组成部分的是( ) B
mon公共库 B.分布式文件系统NTFS C.分布式数据库HBase D.分布式并行计算模型MapReduce
浙教版 信息技术（高中）
必修1 数据与计算
第4章 数据 处理与应用
4.2 大数据处理
学习 目标
1 大数据处理的基本思想 2 批处理计算和流计算、图计算，编程处理数据 3 文本数据处理，文本数据分析与应用 4 数据可视化
1 重点：大数据处理的思想和编程处理数据。
重点 难点
2 难点：编程处理数据。
课堂导入
下列关于分布式文件系统，说法错误的是( )
B
A.是一个高度容错性的系统B.适合于静态数据的存储，但不适合于流数据的
存储C.Hadoop系统采用基于列的存储方式进行存储D.大规模海量数据以文
件的形式，用多个副本保存在不同的存储节点中
C
图4.2.6 蛋白质激素构成图 （由2.7万个节点和794万条边组成）
大数据特征 表格处理软件
数据量体大 速度快 数据类型多 价值密度低
×
大数据技术、理论和处理方法
大数据处理的基本思想和架构
分治思想
开发“羊了个羊”小程序 写代码 画界面 设计游戏 宣传 计算机专业 美术专业 计算机专业 新媒体专业
成果
子问题==小问题？
n:1 1:n
n个志愿来自10个不同的城市，每个城市按每个志愿参加志愿活 动降序排列。小明把n个志愿按城市分成10个集合，在每个集合
Dቤተ መጻሕፍቲ ባይዱ解析法
图4.2.1 大数据处理类型
大数据处理
静态数据 流数据 图数据
批处理计算（Hadoop、spark等） 流计算（storm、heron等） 图计算（pregel、graphx等）
1月内
通过下列方式获取数据，数据类型属于静态数据的是( C )
A.各个监控不断向监控中心发送的数据B.同一时间内收到10万 移动设备的位置信息C.服务器的近10天内的IP访问数据日志D. 大型购物网站的广告推荐
进行排序，该算法主要采用的思想是( C )
A.顺序查找法
B.枚举法C.分治算法
D.解析法
把n个数据按序排序，若要查找一个数是否在这些数据中，把这
些数分成前后两部分，与中间的数据进行对比，如果该数据在前
半部分，则继续按前面的思想进行分别查找，该算法主要采用的
思想是( )
C
A.顺序查找法
B.枚举法
C.分治算法
某大型购物网站收集了用户浏览网站的数据用于广告个性化实时
推荐，下列处理方式中合理的是 B
A.选用针对静态数据的批处理计算 B.选用针对流数据的实时计算 C.选用针对图结构数据的图计算 D.用统计分析软件提供的丰富的统计算法进行数据分析
A
1、批处理计算
Hadoop的设计初衷是面向大规模静态数据的批量处理，以下数
D
4、实时处理与批处理的整合
D
下列有关大数据中统计和处理说法正确的是( ) B
A.批处理的结果不能用于实时处理系统中 B.图处理软件主要包括图数据库和并行图处理系统 C.同一个平台既要么做批处理，要么做实时流计算，不能两者兼之 D.对于社交网络的个性化数据推荐，往往可以在批处理平台中进行计算
A.某市高三学生模拟考成绩 B.某小区所有住户上半年的用水量 C.某市天气的实时变化情况 D.某大型超市3年的生鲜销售情况
图4.2.2 Hadoop的组成
同时适用于静态和动态数据
A
C
下列不属于Hadoop计算平台组成部分的是( ) B
mon公共库 B.分布式文件系统NTFS C.分布式数据库HBase D.分布式并行计算模型MapReduce
浙教版 信息技术（高中）
必修1 数据与计算
第4章 数据 处理与应用
4.2 大数据处理
学习 目标
1 大数据处理的基本思想 2 批处理计算和流计算、图计算，编程处理数据 3 文本数据处理，文本数据分析与应用 4 数据可视化
1 重点：大数据处理的思想和编程处理数据。
重点 难点
2 难点：编程处理数据。
课堂导入
下列关于分布式文件系统，说法错误的是( )
B
A.是一个高度容错性的系统B.适合于静态数据的存储，但不适合于流数据的
存储C.Hadoop系统采用基于列的存储方式进行存储D.大规模海量数据以文
件的形式，用多个副本保存在不同的存储节点中
C
图4.2.6 蛋白质激素构成图 （由2.7万个节点和794万条边组成）
大数据特征 表格处理软件
数据量体大 速度快 数据类型多 价值密度低
×
大数据技术、理论和处理方法
大数据处理的基本思想和架构
分治思想
开发“羊了个羊”小程序 写代码 画界面 设计游戏 宣传 计算机专业 美术专业 计算机专业 新媒体专业
成果
子问题==小问题？
n:1 1:n
n个志愿来自10个不同的城市，每个城市按每个志愿参加志愿活 动降序排列。小明把n个志愿按城市分成10个集合，在每个集合
Dቤተ መጻሕፍቲ ባይዱ解析法
图4.2.1 大数据处理类型
大数据处理
静态数据 流数据 图数据
批处理计算（Hadoop、spark等） 流计算（storm、heron等） 图计算（pregel、graphx等）
1月内
通过下列方式获取数据，数据类型属于静态数据的是( C )
A.各个监控不断向监控中心发送的数据B.同一时间内收到10万 移动设备的位置信息C.服务器的近10天内的IP访问数据日志D. 大型购物网站的广告推荐
进行排序，该算法主要采用的思想是( C )
A.顺序查找法
B.枚举法C.分治算法
D.解析法
把n个数据按序排序，若要查找一个数是否在这些数据中，把这
些数分成前后两部分，与中间的数据进行对比，如果该数据在前
半部分，则继续按前面的思想进行分别查找，该算法主要采用的
思想是( )
C
A.顺序查找法
B.枚举法
C.分治算法
某大型购物网站收集了用户浏览网站的数据用于广告个性化实时
推荐，下列处理方式中合理的是 B
A.选用针对静态数据的批处理计算 B.选用针对流数据的实时计算 C.选用针对图结构数据的图计算 D.用统计分析软件提供的丰富的统计算法进行数据分析
A
1、批处理计算
Hadoop的设计初衷是面向大规模静态数据的批量处理，以下数
D
4、实时处理与批处理的整合
D
下列有关大数据中统计和处理说法正确的是( ) B
A.批处理的结果不能用于实时处理系统中 B.图处理软件主要包括图数据库和并行图处理系统 C.同一个平台既要么做批处理，要么做实时流计算，不能两者兼之 D.对于社交网络的个性化数据推荐，往往可以在批处理平台中进行计算