大数据基础-第一章-大数据概述
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
息相关的物理对象和实物实现互联互通是物联网的基本目的。越来 越多的物理对象正在以前所未有的速度连接到互联网，实现了物联 网（IOT）的概念。这为各行各业提供了丰富的大数据，也为基于大 数据的高效决策提供了反馈路径。
1.4 大数据相关技术
13
云技术：云技术可粗略划分为支撑大数据存储的云存储技术和支撑大数 据挖掘处理计算的云计算平台。
1.2 大数据相关概念
8
大数据空间 右图显示了构成大数据空间的不同类型的数据。每种类型的数据都表现出不同的价
值和不同的投资回报率（ROI）
不同数据量平台都有一个自身的ROI阈值。这意味着大数据发展的每个阶段都需要 在存储和管理数据相关的成本方面与通过应用分析从数据中获得的价值两者之间取 得平衡
1.7 大数据面临的挑战与发展展望
19
➢ 发展展望：
目前开发具有并行计算的多核处理器应该是其中一种很有前景 的解决方案。
实时收集数据和提供数据服务是导航、社交网络、金融、生物 医学、天文学、智能交通系统和物联网等大数据应用的重中之 重。
大数据应用程序开发需要具有很强的数学能力和相关专业知识 的人员
块。该模块包含企业数据、交易数据和来自运营端的维度数据。数据最终被传递 给数据产品，而数据产品提炼、生成并发出警告。从这个提炼中心学习到的知识 将用于增强知识平台，以实现未来知识的自动化和大规模的应用。
1.6 大数据与企业数字化转型
17
财务智能化转型的机遇与挑战
新一轮的产业升级，加速财务智能化转型 企业内部管理需求拉动管理会计创新，推动财务升级与智能化转型 政策环境驱动财务数字化转型 新IT技术为企业财务信息化变革和智能化转型提供了技术基础
10
金融与财务大数据应用案例
自动化风险管理 管理客户数据 预测分析 财务实时分析 深度个性化和定制化
1.3 大数据应用现状
11
其他领域的大数据应用案例
工业制造领域 电子政务领域 医疗医药领域 教育科研领域 电信领域
1.4 大数据相关技术
12
➢ 物联网技术： 物联网是一个基于互联网、传统电信网的承载体，让所有与信
➢大数据时代的大数据服务
社交媒体、电子商务、医疗 健康、安全、金融、电信、科研
等领域的大数据服务
服务形式多样
分析类型 操作分析
深度分析
时间序列分析 洞察力（预测）
智能分析
特征 复杂分析查询 可操作性商务处理的一部分 可操作性事务中的大容量数据分析 典型的多源性 非可操作性事务处理 复杂数据挖掘和预测分析、实时或者准实时响应 使用 Map-Reduce（映射规约）框架、列数据库，基于内 存进行分析 具有事务处理概念的分析：具有时间、至少一个数值和 元数据的元素
云存储 云存储以其大容量、高性能、低成本、易用、稳定等特征满足了大
数据的存储需求，随着大数据的发展应运而生。 云计算
云计算提供分布式计算任务，依赖分布式文件系统和分布式存储系 统。云计算是支撑大数据环境及其应用的基础平台。
1.4 大数据相关技术
14
移动互联网技术： 移动互联网正逐渐渗透到人们生活的各个领域，作为最便捷、通用、 覆盖广泛的技术和业务，正在深刻影响着大数据架构和应用的发展。当前 ，移动互联网技术最重要的发展方向之一就是与互联网技术相融合，通过 新的规范和模型让具有有限处理能力的低功率无线设备 参与到物联网中，并最终形成嵌入式互联网，进一步 完善大数据生态。
1.2 大数据相关概念
9
大数据处理：据相关研究的保守估计， 世界上的企业服务器系统在2008年处理 了9.57×1021字节的数据，十几年后的今 天，这个数字已经增长了数个数量级。 大数据系统：在大数据服务系统中涌 现了大量的不同架构和具体系统，右 图给出了一种典型的大数据系统架构 。
1.3 大数据应用现状
大数据基础
第一章 大数据概述
目录
2
一、大数据时代 二、大数据相关概念 三、大数据应用现状 四、大数据相关技术 五、大数据解决方案 六、大数据与企业数字化转型 七、大数据面临的挑战与发展展望
引入案例
3
证券分析师的“颜值”与盈利预测准确性
2019年9月16日，由香港中文大学和上海财经大学多位教授联合署名的论文Analysts' Beauty and Performance在《管理科学》上发表。论文指出，证券分析师的“颜值”与其盈利预测准确性及股票投资建 议的资讯丰富程度息息相关。研究人员调研了国内102家不同券商的2328名分析师在2005至2014年间所进行 的89 056项盈利预测。同时，研究人员从证券业协会网站下载了进行上述盈利预测的卖方分析师的证件照， 并要求63名拥有不同教育及职业背景、收入和社会经验的评审员，按分析师外表给予1至5的评分。研究结果 显示，外表越出众的分析师，其预测也愈准确。同时，外表愈具有吸引力的分析师，向上市公司管理层获取 资讯时便愈得到优待。研究结果显示，企业管理人员比较容易向外表具有吸引力的分析师透露信息。
分析大量复杂多样的结构化和非结构化信息
Hale Waihona Puke Baidu
示例 实时欺诈侦测、精准 广告、高频率交易等
从智能监测数据中 获取洞察力
算法交易 股票预测
1.2 大数据相关概念
7
大数据定义：Gartner根据3V中的容量（Volume）、多样性（Variety）和高速性 （Velocity）来定义大数据 容量 多样性 高速性
1.1 大数据时代
4
➢ 如何定义大数据的“大”
大数据之前没有“大”量的数据吗？ 高速产生的数据，传感器、智能手机和物联网等多源信息的产生。
➢大数据时代与以往最大的区别之一在于人们的活动越来越依赖智能 决策的支持
传统领域正在迅速大数据化
1.1 大数据时代
5
➢ 大数据时代的数据特征
价值密度低 数据组织复杂且非结构化 访问频率和并发性更高
分析大量复杂多样的结构化和非结构化信息
示例 实时欺诈侦测、精准 广告、高频率交易等
从智能监测数据中 获取洞察力
算法交易 股票预测
1.1 大数据时代
6
➢ 大数据时代的数据特征
价值密度低 数据组织复杂且非结构化 访问频率和并发性更高
➢大数据时代的大数据服务
社交媒体、电子商务、医疗 健康、安全、金融、电信、科研
1.4 大数据相关技术
15
人工智能技术 大数据领域的人工智能技术的本质是以数据为驱动的自动化知识获取， 根据政务数据、社会数据、互联网数据、物联网数据提供持续的服务、知识 与应用。
1.5 大数据解决方案
16
➢ 在大数据系统（解决方案）中，一般要求用户不仅可以访问各种形式的数据 信息，还可以从中推断出结论。 原始数据进入数据平台，有趣和有价值的内容被它提取出来，并传递给发现模
数字化转型案例
“一点式”财务共享中心构筑智慧机场基石 依托大数据分析支持智慧决策
1.7 大数据面临的挑战与发展展望
18
挑战：大数据服务面临着来自硬件和软件的限制，这些限制 已经渗透到IT技术的方方面面。
存储系统是当前大数据面临的限制来源之一。 在快速数据管理以及高效的数据结构定义方面也存在相应的限制。 云技术面临的挑战也成为大数据服务的问题。
等领域的大数据服务
服务形式多样
分析类型 操作分析
深度分析
时间序列分析 洞察力（预测）
智能分析
特征 复杂分析查询 可操作性商务处理的一部分 可操作性事务中的大容量数据分析 典型的多源性 非可操作性事务处理 复杂数据挖掘和预测分析、实时或者准实时响应 使用 Map-Reduce（映射规约）框架、列数据库，基于内 存进行分析 具有事务处理概念的分析：具有时间、至少一个数值和 元数据的元素
1.7 大数据面临的挑战与发展展望
20
大数据技术将呈现三大趋势
“众包”的数据生成与采集趋势 以数据为中心的存储建模趋势 智慧生成的趋势
谢谢大家!
1.4 大数据相关技术
13
云技术：云技术可粗略划分为支撑大数据存储的云存储技术和支撑大数 据挖掘处理计算的云计算平台。
1.2 大数据相关概念
8
大数据空间 右图显示了构成大数据空间的不同类型的数据。每种类型的数据都表现出不同的价
值和不同的投资回报率（ROI）
不同数据量平台都有一个自身的ROI阈值。这意味着大数据发展的每个阶段都需要 在存储和管理数据相关的成本方面与通过应用分析从数据中获得的价值两者之间取 得平衡
1.7 大数据面临的挑战与发展展望
19
➢ 发展展望：
目前开发具有并行计算的多核处理器应该是其中一种很有前景 的解决方案。
实时收集数据和提供数据服务是导航、社交网络、金融、生物 医学、天文学、智能交通系统和物联网等大数据应用的重中之 重。
大数据应用程序开发需要具有很强的数学能力和相关专业知识 的人员
块。该模块包含企业数据、交易数据和来自运营端的维度数据。数据最终被传递 给数据产品，而数据产品提炼、生成并发出警告。从这个提炼中心学习到的知识 将用于增强知识平台，以实现未来知识的自动化和大规模的应用。
1.6 大数据与企业数字化转型
17
财务智能化转型的机遇与挑战
新一轮的产业升级，加速财务智能化转型 企业内部管理需求拉动管理会计创新，推动财务升级与智能化转型 政策环境驱动财务数字化转型 新IT技术为企业财务信息化变革和智能化转型提供了技术基础
10
金融与财务大数据应用案例
自动化风险管理 管理客户数据 预测分析 财务实时分析 深度个性化和定制化
1.3 大数据应用现状
11
其他领域的大数据应用案例
工业制造领域 电子政务领域 医疗医药领域 教育科研领域 电信领域
1.4 大数据相关技术
12
➢ 物联网技术： 物联网是一个基于互联网、传统电信网的承载体，让所有与信
➢大数据时代的大数据服务
社交媒体、电子商务、医疗 健康、安全、金融、电信、科研
等领域的大数据服务
服务形式多样
分析类型 操作分析
深度分析
时间序列分析 洞察力（预测）
智能分析
特征 复杂分析查询 可操作性商务处理的一部分 可操作性事务中的大容量数据分析 典型的多源性 非可操作性事务处理 复杂数据挖掘和预测分析、实时或者准实时响应 使用 Map-Reduce（映射规约）框架、列数据库，基于内 存进行分析 具有事务处理概念的分析：具有时间、至少一个数值和 元数据的元素
云存储 云存储以其大容量、高性能、低成本、易用、稳定等特征满足了大
数据的存储需求，随着大数据的发展应运而生。 云计算
云计算提供分布式计算任务，依赖分布式文件系统和分布式存储系 统。云计算是支撑大数据环境及其应用的基础平台。
1.4 大数据相关技术
14
移动互联网技术： 移动互联网正逐渐渗透到人们生活的各个领域，作为最便捷、通用、 覆盖广泛的技术和业务，正在深刻影响着大数据架构和应用的发展。当前 ，移动互联网技术最重要的发展方向之一就是与互联网技术相融合，通过 新的规范和模型让具有有限处理能力的低功率无线设备 参与到物联网中，并最终形成嵌入式互联网，进一步 完善大数据生态。
1.2 大数据相关概念
9
大数据处理：据相关研究的保守估计， 世界上的企业服务器系统在2008年处理 了9.57×1021字节的数据，十几年后的今 天，这个数字已经增长了数个数量级。 大数据系统：在大数据服务系统中涌 现了大量的不同架构和具体系统，右 图给出了一种典型的大数据系统架构 。
1.3 大数据应用现状
大数据基础
第一章 大数据概述
目录
2
一、大数据时代 二、大数据相关概念 三、大数据应用现状 四、大数据相关技术 五、大数据解决方案 六、大数据与企业数字化转型 七、大数据面临的挑战与发展展望
引入案例
3
证券分析师的“颜值”与盈利预测准确性
2019年9月16日，由香港中文大学和上海财经大学多位教授联合署名的论文Analysts' Beauty and Performance在《管理科学》上发表。论文指出，证券分析师的“颜值”与其盈利预测准确性及股票投资建 议的资讯丰富程度息息相关。研究人员调研了国内102家不同券商的2328名分析师在2005至2014年间所进行 的89 056项盈利预测。同时，研究人员从证券业协会网站下载了进行上述盈利预测的卖方分析师的证件照， 并要求63名拥有不同教育及职业背景、收入和社会经验的评审员，按分析师外表给予1至5的评分。研究结果 显示，外表越出众的分析师，其预测也愈准确。同时，外表愈具有吸引力的分析师，向上市公司管理层获取 资讯时便愈得到优待。研究结果显示，企业管理人员比较容易向外表具有吸引力的分析师透露信息。
分析大量复杂多样的结构化和非结构化信息
Hale Waihona Puke Baidu
示例 实时欺诈侦测、精准 广告、高频率交易等
从智能监测数据中 获取洞察力
算法交易 股票预测
1.2 大数据相关概念
7
大数据定义：Gartner根据3V中的容量（Volume）、多样性（Variety）和高速性 （Velocity）来定义大数据 容量 多样性 高速性
1.1 大数据时代
4
➢ 如何定义大数据的“大”
大数据之前没有“大”量的数据吗？ 高速产生的数据，传感器、智能手机和物联网等多源信息的产生。
➢大数据时代与以往最大的区别之一在于人们的活动越来越依赖智能 决策的支持
传统领域正在迅速大数据化
1.1 大数据时代
5
➢ 大数据时代的数据特征
价值密度低 数据组织复杂且非结构化 访问频率和并发性更高
分析大量复杂多样的结构化和非结构化信息
示例 实时欺诈侦测、精准 广告、高频率交易等
从智能监测数据中 获取洞察力
算法交易 股票预测
1.1 大数据时代
6
➢ 大数据时代的数据特征
价值密度低 数据组织复杂且非结构化 访问频率和并发性更高
➢大数据时代的大数据服务
社交媒体、电子商务、医疗 健康、安全、金融、电信、科研
1.4 大数据相关技术
15
人工智能技术 大数据领域的人工智能技术的本质是以数据为驱动的自动化知识获取， 根据政务数据、社会数据、互联网数据、物联网数据提供持续的服务、知识 与应用。
1.5 大数据解决方案
16
➢ 在大数据系统（解决方案）中，一般要求用户不仅可以访问各种形式的数据 信息，还可以从中推断出结论。 原始数据进入数据平台，有趣和有价值的内容被它提取出来，并传递给发现模
数字化转型案例
“一点式”财务共享中心构筑智慧机场基石 依托大数据分析支持智慧决策
1.7 大数据面临的挑战与发展展望
18
挑战：大数据服务面临着来自硬件和软件的限制，这些限制 已经渗透到IT技术的方方面面。
存储系统是当前大数据面临的限制来源之一。 在快速数据管理以及高效的数据结构定义方面也存在相应的限制。 云技术面临的挑战也成为大数据服务的问题。
等领域的大数据服务
服务形式多样
分析类型 操作分析
深度分析
时间序列分析 洞察力（预测）
智能分析
特征 复杂分析查询 可操作性商务处理的一部分 可操作性事务中的大容量数据分析 典型的多源性 非可操作性事务处理 复杂数据挖掘和预测分析、实时或者准实时响应 使用 Map-Reduce（映射规约）框架、列数据库，基于内 存进行分析 具有事务处理概念的分析：具有时间、至少一个数值和 元数据的元素
1.7 大数据面临的挑战与发展展望
20
大数据技术将呈现三大趋势
“众包”的数据生成与采集趋势 以数据为中心的存储建模趋势 智慧生成的趋势
谢谢大家!