大数据的思维ppt课件
合集下载
第1章 认识大数据
谢 谢！
高等教育出版社
Higher Education Press
1.4.2 大数据导入/预处理
虽然采集端本身会有很多数据库，但是如果要对这些海 量数据进行有效的分析，还是应该将这些来自前端的数据导 入到一个集中的大型分布式数据库，或者分布式存储集群， 并且可以在导入基础上做一些简单的清洗和预处理工作。
1.4.3 大数据统计与分析
大数据时代的来临将对我们的现实生活、企业的运营 管理模式提出了新的挑战，也带来新的市场机会。大数据技 术的战略意义不在于掌握庞大的数据信息，而在于对这些数 据进行专业化处理。可以说大数据分析是决策过程中的决定 性因素，也是大数据时代发挥数据价值的关键环节。大数据 分析技术帮助企业了解客户、锁定资源、规划生产、开拓新 的业务。
➢ 1.5 大数据思维 ➢ 1.5.1 InfoSphere BigInsights简介 ➢ 1.5.2 BigQuery简介 ➢ 1.5.3 “魔镜”简介
➢ 1.6 大数据的应用 ➢ 1.6.1 大数据助石油公司智能营销 ➢ 1.6.2 大数据在乳业公司预测产奶量
➢ 实验1 认识大数据分析工具“魔镜”
1.1.2 大数据的特征
与传统数据的产生方式相比，大数据具有三个明显的特 征：
数据量大：数据量大是大数据的明显特征，一般计量单 位都是PB、EB甚至ZB。
非结构性：大数据既包含结构化数据也包含非结构化数 据，而且通过特定的大数据技术从大量非结构化数据中提取 有用的信息。
实时性：在互联网高速发展的背景下，我们所谈到的大 数据不仅仅数量巨大，实时性、动态性成了大数据的另一重 要特征。
1.数据思维的最核心是利用数据解决问题。 2.大数据关注“有用”。 3.由关注精确度转变为关注效率。 4.关注定制产品。
大数据的处理和分析ppt课件
• 大数据的分析
– 关键技术概述、PageRank初步
3
大数据的魅力
• 数据挖掘
– 数据挖掘的定义 1. 从数据中提取出隐含的过去未知的有价值的潜
在信息 2. 从大量数据或者数据库中提取有用信息的科学
– 相关概念：知识发现 1. 数据挖掘是知识发现过程中的一步 2. 粗略看：数据预处理数据挖掘数据后处理 预处理: 将未加工输入数据转换为适合处理的形式 后处理: 如可视化, 便于从不同视角探查挖掘结4果
经关联分析，可发现顾客经常同时购买的商品：尿布牛5 奶
大数据的魅力
• 大数据
– 大数据，或称海量数据，指所涉及的数据量规模 巨大到无法通过人工，在合理时间内达到截取、 管理、处理、并整理成为人类所能解读的信息
– 在总数据量相同的情况下，与个别分析独立的小 型数据集相比，将各个小型数据集合并后进行分 析可得出许多额外的信息和数据关系性，可用来 察觉商业趋势、避免疾病扩散、打击犯罪、测定 实时交通路况或判定研究质量等
大数据时代的精髓在于人们分析信息时的 三个转变，这些转变将改变人们决策的制定 和对表象的理解
14
大数据时代的思维变革
• 变革一 — 更多: 不是随机样本, 而是全体数据
1. 随机抽样：用最少的数据获得最多的信息 – 过去由于获取和分析全体数据的困难，抽样调查
是一种常用统计分析方法。它根据随机原则从总 体中抽取部分实际数据进行调查，并运用概率估 计方法，根据样本数据推算总体相应的数量指标
通过统计性的搜索、比较、聚类、分析和归纳， 寻找事件（或数据）之间的相关性 – 一般来说，统计学无法检验逻辑上的因果关系 – 也许正因为统计方法不致力于寻找真正的原因, 才 促进数据挖掘和大数据技术在商业领域广泛应用
– 关键技术概述、PageRank初步
3
大数据的魅力
• 数据挖掘
– 数据挖掘的定义 1. 从数据中提取出隐含的过去未知的有价值的潜
在信息 2. 从大量数据或者数据库中提取有用信息的科学
– 相关概念：知识发现 1. 数据挖掘是知识发现过程中的一步 2. 粗略看：数据预处理数据挖掘数据后处理 预处理: 将未加工输入数据转换为适合处理的形式 后处理: 如可视化, 便于从不同视角探查挖掘结4果
经关联分析，可发现顾客经常同时购买的商品：尿布牛5 奶
大数据的魅力
• 大数据
– 大数据，或称海量数据，指所涉及的数据量规模 巨大到无法通过人工，在合理时间内达到截取、 管理、处理、并整理成为人类所能解读的信息
– 在总数据量相同的情况下，与个别分析独立的小 型数据集相比，将各个小型数据集合并后进行分 析可得出许多额外的信息和数据关系性，可用来 察觉商业趋势、避免疾病扩散、打击犯罪、测定 实时交通路况或判定研究质量等
大数据时代的精髓在于人们分析信息时的 三个转变，这些转变将改变人们决策的制定 和对表象的理解
14
大数据时代的思维变革
• 变革一 — 更多: 不是随机样本, 而是全体数据
1. 随机抽样：用最少的数据获得最多的信息 – 过去由于获取和分析全体数据的困难，抽样调查
是一种常用统计分析方法。它根据随机原则从总 体中抽取部分实际数据进行调查，并运用概率估 计方法，根据样本数据推算总体相应的数量指标
通过统计性的搜索、比较、聚类、分析和归纳， 寻找事件（或数据）之间的相关性 – 一般来说，统计学无法检验逻辑上的因果关系 – 也许正因为统计方法不致力于寻找真正的原因, 才 促进数据挖掘和大数据技术在商业领域广泛应用
大数据思维_Big Data Thinking
• 过去数百年
– 科学出现了理论研究分支 – 利用模型和归纳
• 过去数十年
– 科学出现了计算分支 – 对复杂现象进行仿真
第四科学范式
• 今天
– 将理论、实验和计算模拟统一起来 – 由仪器收集或者计算模拟产生数据 – 由计算机存储和处理数据 – 科学家通过数据分析挖掘软件分析数据，发现 规律
人文社会学科
２个大数据应用
• TerraServer: 与美国地质调查 局合作。引领了基于互联网的 地图服务
• SDSS斯隆数字巡天项目：与天 体物理研究合会(ARC)合作. 后 来发展为WWT(world wide telecsope)全球望远镜，全球百 性均可观看
第四科学范式
• 几千年前
– 科学以实验为主 – 描述自然现象
统计机器学习
训练 测试
预测
模型
线性回归
大数定理的假设
• 这个定理有前提
– 独立同分布 – 试验的次数非常大
• 在很多情况下，这些假设不一定能满足
– 问题空间的参数太大，训练数据对问题空间的 覆盖度不大 – 试验条件在变化，不能满足独立同分布
“经验”思维
• 崇尚“经验主义”、让数据本身说话
要全部数据，不要抽样！
类型多(Variety)
• 数据类型多样: 结构化、半结构化、非结构 化
• 数据形态各异：流数据、图数据、关系数 据 • 处理要求不同：批处理、联机处理、流式 处理 • 在一个大数据应用 中共存。
变化快（Velocity）
• 不是静态的大数据，而是动态变化的数据 • 不是低频，而是高频 • 不是更新，而是插入
eScience
• eScience是信息技术与科学家相遇而催生的 新的学科，科学家利用许多不同的方法收 集或产生了数据， • 如何从这些积累起来的海量数据中分析发 现科学规律？正是这门学科的目的和任务 。
企业大数据思维培训课件PPT
鼓励数据应用实践
建立数据激励机制
通过建立数据相关的激励机制，鼓励员工积极参与数据分析和应用工作。
定期开展数据相关的培训课程，提高员工的数据意识和能力。
提升员工数据意识和能力。
第三部分
数据采集存储
与处理技术探讨
随着技术的不断发展，大数据行业将呈现出更加多元化的发展趋势。
数据来源及采集方法论述。
企业内部数据
访问控制
通过身份验证、权限管理等手段限制对数据的访问和操作权限，防止数据泄露和滥用。
保障信息安全和隐私保护举措。第部分数据分析方法与实践案例剖析
随着技术的不断发展，大数据行业将呈现出更加多元化的发展趋势。
描述性统计分析
推论性统计分析
通过均值、中位数、众数等指标对数据的集中趋势进行描述，通过方差、标准差等指标对数据离散程度进行度量。
包括销售数据、库存数据、财务数据等，可通过企业资源规划（ERP）系统、客户关系管理（CRM）系统等进行采集。
第三方数据
购买或合作获取行业报告、市场调研数据等，以丰富企业数据维度和深度。
社交媒体数据
利用爬虫技术从微博、微信等社交媒体平台抓取用户评论、点赞、转发等信息，分析用户行为和情感倾向。
物联网（IoT）数据
难以适应变化
传统决策模式局限性。
01
02
03
数据驱动决策优势分析。
快速响应市场变化
数据驱动决策可以实时监测和分析市场数据，帮助企业快速调整策略以适应市场变化。
降低决策风险
通过数据分析，可以更加准确地评估各种可能性和影响，从而降低决策风险。
提高决策准确性
数据驱动决策基于实际数据进行分析，能够提高决策的准确性和有效性。
第二部分
数据驱动决策
建立数据激励机制
通过建立数据相关的激励机制，鼓励员工积极参与数据分析和应用工作。
定期开展数据相关的培训课程，提高员工的数据意识和能力。
提升员工数据意识和能力。
第三部分
数据采集存储
与处理技术探讨
随着技术的不断发展，大数据行业将呈现出更加多元化的发展趋势。
数据来源及采集方法论述。
企业内部数据
访问控制
通过身份验证、权限管理等手段限制对数据的访问和操作权限，防止数据泄露和滥用。
保障信息安全和隐私保护举措。第部分数据分析方法与实践案例剖析
随着技术的不断发展，大数据行业将呈现出更加多元化的发展趋势。
描述性统计分析
推论性统计分析
通过均值、中位数、众数等指标对数据的集中趋势进行描述，通过方差、标准差等指标对数据离散程度进行度量。
包括销售数据、库存数据、财务数据等，可通过企业资源规划（ERP）系统、客户关系管理（CRM）系统等进行采集。
第三方数据
购买或合作获取行业报告、市场调研数据等，以丰富企业数据维度和深度。
社交媒体数据
利用爬虫技术从微博、微信等社交媒体平台抓取用户评论、点赞、转发等信息，分析用户行为和情感倾向。
物联网（IoT）数据
难以适应变化
传统决策模式局限性。
01
02
03
数据驱动决策优势分析。
快速响应市场变化
数据驱动决策可以实时监测和分析市场数据，帮助企业快速调整策略以适应市场变化。
降低决策风险
通过数据分析，可以更加准确地评估各种可能性和影响，从而降低决策风险。
提高决策准确性
数据驱动决策基于实际数据进行分析，能够提高决策的准确性和有效性。
第二部分
数据驱动决策
大数据导论-思维、技术与应用 第3章 大数据预处理
数据削减
数据消减技术的主要目的就是用于帮助从原有巨大数据集中获得一个精 简的数据集，并使这一精简数据集保持原有数据集的完整性。数据削减 的主要策略有以下几种： 1. 数据立方合计：这类合计操作主要用于构造数据立方（数据仓库操
作）。 2. 维数消减：主要用于检测和消除无关、弱相关、或冗余的属性或维
（数据仓库中属性）。 3. 数据压缩：利用编码技术压缩数据集的大小。
数据集成处理
1. 模式集成（Schema Integration）问题 就是如何使来自多个数据源的现实世界的实体相互匹配，这其中就涉及 到实体识别问题。 例如： 如何确定一个数据库中的“custom_id”与另一个数据库中的 “custom_number”是否表示同一实体。 数据库与数据仓库的元数据可以帮助避免在模式集成时发生错误。
Bin的划分方法一般有两种，一种是等高方法，即每个Bin中的元素的个
数相等；另一种是等宽方法，即每个Bin的取值间距（左右边界之差）
相同。
b in 中个 数
b in中个 数
等高bin
属性 值
等宽bin
属性 值
噪声数据处理
例如：
排序后价格：4,8,15,21,21,24,25,28,34
划分为等高度bin： —Bin1：4,8,15 —Bin2：21,21,24 —Bin3：25,28,34
例如：每天数据处理常常涉及数据集成操作销售额（数据）可以进行 合计操作以获得每月或每年的总额。
这一操作常用于构造数据立方或对数据进行多细度的分析。
数据转换处理
3. 数据泛化处理（Generalization）。所谓泛化处理就是用更抽象（更 高层次）的概念来取代低层次或数据层的数据对象。 例如：街道属性可以泛化到更高层次的概念，诸如：城市、国家。 对于数值型的属性也可以映射到更高层次概念 如年龄属性。如：年轻、中年和老年。
大数据时代的思维
大数据时代的思维我们在O2O时代做营销，到底哪种趋势和战略更加有效?这里有两种不同的思维方式，一个是互联网思维，另一个是大数据思维。
互联网思维与大数据思维有交集但又不重合。
目前热炒的互联网营销案例，基本上剥离了大数据，更多是题材炒作和传播方式炒作。
而大数据营销也不局限于互联网，它还包含了线下营销。
营销艺术与科学之辩如何看待这两种营销思维?事实上互联网思维和大数据思维的PK，本质是关于营销的艺术和科学之争。
一个流派认为营销是门艺术，只可意会不可言传;另一流派则把营销当作科学对待，通过对消费者行为数据的收集和分析，得出优化营销的策略。
互联网思维可以理解为三个关键词——体验、话题、传播。
体验是消费者在使用产品或享受服务时体验到的感觉，以互联网媒介可以迅速将体验转化成话题传播出去，传播之后又引发新的体验，进而引发更多的话题及传播。
大数据实际上是营销的科学导向的自然演化。
大数据思维有三个纬度——定量思维、相关思维、实验思维。
第一，定量思维，即提供更多描述性的信息，其原则是一切皆可测。
不仅销售数据、价格这些客观标准可以形成大数据，甚至连顾客情绪(如对色彩、空间的感知等)都可以测得，大数据包含了与消费行为有关的方方面面;第二，相关思维，一切皆可连，消费者行为的不同数据都有内在联系。
这可以用来预测消费者的行为偏好;第三，实验思维，一切皆可试，大数据所带来的信息可以帮助制定营销策略。
这就是三个大数据运用递进的层次：首先是描述，然后是预测，最后产生攻略。
一切皆可测：迪士尼MagicBand手环美国迪斯尼公司最近投资了10亿美元进行线下顾客跟踪和数据采集，开发出MagicBand手环。
游客在入园时佩戴上带有位置采集功能的手环，园方可以通过定位系统了解不同区域游客的分布情况，并将这一信息告诉游客，方便游客选择最佳游玩路线。
此外，用户还可以使用移动订餐功能，通过手环的定位，送餐人员能够将快餐送到用户手中。
利用大数据不仅提升了用户体验，也有助于疏导园内的人流。
大数据带来的四种思维
引言概述:正文内容:1.数据驱动思维:数据的重要性:数据是大数据时代的核心和驱动力。
它能提供有价值的信息和洞察，帮助我们做出更加明智的决策。
数据思维的要点:数据驱动思维要求我们从数据中获取洞察，将数据作为支持决策和解决问题的关键要素。
数据驱动思维的应用案例:在市场营销、金融、医疗等领域，数据驱动思维正发挥着重要作用，促使企业做出更加精确的决策。
2.创新思维:大数据为创新提供机会:大数据的存在为企业和个人提供了新的机会，可以通过对海量数据的分析来发现新的商机和创新点。
创新思维的要点:创新思维意味着不断挑战传统、寻找新的解决方案，并能够利用大数据的洞察来创造价值。
大数据驱动的创新案例:互联网公司如谷歌和亚马逊利用大数据分析改变了传统的搜索和购物方式，创造了新的商业模式。
3.预测思维:预测的重要性:大数据可以帮助我们理解现象的发展趋势，从而做出准确的预测，并采取相应的行动。
预测思维的要点:预测思维要求我们基于数据的分析和模型建立来预测未来趋势，并做好相应的规划和准备。
大数据驱动的预测案例:气象预报、股票交易、销售预测等领域可以通过大数据分析提供准确的预测结果。
4.自助思维:自助的意义:大数据的到来使得个人和企业能够更加自主地获取和分析数据，而不再依赖于专业人士。
自助思维的要点:自助思维要求我们提高数据分析的能力和技巧，并具备独立获取和处理数据的能力。
大数据驱动的自助案例:数据分析工具的普及和大数据平台的开放使得个人和企业能够发布和共享数据，从而实现自助获取和分析数据。
总结:大数据带来了数据驱动思维、创新思维、预测思维和自助思维这四种思维方式。
数据驱动思维强调通过数据来支持决策和解决问题；创新思维利用大数据的洞察发现新的商机和创新点；预测思维通过数据分析来预测未来趋势；自助思维使得个人和企业能够更加自主地获取和分析数据。
这些思维方式的应用案例表明，大数据已经成为推动创新和发展的重要因素，并将在未来继续发挥重要作用。
(2024年)大数据介绍pptppt课件
Flink
03
一个流处理和批处理的开源框架，提供了高吞吐、低延迟的数
据处理能力。
8
数据存储与管理技术
2024/3/26
Hadoop HDFS
一个分布式文件系统，设计用来存储和处理大规模数据集，具有 高容错性和高吞吐量。
HBase
一个高可扩展性的列存储系统，用于存储非结构化和半结构化的 稀疏数据。
Cassandra
一个高度可扩展的NoSQL数据库，提供高可用性和无单点故障 的数据存储服务。
9
数据处理与分析技术
SQL与NoSQL数据库
用于数据的存储和查询，包括关系型数据库 （如MySQL、PostgreSQL）和非关系型数 据库（如MongoDB、Redis）。
2024/3/26
数据挖掘与机器学习
通过统计学、计算机视觉、自然语言处理等技术， 从数据中提取有用信息和预测未来趋势。
金融科技
金融机构利用大数据分析进行 风险评估、信用评级、反欺诈 等。
商业智能
通过大数据分析，帮助企业了 解市场趋势、客户需求和行为 模式，为决策提供支持。
2024/3/26
医疗健康
大数据在医疗健康领域的应用 包括疾病预测、个性化医疗、 药物研发等。
物联网
物联网产生的海量数据需要大 数据技术进行处理和分析，以 实现智能化应用。
6
02
大数据技术基础
Chapter
2024/3/26
7
分布式计算技术
2024/3/26
MapReduce
01
一种编程模型，用于大规模数据集的并行计算，将问题拆分为
若干个可以在集群中并行处理的小任务。
Spark
02
5.1认识大数据课件
01 样本渐趋于总体02 精Βιβλιοθήκη 让位于模糊03 相关性重于因果
19
1 样本渐趋于总体
1 样本渐趋于总体
纸质问卷调查
网络问卷调查
2 精确让位于模糊
3 相关性重于因果
3 相关性重于因果
讨论
案例7：大数据存储在互联网的不同映大数据的什么特征?
3
物联网 车联网
云计算 手机 电脑
天气预报
大气监测
地球物理探矿
天体运动观测
探究
我们正处于一个大数据的时代，大数据使人们的 生活、工作和思维方式等都产生了巨大的变革。 那么，大数据究竟具有哪些特征呢？以小组为单 位，通过讨论案例、查找资料，学习、交流大数 据的特征。
讨论
案例1：某市交通智能化分析平台的数据来源于道路交通、电 信、地理信息系统等各行各业。例如，交通卡刷卡每天产生 1900万条记录，手机定位数据每天产生1800万条，出租车运 营数据每天产生100万条，电子停车收费终统数据每天产生50 万条，等等。这些数据在体量和速度上都达到了大数据的规模。
案例8 反映大数据的什么特征?
从大数据存储与计 算角度来看,大数据 有二个特征:
01 分布式存储
02 分布式并行计算
27
1 分布式存储
2 分布式并行计算
2 分布式并行计算
交流
讨论传统数据与大数据的区别？以小组为单位，通过查 找资料、学习和交流，填写下表。
项目
数据体量（大、小） 数据类型（多、少） 价值密度（高、低） 更新速度（快、慢） 追求数据（精确性、模糊性） 存储（本地、分布式）
A.体量巨大 B.类型多样 C.样本渐趋于总体 D.相性重于因果
练习
4、我们在淘宝网上选购商品，能够查看到同样一个商品，卖家的不同价 格、销量、产品介绍。客户下了订单后，很快能够看到商品的物流信息 和预计到达的时间。这反映了大数据的什么特征（）
大数据时代-思维变革
计算机生成内容所产生的销售业绩
• 海明威作品与菲茨杰拉德的书
• 知道是什么就够了，没必要知道为什么
• 据说亚马逊销售额的三分之一都是来自于 它的个性化推荐系统。
在大数据时代之前，相关关系的应用很少。因为数据很少而且收集数据很费时费力，所以统计学家们喜欢找到一个关联物， 然后收集与之相关的数据进行相关关系分析来评测这个关联物的优劣。那么，如何寻找这个关联物呢？ 除了仅仅依靠相关关系，专家们还会使用一些建立在理论基础上的假想来指导自己选择适当的关联物。这些理论就是一些抽
1997年，24岁的格雷格·林登（Greg Linden）在华盛顿大学就读博士，研究人工智能，闲暇之余，他会在网上卖书。他的网店
运营才两年就已经生意兴隆。 林登被亚马逊聘为软件工程师，以确保网站的正常运行。
林登与亚马逊推荐系统 詹姆斯·马库斯（James arcus）回忆说：“推荐信息往往为你提供与你以前购买物品有微小差异的产品，并且循环往复。”詹姆斯
望他们通过对一些历史数据的研究，比如说通过研究以前出现过的问题、基础设施之间的联系，进而预测出可能会出现问题
改变，从操作开始 并且需要维修的沙井盖。如此一来，它们就只要把自己的人力物力集中在维修这些沙井盖上。
这是一个复杂的大数据问题。光在纽约，地下电缆就有15万公里，都足够环绕地球三周半了。而曼哈顿有大约51000个沙井盖 和服务设施，其中很多设施都是在爱迪生那个时代建成的，而且有二十分之一的电缆在1930年之前就铺好了。尽管1880以来
• 相关关系：相关关系的核心是量化两个数据值之 间的数理关系。
– 强和弱
• 通过给我们找到一个现象的良好的关联物，相关 关系可以帮助我们捕捉现在和预测未来。
• 实例：沃尔玛——蛋挞与飓风
• 海明威作品与菲茨杰拉德的书
• 知道是什么就够了，没必要知道为什么
• 据说亚马逊销售额的三分之一都是来自于 它的个性化推荐系统。
在大数据时代之前，相关关系的应用很少。因为数据很少而且收集数据很费时费力，所以统计学家们喜欢找到一个关联物， 然后收集与之相关的数据进行相关关系分析来评测这个关联物的优劣。那么，如何寻找这个关联物呢？ 除了仅仅依靠相关关系，专家们还会使用一些建立在理论基础上的假想来指导自己选择适当的关联物。这些理论就是一些抽
1997年，24岁的格雷格·林登（Greg Linden）在华盛顿大学就读博士，研究人工智能，闲暇之余，他会在网上卖书。他的网店
运营才两年就已经生意兴隆。 林登被亚马逊聘为软件工程师，以确保网站的正常运行。
林登与亚马逊推荐系统 詹姆斯·马库斯（James arcus）回忆说：“推荐信息往往为你提供与你以前购买物品有微小差异的产品，并且循环往复。”詹姆斯
望他们通过对一些历史数据的研究，比如说通过研究以前出现过的问题、基础设施之间的联系，进而预测出可能会出现问题
改变，从操作开始 并且需要维修的沙井盖。如此一来，它们就只要把自己的人力物力集中在维修这些沙井盖上。
这是一个复杂的大数据问题。光在纽约，地下电缆就有15万公里，都足够环绕地球三周半了。而曼哈顿有大约51000个沙井盖 和服务设施，其中很多设施都是在爱迪生那个时代建成的，而且有二十分之一的电缆在1930年之前就铺好了。尽管1880以来
• 相关关系：相关关系的核心是量化两个数据值之 间的数理关系。
– 强和弱
• 通过给我们找到一个现象的良好的关联物，相关 关系可以帮助我们捕捉现在和预测未来。
• 实例：沃尔玛——蛋挞与飓风
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
33 8200 6500 30700年5收4入00只有200.80万，8高00达22.993万00的 200 年金产品
53 3600 5800 80500年收10入4只00 有0.30万5，3高0达0 72.75万00的5300 投连产品
100 100
0 0
300 700 0
500 1300 500
4
大数据创新在银行的应用
高TCO/低ROI
磁带库
保留昨日以前数据 线下保存，恢复时
间长、效率低
2020/5/29
核心系统
保留13个月以内的数据 查询时间段有限制，响
应时间很快
数据采集
历史数据查询系统
保留1个月以前数据 查询没有时间段限制，
响应时间很快
数据仓库
保留昨日以前数据 不对外提供联机服
务
5
核心减负、全量在线
2020/5/29
8
无人工干预的机器学习
人数占比 年龄
年收入 （元）
累计 标保和
缴保合付费计年收件标入均保4.8寿缴金万险付额，总标两缴金保全付额2.6年 缴 金万金 付 额以上，万 缴 金能 付 额
意外 缴付 金额
医疗 缴付 金额
重疾 缴付 金额
投连 缴付 金额
高达7.6万的年金产品，产品覆
0.60%
大数据的效率让量变成为质 变，形成新的洞察与知识
2020/5/29
10
谢谢！
2020/5/29
11
0.84% 2.07% 0.68% 0.84% 1.77%
40
18060 0
10800
21300年万7收，8入寿00高险达和11年108金0万金，38额总0较标0 高保1，2只4无有0011600
投连产品
47 29400 7400 71100年1收1入0002.9万6，00高5达160.30万1的50万0能63700 产品，产品覆盖面齐全
47
48200 26900
8040盖面19齐0全0 00
500
5000
7670 0
2500
100
200
400
400
1.37%
年收入2.9万，总标保1.5万以上， 51 2940015000 96600高面1达齐0全97万00的两50全0产9品04，00产5品8覆00盖11600 100 800 2200 3000
X86 PC Servers
传统架构面临海量数据处理的瓶颈： 数据的自由度和性能矛盾。 固定字段、维度的表结构，限制了 数据的入库和拓展。 数据索引方式的瓶颈，依赖文件目 录结构（NAS）或私有的位图块表 结构（Block）。
2020/5/29
低成本-x86 PC 服务器 可扩展-线性扩展 灵活的数据结构-schema free 海量数据下的超高性能-及时实时
2020/5/29
7
基于上网日志的客户标签
利用自然语言处理+支持向量机算法 基于用户上网行为和内容给客户打标签。 确保 营销活动实时有效
全省7000多万用户， 每天300+亿条上网记录， 每条记录对应网页数据平局17.9KB， 相当于每天网络传输约500+TB的数据量， 每天进行自然语言处理和客户标签更新
大数据的思维
王淳 天云大数据
2020/5/29
1
IT的定位
CDO
I T CIO nformation echnoloຫໍສະໝຸດ y2020/5/292
虚拟化 Vs. 大数据
Vs.
2020/5/29
3
传统 Vs. 创新
Web
J2EE 数据库
操作系统
存储设备
Web
Vs.
J2EE
Hive/HBase ……
Linux/HDFS
100 100 100
0
200
7720 0
42 97400 5300 9800 3900 400 3300 3000 1700 100 300 400 0 年收入9.7万，标保只有0.5万
打破经验与规则，去大师，去精英。Let data talk。
2020/5/29
9
秒级的犯罪嫌疑人排查
乘坐同一班列车，住同一酒店的两个人 可能是同伙，刑侦人员将不同线索拼凑 起来排查疑犯，可是来自于多源数据的 处理在传统IOE架构上，需要数小时甚 至整日。 天云大数据平台将这一操作缩短至3秒， 同时描述出疑犯的交往关系。公安人员 可以基于计算出的线索流畅的思考。
• 所有历史账务明细数据在线存储 • 大量查询业务操作迁出核心系统 • 大量并发查询请求毫秒级别响应 • 丰富业务创新数据挖掘灵活实现
对公活期交易明细查询；活期法人透支户交易明细查询；对公定期交易明 细查询；对私活期交易明细查询；对私定期交易明细查询；换卡登记明细 查询……
2020/5/29
6
银行客户精准营销