金融大数据解决方案最新PPT

混合型数据平台-体系架构
操作型 数据区
新核心系统 老核心系统 客户系统 外围系统 渠道系统
外部系统
数据 交换区
数 据 采 集 和 交 换 平 台
集成型数据区
基础数据平台
大数据平台
技
贴
基
共
术
源
础
性
缓
模
模
加
冲
型
型
工
层
层
层
层
传统平台
应 用 集 市 层
பைடு நூலகம்
实时事件处理平台
历史数据区 历史数据平台
分析型数据区
监管报送平台 统一报表平台 管理会计系统 流动风险系统 市场风险系统 数据挖掘平台 国家审计平台
3
? 挖掘能力：支持机器学习、深度学习等新 的数据挖掘能力，实现更精准的洞见
数据：存量 . 增量 . 行内 . 行外
历史数据越来越多 非结构化数据越来越多
社交、网购数据
数据分析
业务系统
帐户 明细
交易
信用
社交
行外数据
日志
影像
帐户
行内数据
明细
企业数据平面
“在大数据领域，不能充分形成大数据使用能力
的竞争者将被淘汰” -McKinsey Global Institute
，提供迭代式内存计算模型，非
常适合用于开数发据的挖S掘p算ar法k 的并行化
HDFS
YARN/Zookeeper
HBase
?预台计Spark 将成为编写和分享数据挖掘算法的标准平
Hadoop
?
目前已经成为 Apache 顶级项目
Spark
Hadoop 2.0 发布支持多种计算模型和调度的
，实现多种计算模型在同一个集群中并存，将帮助 Hadoop 。
应用服务区
应用
W
服务器
EＢ 服
报表 工具
务 器
即席 查询
数据 挖掘 工具
历史 数据 访问 应用
ETL调度
数据标准
元数据
数据质量
数据管控
数据交换
混合型数据平台-数据区域
操作型数据区
：客户管理系统、各类产品系统、帐务处理系统、各类渠 对道系应统系、统管：理主流要程承系担统面。向客户的交易、帐务处理，面向内部的流程、 功事务能管定理位等：功存能储。业务处理和流程管理过程中产生的客户、协议、账 数户流、水据交数特易据征等。原始数据，数据基本为当前状态，保存一定周期的交易
金融大数据解决方案汇报
Content
1 大数据发展趋势 2 大数据平台关键技术 3 大数据平台行业实践 4 大数据平台案列详述
未来银行：客户更加移动化、个性化、社交化，实时化
固定时间地点获取服务
传统客户 被动接受数据 寻求更多资源 信任市场信息 被动接受传播
随时随地获取服务 分析、创造数据 寻找有意义的体验 审视细节 互动参与内容、产 品和体验的创建
分析型数据区
：统一报表平台、监管报送平台、管理会计、风险管理等 对系统应。系统：主要获取数据集成平台提供的汇总数据，按照应用主题 功进行能数定据位的：高存粒储度汇汇总总、加聚工合、类图数形据化，分主析要和以展星现型。结构、宽表等形式 数存储据，特存征储周期较长。
集成型数据区
：基础数据平台、大数据平台和实时事件处理平台。 对功括分离析应能线提系定分供统位：析数：实和据现实支全时持行事。关件系数型据结的构集化中数管据理、和非加结工构，化为数业据务的运处营理和，决包策
进一步巩固大数据生态圈。
混合负载的统一计算平台，满足数据多样化
HDFS
成为YaHrnadoop 核心平台性组建，不断吸收更多组建集成到 Yarn
Hadoop
Content
1 大数据发展趋势 2 大数据平台关键技术 3 大数据平台行业实践 4 大数据平台案列详述
大数据：提供大数据存储、处理、分析和服务平台
Interactive Analytics
Search
Sqoop
Impala
Pig
Solr
Flume
Hive
Machine Learning
Complex EPvroecnet ss
3
curdstPoamrtyizeodr wordload
MLLIB
MapReduce
Spark
Storm
? AMPlab
ache+
+IB
特点：ShareNothing
? 结构化、关系型 ? 通用的硬件
特点：ShareNothing
? 开放,、全球生态 ? 结构化、半结构化、非结构化 ? 高性能、实时
内存计算兴起，Hadoop生态系统持续壮大
实时化：内存计算兴起
Hadoop生态系统持续扩大
融入
Integration BParotcchessing
第二数据平面： 大数据平台
统一历史明细 实时营销 精准营销 在线征信
或有金融资产
大数据业务：
实时在线性 业务持续性 跨多元数据
批量
互联网
对大数据平台的要求：
并发、查询/分析
金融脉络关系
? 企业级质量标准：金融等保、可靠、 ? 开放性：多分析引擎统一管理，满
易用；支持现有系统的对接。
足多样化的数据分析场景
、 数1的.利离据用线特大数征数据据分技析术功，能实，现而O传D统S 数E据DW库则、实汇现总复层杂数的据交统于计和等事一务系处列理 逻辑。 2.大数据平台同时可以实现非结构化数据的集中管理，结构化及非 结构化数据的初加工为主； 3. 实时事件处理平台以实时事件数据的集中管理和加工为主。
历史数据区
：主要是历史数据平台。 对功的户历交应能史易系定数明统位：据细根，历据以史数及查据数询生据、命集公周成检期平法管台查理部询，分等承历应担史用对数提操据供作的支型在持系线。统归、档分保析存型，系为统客
标准化和产业化提供服务 关注过程和步骤 被动接受信息且信息来源单一 通过客户经理联系客户 固定渠道单一交互
传统银行
新客户
关注场景
营销 客户
新银行
运营 客户
全渠道
效率
服务 客户
个性化的 灵活服务
第二数据平台成为驱动业务创新的新平台
POS ATM 柜面 电话银行 网上银行
实时
第一数据平面： 交易核心
单次、事务性
行业 应用
电信
详单查询、经分分析、
精准营销
数据洞察/数据服务
银行
全生命周期分析、历史明细、 精等准营销、在线征信与风控
/ /// 特征 模型 挖掘 可视 服务
政府
交通、公安 情报分析、人口管理
数据集成 平台
收集 清洗 转换
数据处理平台 海量数据存储，批处理，流处理、交互式分析
。 ：状态类数据采用全表历叱拉链存储，交易类数据保留长期 数历史据特征
数据处理技术分布式演进趋势：Hadoop成为开放的事实标准
SMP
SMP+MPP混合
MPP
Hadoop
特点：单机、Scaleup
? 性能存在瓶颈 ? 扩展性差
特点：ShareEverything
? 结构化、关系型
? FlashC
分布式块存储