公共数据服务层提升数据服务能力

浦发银行数据仓库建设情况
60
源系统
应用
48 40 26 20 20 16 25 35
0 2008年 2009年 2010年
• 数据仓库建设初期，为了提高数据仓库的使用 ，树了为数众多的应用集市，其中很多是美丽 的泡沫。 • 数据仓库建设中期，基于数据仓库的应用建设 出现井喷状态。 • 数据仓库建设过程中，数据整合规则无法一次 性完善和成熟，伴随着对数据认知的逐步升入 ，不断出现调整和优化的需求。 • 数据仓库建设过程中，基于数据仓库的应用互 相依赖，如何形成共享机制，如何有效管理互 相引用，对提升数据价值和提速应用建设进程 有很大作用。
Teradata Confidential – 2011
举例：公共数据服务应用支持-数据整合
CCRM
CCRM
RPT
PCRM
RPT
PCRM
PDM
PDM
ICS
PES
ICS
CDL
PES
CRS
CRS
注：客户主题数据在多个应用中重复加工、冗余存储，通过公共数据服务层进行统一的整合归纳后，为各个应 用提供数据服务。
浦发银行公共数据服务层设计架构
Clients
决策用户 业务分析人员
Application
高级分析人员
IT人员
客户主题
绩效主题
Business
风险主题
监管主题
客户
账户
产品
渠道
交易
团队
个人
Unified Data Services
Slide 11
Standard Architecture
Platform Services
2009年，数据仓库平台为 公司、个人客户关系管理 系统提供基础数据服务
截止2011年初，浦发银行数 据仓库加载全行44个源业务 系统数据，为19个总行应用 、16家分行应用提供数据服 务。
Slide 2
2008年初，浦发银行数据仓库投产 Teradata5500系列 Teradata Confidential – 2011
加强共享
• 一次加工、多次使用 ，服务多个不同应用 ，实现数据和指标的 共享，减少数据重复 计算与存储 • •
提高效率
加快新建应用的实施 进度 对常用的业务口径进 行统一的定义和维护 ，有利于实现Single View，提高数据使用 的效率 • •
Βιβλιοθήκη Baidu
提升价值
有利于建立多层次的 数据访问服务体系， 提升EDW的价值 便于发现数据质量问 题，推动企业的数据 质量提升。
数据仓库关注的是一进一出
一进：数据仓库如何完整，有序，准确 的整合散在银行各个环节里的数据
一出：如何有效的使用数据，包括数据及信息的 加工，使用及管控，形成企业的数据分析能力
Slide 3
Teradata Confidential – 2011
数据仓库建设利与弊
• • • •
数据仓库让数据成为银行内部重要资产， 提供共享使用的平台。 数据仓库让业务应用系统建设专注于在业 务发展本身，应用系统建设步骤加快。 Text 数据仓库让数据获取可以变得快速，有效 。 数据仓库为业务创新提供了探索的环境， 帮助快速做出决策
Slide 13 Teradata Confidential – 2011
举例：公共数据服务应用支持-绩效考核
分行绩效应用数据 绩效基础数据 分行参数数据 分行
分行绩效视图层（公共数据服务绩效、客户、风险…）
客户
规模
分配
产品
FTP
等级
客观认定（存、贷规模..）
全行统一口径（业务代号..）
总行
个人客户绩效
公共数据服务层提升数据服务能力
浦发银行数据仓库建设情况
•
浦发银行数据仓库在经历了一系列信息化的基础建设之后，已经进入了全面实施和应用阶段，而其下一阶 段的应用将会重点关于整体优化数据服务能力和提升数据价值的实施建设。
2010年，浦发银行建立 公共数据服务层，提升 数据仓库数据价值
2006年，浦发银行 数据仓库完成基础 平台搭建工作
创新、探索
– 创新Metadata架构和Macro模块建设 – 探索整体化、参数化、标准化、模块化、结构化建设
整体、架构
– 以基础、汇总、分析三大模块建立CDL的整体架构 – 以基础和扩展（按照数据的使用频度）区分建立CDL的整体框架
Slide 10
Teradata Confidential – 2011
Slide 5
Teradata Confidential – 2011
纷繁复杂的数据集市和纷乱的数据使用
缺乏统一规划
重复开发、集市越来越多 • 需求缺乏统一规划：在没有 EDW Roadmap指引下，很多 需求的提出到实现是没有任 何大框架来约束的，这就容 易造成重复开发、集市数量 越来越多。
缺乏统一规范
数据仓库带来更多数据分析的压力。 数据仓库带来更多数据解释的压力。
数据仓库带来更多数据服务的要求。
数据仓库带来更多数据整合的要求。 数据仓库暴露了更多数据质量、数据 管控的问题。
当事人
资产
财务
区域
营销活动
协议
事件
内部组织
Slide 4
产品
渠道
Teradata Confidential – 2011
建设
Goal
归纳 整合 重构
方向：规范标准、统一口 径
Time
•
•
公共数据服务层截止2011年，完成客户主题和绩效主题建设，开发基础类数据表 51张、汇总类数据表7张 、分析类数据表5张，提供一系列数据白皮书和开发规范。 公共数据服务层截止2011年，支持11个总行应用、5个分行应用建设。
Slide 12
规范繁多、解读难度大 • 开发缺乏统一规范：不同的 集市由不同的开发商负责， 执行的开发规范种类繁多， 整合难度很大。
缺乏统一口径
口径众多、标准不一 • 缺少统一口径：不同需求在 针对同一个指标时产生多个 路径，后续变更时非常容易 造成不一致。
加大维护成本
开发成本、后续维护成本增大 • 无论是前端应用，还是后台 模型都承担较大压力，对于 各个数据集市的解读、后续 维护都有较高的综合成本。
数据清洗
客户信息
Web Service 数据服务
统一视图
数据转换
数据关联 数据归并
客户识别
业务指引
产品推荐
•公共数据服务层整合客户信息、产品信息、交易信息等数据，结合CRM、绩效考核等应用口径，建立客户统 一视图，提供标准的客户基础信息、统一客户识别信息、通过参数配置提供多样化业务指引和个性化产品推 荐等数据服务。 •公共数据服务层通过web service接口的服务模式，为排队机应用提供客户识别，适时的解决了网点排队的 情况，通过识别客户身份后提供适时的业务指引，实现了客户分流，提高了客户的网点体验。为客户提供针 对性的营销，提高了客户营销的成功率和客户的满意度。
基础 数据
指标 数据
汇总 数据
Data Services
参数 数据
外部 数据
引用 数据
公 共 数 据 服 务
KPI DB
计算引擎
Metadata
分析模型
Foundation
SPDB PDM
Teradata Confidential – 2011
浦发银行公共数据服务层建设成果
目标：快速响应、快速建 设 价值:业务驱动、归纳整合
数据使用者 数据使用者
数据使用者
数据使用者 数据使用者
数据使用者
数据集市
数据集市
数据集市 数据集市
Slide 6
数据集市 数据集市
Teradata Confidential – 2011
未来成熟阶段数据(3+1)架构模型和使用模式类型
• • • 数据仓库分整合了不同的源系统，按照三范式模型存储历史数据，以数据驱动的形式，形 成企业级的单一视图。 数据仓库需要以业务的视角出发，从数据仓库的基础数据中归纳和提炼出具有共性的数据， 可以为各类应用提供公共的数据服务。 如果数据仓库应用标准化程度比较完善，常用的业务基础数据可以满足70%左右的应用。
公司客户绩效
公共数据服务层（绩效主题） SPDB PDM
注：分行绩效应用通过公共数据服务层绩效主题改造，减少分行应用中30%的开发工作量，统一70%的数据口径。
Slide 14
Teradata Confidential – 2011
举例：公共数据服务应用支持-客户识别
公共数据服务层
数据集成
数据存储区 客户 数据 产品 数据 参数 数据 交易 数据 清洗/关联 /归并
Slide 15
Teradata Confidential – 2011
Q&A
路漫漫其修远兮，与Teradata将上下而求索
Slide 16
Teradata Confidential – 2011
降低成本
为应用需求与抽象的三 范式建搭建了桥梁，降 低数据集市开发成本。 通过统一整合后，降低 数据解释的成本。
Slide 8
Teradata Confidential – 2011
浦发银行公共数据服务层实施范围及目标
150
降低成本
客户
100
提升价值
监管
绩效
50
提高效率
风险
加强共享
0
目标
Slide 9
Teradata Confidential – 2011
浦发银行公共数据服务层实施建设关键词
借鉴、沿用
– 借鉴数据仓库的开发实施模式、借鉴原有产品参数模式 – 沿用原有数据集市成果，减少对现有应用的影响
归纳、整合
– 整合原有正确的数据逻辑进行沉淀、整合原有银行介质部分数据集市 – 归纳相关实施过程中的原则、规范、数据优先级、分析口径
成熟使用方式
源系统影像 跨领域模型 历史数据 稳定，整合数据 集市中公共数据加工层 集市中公共数据使用层 业务用户视图 用户自由空间 可以自主使用数据 数据的下载和传递受限
7 Slide 7
Tier 1 SA Tier 2 核心层 Tier 3 公共数据服务层 Tier 3+1 Sandbox 空间
5% 使用
15% 使用
Log
PHY
55% 使用
25% 使用
Teradata Confidential – 2011
公共数据服务层
公共数据服务层定义
• 是面向多个应用提供共享数据服务的一个公共数据集市，包括基础数据、汇总指标、分析指标等
• 构建在数据仓库PDM与应用数据集市之间，从业务的角度，提取具有共性、可被多个应用所复用的基础数据和汇总指 标 • 按照业务分析的主题进行数据组织，按照一定的粒度进行数据整合、去规范化处理（Denormalization），并且存储 某些关键时点的历史快照数据 • 在应用系统中的地位如同PDM在数据仓库的地位一样，是一个公共数据集市，不是为了满足特定的需求而设计。
2008年，基于数据仓库 平台实现东方卡、总 账指标、支付结算等 数据分析、数据挖掘
2011年初，浦发银行数据仓库投产 Teradata5600系列
…… 2006
浦发银行与 Teradata公司进行 数据仓库解决方 案和项目实施方 法论验证
2007
2008
2009
2010
2011
2012
2007年，数据仓库平台为 1104、个人理财服务平台 等项目提供数据服务