商业银行数据仓库建设及数据服务价值
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
2010.7 中国金融电脑 17
s 专题 pecial Topic
心 D W 的 基 础 上 建 设 面 向 业 务 主 题 的 数 据 集 市 ( D a t a Mart),它要求满足三范式存储要求,避免了冗余数据 存储;总线架构则主张先面向业务主题,按照星形模型 建立基于多维数据模型数据集市,再逐渐整合各个集市 维度和主题,达到一致性维度和一致性事实,从而建立 虚拟EDW。
仓,并 在 整 合数 据 基 础 上 建 设了银 监会非 现 场 稽 核110 4 系统、K PI 经 营指 标 快 报 系统、信用卡业务 数 据统计分析 系统、对公/对私CRM系统等19个BI应用系统。
二、数据服务体系及其应用
1.数据服务概述 当运用数据仓库技术将分散存储在各处的业务数据 用10大 金 融 主 题 进行整 合加 工清 洗 后,数 据就已经 呈现 出其 转 化为 信息 的 特质。数 据 仓库 驱 动 数 据 转 化为有价 值信息需要 数 据服务 来 体 现,只有 建 立健 全 整 套数 据服 务 体系,才 能将 存 储 转 化 的 数 据 信息变为银 行 管理 及 金 融营销活动行为的驱动力。 数 据服务 是 通 过 数 据语义 层 封 装、调用底 层 结 构 化 或非结构化的数据集合,并通过应用集成、过程管理、服 务集成,为用户提供商业智能应用。适合于一家企业的、 全面合理的数据整合映射及数据支持技术应用体系可称 作数据服务体系。 2.数据服务体系 (1)数据服务模式 建立有效的数据服务体系应从数据服务模式入手。 这里说的数据服务模式是指广义数据服务架构中应用集 成层,也就是通过应用集成结合符合企业要求的流程 管理提供行之有效的服务集成。数据服务模式可分为 四类:随机查询(AD HOC)、固定报表(Report)、 BI及多维分析应用(BI&OLAP)以及数据挖掘(Data Mining)。其中随机查询尤为重要,在通过其他三类模 式完成数据服务的过程中都需配以随机查询。如当根据 业务要求建设数据挖掘模型时,需要运用随机查询技术 进行历史数据探索,发现数据存在的规律;业务报表定 制后也需要使用随机查询技术来验证报表数据的准确 性。数据服务体系建设应紧密围绕这四类数据服务模式 来进行。 (2)光大银行数据服务体系 光 大银 行 2 0 0 9 年 推出了阳光 服务 年,要求全行 一线
无论哪种EDW架构,其最终目的都是要将多个数据 源 的 操 作 型 数 据 进行整 合,提 供 给业务 部门口径 一致 的 分析型数据来支持BI应用(包括KPI、报表、OLAP分析、 数据挖掘、业务即时查询等)。
2.光大银行数据仓库建设概况及特点 2 0 0 5 年 前 光 大 银 行 就 在 业 务 需 求 驱 动下,基 于 Essbase MOLAP技术以及BIoffice(前端报表工具)建设 了面向单个业务部门(业务主题)的相关数据集市,包括 国际结算统计分析系统、对公(同业)业务数据统计分析 系 统、对公风 险 统计分析系 统 等。这 些 集 市 的建 立 为 当 时国际结算、对公、同业以及对公风险业务管理提供了快 速、准确的分析数据支持。 虽然从符合Kimball的总线架构EDW建设模式起步, 但 基于以下 两方面考虑,光 大银 行 最 终还 是 选 择了 建 设 符合Inmon CIF架构的企业级数据仓库:首先,作为全国 性商业银行,业务复杂度较高,建立集中的EDW平台有利 于业务口径的统一和梳理;其次,面向监管报送等BI应用 集市需要众多源系统 数 据支 持,总 线 架构E DW 建 设 需要 长期 积 累 才 能完 成 多 数 据源 整 合,无法满足快 速实 施 要 求。因此,光大银行于2005年开始启动建设企业级数据仓 库调研,并根据银行科技建设规划,于2006年采用以重点 系统全面入仓为目标、以建设银监会非现场稽核1104系统 为 切入点的建 设 方针,利用数 据 仓库技 术搭 建全行基 础 数 据 平台,并 围绕 基 础 数 据 平台构建 出一 套全行 信息管 理服务体系。 2 0 0 6~2 0 0 9 年,光 大银 行 先 后将 核心系 统、SA P系 统、信用卡V+系统、网上银行系统、国际结算系统、对公 信贷风险系统、现金管理系统等全行33个重要源系统入
个贷巴塞尔
客户细分
信贷分险管理
单一视图
监管报表
业务架构
客户管理
客户管理
运营管理
风险管理
财务管理
数据质量管控
技术架构 数据标准管理
企业级数据库
数据支持规范 服务流程管理 团队服务支持 平台整合支付
Baidu Nhomakorabea
网银 系统
核心 系统
风险 系统
信贷 系统
个贷 系统
国结 系统
资金 系统
存管 系统
…… 系统
图1 数据服务体系架构
略业务目标。旨在从客户接触光大银行完成开户开卡到信 用卡激活、首次刷卡,再到客户成长、成熟,并在客户产生 流失风险时的客户全生命周期对客户进行营销关注,提高 客户忠诚度,增加客户收益率。
为覆盖客户生命周期的全过程,数据服务利用数据挖 据、策略支持应用、活动定制应用等技术构建生命周期管 理 应 用的 技 术架 构。利用数 据 挖 掘 技 术针对客户生命周 期不同阶段定制激活倾向模型、首刷倾向模型、行为评分 模型、挽留倾向模型等。通过挖掘数据预测驱动营销策略 定制,各项 营 销策 略 的定制均 通 过 活 动 管 理 平台应 用输 入并运行,实现客户筛选与策略定制配合;而多维统计分 析应用则为业务管理提供营销策略、活动的后评价,由此 对相关定量模型进行修正和调整(如图2所示)。
Special Topic 专题
商业银行数据仓库建设及数据服务价值
中国光大银行信息科技部 王靖雯 刘锦淼
随着信息化的飞速发展,服务行业,特别是金融业在 客户需求与市场环境的共同作用下,信息支撑服务逐步彰 显其强 大 的生命力 和 不 可替 代 性。如 何从 纷 繁 复 杂 的银 行 运营、渠 道等 交易系统中将 松散 部 署 的基 础 数 据 集中 加工、清洗、转换、存储,并建立逻辑关系索引,驱动数据 转化为管理信息,使其在银行业务服务、管理决策中发挥 关键作用?中国光大银行(以下简称“光大银行”)近年来 在“以客户为中心、以服务为导向”的发展战略背景下,规 划并完成了数据仓库以及商业智能领域等多个项目的建 设,逐步筹划、构架起全行数据服务体系,初步将业务流 程数据转化为管理信息,为业务管理、决策分析提供了重 要支撑。
从 业务架 构 视角诠 释:数 据服务 体系涵 盖 全行重 要 业务领域,从客户管理领域的客户细分及活动管理平台、 行为分析与评分模型到运营管理领域的渠道及柜员绩效 管理和关键指标;从风险管理支持新资本协议合规平台 建设到财务管理领域的新会计准则信息披露。
(3)数据服务与数据仓库的关系 建设数据服务体系切勿忽视数据仓库的基础作用,因 为完 整、高 效的 数 据服务 体系离不 开 数 据 仓库的 技 术支 撑。 光大银行数据仓库最初以TD经典模型进行构建,为 更有效支持数据服务开展,引入了语义层建设:语义层基 本可视为TD数据仓库中间层与应用层的集合,当然其最 突出的特点在于紧密结合了AD HOC服务技术,为数据应 用人 员在 数 据 仓库中开辟了业务 语义视 图 封 装 。简单 地 说,就是每当数据分析人员进行数据随机查询时,对于业 务口径进行的SQL初步封装,通过视图方式进行存储,日 积月累,大量的业务口径逻辑以视图的方式在数据仓库语 义层中进行了存储,为日后快速、有效进行数据服务进行 了知识积累。 数 据 仓库 在 提 供 BI 应 用的服务模 式中,数 据 接口是 一种不 可或缺 的手段,光 大银 行在 经典 模 型 的基 础 上引 入了O D S 数 据层,通 过 视 图影 射 和 数 据加 工 两 种 手段 从 SDATA数据层中加工出数据接口或应用所需的业务源系 统前日数据结构全量数据快照,满足接口单一性、时效性 数据接口要求。 3.光大银行数据服务的应用实例 信用卡客户生命周期 管 理 是 近 年来 信用卡业务 的战
一、企业级数据仓库的建设
进入新世纪以来,随着我国国民生活水平不断提高, 银行业在客户需求及市场竞争的双重压力下,必须加强、 优化内部管控 机制并不断 进行业务 创 新以便 及 时应 对 快 速 发 展 的客户需 求及市场变化。这 样 必 然带来大 量 新系 统的开发、上线,并为银行带来一系列新的难题:散落在 各业务系统中的数据如何达到信息对称?为了对业务系统 运营价 值 进行有 效 评 价,以 及 对各 级 监 管 部门进行准确 数据报备,如何将不同业务系统中存储的业务实点数据进 行关联并保存较长的数据变化历史记录?如何从毫无规
2010.7 中国金融电脑 19
s 专题 pecial Topic
Po r t a l,集成全行 统一 报 表 平台、全行 统一 数 据补录及参 数维护平台、全行统一数据挖掘平台等整合应用平台,提 供数据服务支撑;③深入区别数据服务模式,建立数据服 务管理办法,包括数据查询管理办法、分行数据开放管理 规范、敏感数据信息屏蔽规范等;④根据数据服务流程要 求制定管理流程,如随机查询需求管理流程,监管报送应 用需求管理细则等。
律 的业务 数 据中发现 业务 创 新 线 索?解 决 这 些问题 的 方 法都不约而同地指向数据仓库技术。
1.企业级数据仓库概述 建设EDW(Enterprise Data Warehouse,企业级数据 仓库),业界 有 两个比较 通用的 模 型 架 构:I n m o n 提出的 CIF(Corporate Information Factory,企业信息工厂)和 Kimball提出的总线架构。 两种架构的EDW构建方法侧重点不同,其间也存 在着很大的争论。CIF架构主张在建立口径统一的中
财务管理、信息管理等方面提供无差别化的数据服务。 这个体系包括技术架构与业务架构两个层面,技术架
构涵盖:服务团队支持、整合应用产品平台支持、统一数 据支持规范、适宜的服务流程管理。业务架构涵盖客户管 理、运营管理、风险管理、财务管理、信息管理等方面(如 图1所示)。
从 技 术架 构 视角诠 释:①面向不同 数 据服务模 式 建 立专业数据服务团队支持;②以全行数据服务MIS平台为
信用卡生命周期管理是数据服务支持的典型案例, 管 理 要求 随 机性较 强,而且需要通 过多种 数 据服务模 式 协调配合才能完成定制,因此,只有建立健全数据服务体 系才能有效支持此类精细化管理业务需求。
4.数据服务与数据管控体系 为保障高效、准确的数据服务持续推进,除了不断加 强基础数据平台建设外,还需从数据标准、数据质量、数 据 准确 性、数 据 安 全以 及知 识 共享 积 累等方面进行全面 管控的框架,这一体系就是数据管控体系。 数 据 管控平台是 集 成 元 数 据 管理、数 据质 量 管理、 数据安全策略、数据标准管理于一体的应用平台,使本来 独 立 的 管控 应 用有了一 个 关 联 整 合 的 平台。其内在 要求 为:数据标准既需要元数据提供支持也会将标准定义运用 于业务 元 数 据 管理中;数 据质 量的 数 据 条 件 是 通 过 数 据 标准定义的,而数据质量检查报告又是保证数据标准执 行 的重 要 手段;数 据 安 全 策 略 的定制离不 开 数 据标准 的 定制和元数据管理的支持。 银 行 制定 数 据标 准 需要适 时将 其 落地,数 据标 准 的 制定规范了全行IT系统建设的数据模型。建立严格的系统 数据模型设计管控流程,首先需要建设企业级元数据管 理系统,统一维护管控全行IT应用系统数据模型字典,以
18 中国金融电脑 2010.7
Special Topic 专题
业务 部门服务 于全行客户、全行二 线 部门服务 于 一 线 部 门,由此催生了信息科技阳光服务,数据服务体系也应运 而生。数据服务体系归纳了相同技术范畴的不同数据支持 模式,并为其发展提供了体系依托。
光大银行数据服务体系是以全行基础数据平台为基 础,集成多种商业智能技术应用,建立统一数据服务规 范、流程,辅以数据管控平台及数据安全策略管理,为 全行全辖业务部门在客户管理、运营管理、风险管理、