数据仓库建设方案设计

内容提要
数据分析平台定位
• 数据分析平台将实现对分析相关的数据、能力、过程与成果进行一站式管理与支撑
数据管理平台 分析能力提供平台 过程支撑平台 成果应用平台 数据管控平台
数据分析所 需业务数据 的管理平台
数据分析所需 分析能力的提 供平台
数据分析执行 过程的工作支 撑平台
数据分析生成 成果的应用与 管理平台
Master Data
Data Lab 价值
•为不同用户设定一定的Data Lab空间与 计算能力 •支持不同类型与来源的外部数据导入，实 现外部数据与分析平台数据的组合分析
Read, write
Transaction Data
Read only for Data Lab users
•通过Data lab，可以极大的提升分析人员 的自主性与灵活性，实现各省分行分析团 队都能在同一平台上进行灵活分析应用
没有统一的分析平台：各支持厂商和总行自主分析团队的分析环境比较零乱，没有统一 的系统分析平台与环境，不能对开发效率、质量、流程等形成统一的管理
不能有效的对分析需求、分析过程进行集中管控、分析结果展现等 各期的专题分析成果没能发挥其持续业务效益，没有形成有效的知识库管理 对各省分行数据分析团队支持效率和效果不够 对分析结果的应用落地环节还不够顺畅，没有对包括营销系统、客户服务中心、风险管
分析能力提供平台内涵
• 数据分析平台将提供强大的数据处理与分析能力
基础分析
内涵 •支持不同用户同时访问分
析平台，并使用SQL脚本 处理数据与灵活查询
要求
•并发查询能力 •快速计算能力 •Ad-hoc 灵活查询
数据挖掘
•提供数据挖掘与建模的能 力，帮助业务部门进行复 杂的模型构建与分析
•内置或支持第三方主流的 数据分析与挖掘软件
Reference
Data
ORDER
ORDER NUMBER ORDER DATE STATUS
ORDER ITEM BACKORDERED QUANTITY
ORDER ITEM SHIPPED QUANTITY SHIP DATE
ITEM ITEM NUMBER QUANTITY DESCRIPTION
SAS data
csv daΒιβλιοθήκη Baidua
External Data
Data Lab 内涵
Enterprise Data
Warehouse
Data
Labs
Production
CUSTOMER
CUSTOMER NUMBER CUSTOMER NAME CUSTOMER CITY CUSTOMER POST CUSTOMER ST CUSTOMER ADDR CUSTOMER PHONE CUSTOMER FAX
控中心等形成闭环式应用 没有一个统一的分析数据管控中心，数据安全存在一定风险
建设背景和当前现状 系统建设目标 数据分析平台的定位 系统架构和功能设计 数据模型设计
内容提要
系统建设目标
构建面向全行的企业级数据仓库平台,统一完善各类经营发展指标的数据来源及统计口径 ，形成一套适用全行经营发展的指标体系，全面实现总行、各省分行数据分析团队在统一 平台上进行数据分析与挖掘服务
敏捷分析
•支持灵活快速的自定义分 析，以实现对多样化分析 主题与内容的支持
•基础数据完备 •引入外部数据 •分析角度灵活
实现 技术
•Ad-hoc 灵活查询
•TWM/R/SPSS/SAS..
•Data Mart •Data Lab •OLAP
Data Lab与敏捷分析
• Data Lab 是一项敏捷分析技术，可以让用户导入外部数据，进行灵活的组合分析
实现各种第三方分析工具的灵活接入与管控，给各业务部门提供自助取数与灵活查询 的功能
实现对分析全过程的管控，提高分析效率和质量 建立分析平台 Portal门户，实现对分析成果、分析流程、知识库的管理与应用
实现对分析成果与灵活查询结果向各类业务应用的有效数据推送
系统建设目标
建设背景和当前现状 系统建设目标 数据分析平台的定位 系统架构和功能设计 数据模型设计
分析过程支撑平台内涵
• 数据分析平台将为数据分析的执行过程提供支撑，通过对数据分析的项目式管理 支撑，可以提高工作效率，促进能力复用
内涵
•对数据分析的需求进行管 理，为需求提供方与支撑 方提供需求的整理、评估 等过程支持
实现包括灵活查 询、专题分析、 深度挖掘建模等 多种分析模式的 管控；提供各种 第三方分析工具 接入与支持
分析数据管理平台内涵
提供分析数据
数据分析平台要存储数据分析所需的各类数据 ，并按照不同的分析要求为分析人员提供相关 业务数据
减少重复处理
数据分析平台须对多个分析主题均需要的通用 性数据要求进行集中支撑与统一实现，避免分 析人员进行重复性的数据处理
在使用数据过程中，由于各源业务系统同一指标统计口径不一致，数据下载系统中各 业务系统库表数量庞杂等问题，各省（区、市）数据分析人员在使用数据时，面临着数 据提取来源不明确、统计方法不一致等问题。基于以上问题，亟需建立一套统一的数据 指标库提供给各省（区、市）数据分析团队使用。
当前现状
现有客管系统数据不能完全支持数据分析的需要：包括数据的历史时长不够、数据质量 问题、数据缺失问题（基于风险、客户行为、财务管理等数据缺失比较严重）等
某银行数据仓库建设方案设计
2013-6-25
建设背景和当前现状 系统建设目标 数据分析平台的定位 系统架构和功能设计 数据模型设计
内容提要
建设背景
自2010年3月数据下载系统全国推广上线以来，全行各省（区、市）以数据下载系 统为依托开展本省数据分析工作。2012年全国各省（区、市）数据分析团队应用数据下 载系统中提供的数据共开展了466项主题分析，并完成大量日常数据提取和统计工作。
降低分析门槛
分析数据管理平台内涵
保障数据安全
在逻辑数据模型的基础上，通过按业务方向与 分析领域的语义层建设，避免业务人员直接通 过基础数据层进行数据分析，降低数据分析时 的数据提取难度，提高数据使用率
数据分析平台在为不同业务部门与机构提供数 据分析服务的同时，必须确保数据的安全，如 隐私数据加密、数据权限管理等