数据集市_数据架构方案设计

信用卡集市定位
信用卡数据集市，在BigData基础上，以信用卡、ETC业务驱动为主，数据驱动为辅，建立的一种多层次数据访问服务体系。 支持新报表或报表需求变更的敏捷开发、落地 支持分行特色业务以及报表的分层级管理
信用卡数据集市的特点
数据层面
业务层面
功能层面
数据管理层面
✓ 确定的数据来源 ✓ 采用模型化结构对业务数据进行加
数据架构—详细介绍
基础数据主题
计量数据主题
应用数据主题
数据存储
数据结构
数据处理
•信用卡源系统 数据接口 •其他系统数据 接口
•基础 •每天数据通过 日期字段区分
•加载源数据文 件到BigData 库 •数据文件加载 需要配置作业 任务
数据形式 •数据库表
存储策略
•保留14天（以 业务给定保存策 略为准）
数据平台
信用卡 系统
其他系 统
DWH
整体架构-加工计量主题域
大数据平台信用卡集市改造
数据存 储
基础数据主题 计量数据主题 应用数据主题
任务监控
数据处理
任务管理
调度引擎
运营管理数 据质量
数据安全 备份恢复 数据校验 规则配置 系统监控 数据质量
信用卡报表系统 行内业务分析报表
对外报送报表
整体架构—具体描述
与DWH中转服务器连机：落地为文本文件
数据处理
数据处理任务由统一大数据平台调度机器人完成来完成， 调度工具具备成熟的调度处理、任务监控、任务分析等 功能
整体架构—系统交互
上游系统
大数据平台
应用服务
DWH
加载
标准接
加载
口文件
BigData
信用卡集市
ADS联机库 ORA联机库
说明：针对大数据平台数据 集市改造，数据接口将不再 接DWH数据文件，直接对接 原系统数据目录文件，大数 据平台自身进行清洗脏数据 后，接入BigData。
础
数
据
主
题
汇总 汇总
基础指标 基础指标
汇总
计
应
量
关联
数
关联
用 数
据
据
主
主
题
题
报表指标 报表指标
大数据统一调度平台
数据架构—加工计量层指标项
分类
业务维度
业务指标
明细类
运营管理部
贷款品种 贷款产品 支付渠道
放款渠道 进件渠道 还款渠道
贷款期数 扣款类型
放款笔数 放款金额 应收本金
数据存储
数据结构
•对基础数据 • 面向信用
的聚合汇总、 卡应用主题
计量加工、 建模。
基础指标加 • 解耦合的
工等
设计模式
数据处理
• SQL语句 •作业运行日 志以文件的 形式保存
数据形式
存储策略
•数据库表
•存储3-5年历史 数据（以业务给 定保存策略为准）
数据存储
• 基础指标 的最终加工 •直接用于前 端展现
年度工作概述科技部需求
002 绩效考核改造升级
科技部IT需求—绩效考核平台改造
信用卡数据集市
数据存储
信用卡集市现状：对信用卡数据集市内的基础数据
主题、计量数据主题、应用数据主题等各数据主题进 行定制化的存储，可指定关键时间节点存储、时间段 历史存储
加工计量层主题：计量数据主题，进行指标共性加
工存储、以供应用主题、进行定制化的存储，可指定 关键时间节点存储、时间段历史存储
数据交换
数据源 源系统
信用卡集市现状：信用卡数据集市的数据源为信用卡系统、 数据从XX项目DWH平台中接入大数据平台，DWH通过中转 服务器给大数据平台下发数据文件。
大数据平台信用卡接口数据将进行数据指 标校验以及数据条数校验规则进行程序的加工处理。
改造方案：信用卡数据源进行数据目录切换，不在通过DWH 进行数据文件下发，将通过源系统目录文件进行数据接收接 入大数据平台，跳过DWH平台。
实收本金 应收利息 实收利息
交易成功率
客户明细 放款明细 还款明细
账务差异明细 贷款明细
风险管理部
贷款产品 五级分类 贷款期限 贷款状态 最后到期日 还款方式
贷款类型 进件渠道 贷款品种
逾期金额 逾期利息 逾期天数
贷款金额 贷款余额 到期本金
首期逾期金额 累积归还本金 催收服务费
逾期贷款明细 放款明细 还款明细
业务拓展部
贷款产品 合作渠道 贷款区域
学历 性别 年龄
城市级别
新增客户数 授信笔数 授信金额
进件笔数、金额 累积放款客户数
放款笔数
累计放款笔数
放款金额
累计放款金额
客户明细
02 The 2021 annual work summary 2021
工整合 ✓ 减少同类报表间数据的冗余存储和
重复的ETL工作
✓ 实现信用卡、ETC业务的整合 ✓ 存储信用卡报表计量结果
以及分类，支持业务按照数 据来源进行查询
✓ 数据分析与报表展现 ✓ 分行特色业务查询
✓ 报表分层级管理
✓ 应用展现权限控制
✓ 建立数据质量检核机制 ✓ 推进信用卡数据质量的改善
数据源
数据架构—层次介绍
基础数据主题
• 存储信用卡集市应用所需的全部基础数据，进行统一的数据清洗、整合、预链接和预Βιβλιοθήκη Baidu工
计量数据主题
• 存储信用卡应用的聚合汇总（计量加工）数据，即从基础数据层加工而来的汇总（计量）数据，基础 指标的加工
应用数据主题
• 直接用于前端展示的业务数据，依据业务需求，对基础指标进行最终加工，并保存历史数据。
数据结构
• 基于报表 展现的设计
数据处理
•SQL语句 •作业运行日 志以文件的 形式保存
数据形式
存储策略
•数据库表
•存储3-5年历史 数据（以业务给 定保存策略为准）
数据架构—ETL处理过程
XX项目信用卡数据集市
加载
计量加工
应用加工
校验 校验
接
加载
口
加载
文
件
通信接口 通信接口
关联 关联
代码转换
基
代码转换
2021 项目工作建议汇报
工作计划/商业计划
汇报方:XXX
目录
1 科技部IT需求 2 业务部需求计划
数据架构—加工计量层定位
01 The 2021 annual work summary 2021
年度工作概述科技部需求
001 信用卡集市改造升级
信用卡集市项目背景
XX项目信用卡集市建设基于大数据技术的数据集市、结合数据治理措施，集中统筹管理XX项目信用卡 中心业务数据，并从信用卡营销、运营和风险控制的业务角度出发，实现数据管理集中化和规范化，提升面对 复杂市场环境和监管政策下的数据管理和决策支持能力，并为后续衍生出更多适应市场变化创新产品提供平台 基础，实现数据业务价值挖掘和数据价值变现，为信用卡业务战略决策和高效运营提供准确高效的数据支持， 提升行业科技竞争力。