王闯舟-商业智能与大数据概述PPT71

业务应用
实施 策略 投资 难度 价值 回报
事件和营销活动管理
5 35
目标市场营销
5 96
客户挽留
6 32
客户净值提高
2 98
客户获取
7 21
销售绩效和报告
3 66
绩效管理
6 71
分销渠道优化
5 25
产品开发和包装
8 46
合规与披露(BaselII)
10 7 3
绩效衡量和资本分配(RAROC)
4。渠道应用接触目 标客户，传送促销 信息
直邮 分行
3。名单和相应营销 信息传送给不同的 渠道系统
Call Center SMS
9
BI应用案例：客户挽留（某银行信用卡中心）
投资回报： 07年10月的预测评分结果显示流失概率50％以
上的客户为93975人； 在流失概率50％以上客户中，其中3％的客户贡
Raw Customer List
Raw Customer List
Ad-hoc query
Raw Customer List
6。使用Brio分析 营销活动成功率
☺
数据仓库
5。数据仓库监控客 户开卡事件
2。营销活动定义、名单进行去 重、频率规则的限定和过滤
优化客户名单
直邮－客户获取营销邮件， 依据分行及目标客户类型 而有不同
2. 这些应用很难在企业原有的OLTP系统（以交易或者流程为主）上实现， 如果没有数据仓库，也可以通过手工或者半手工的方式来实现，但非常 麻烦，很难重复使用
3. BI系统主要通过数据分析来发现数据之间内含的业务规律，其负载类型 和负载特征与OLTP系统有很大的差异，一般都需要建立物理独立的系 统，并采用适合BI负载环境的专门技术平台---一般都是以基于MPP （Massive Parallel Processing）技术的数据库引擎为基础
4
BI应用案例：管理驾驶窗
5
BI应用案例：客户获取
事例：争夺铁通的用户
实施者：中国电信某地区公司市场部 使用应用名称：数据仓库内结算话单 步骤： 1、对当月所有用户的结算费用进行排序，发现电话号码96368的结算
支出排名最高，查询之前各月份，它的排名也最高，最近一年每月平均结 算支出为3390元。
数据仓库建设规划，要分步骤进行实施，起步从小做起； 不同业务部门对业务应用的优先度要求不同，必须综合考虑不同部门
对业务应用的策略价值和投资回报评价，形成初步的规划后，再经数 据仓库管理委员会讨论确定。
数据仓库建设规划，通常从以下三个方
面进行评估：
实施难度：IT部门评估 策略价值：决策层评估 投资回报：应用部门评估
日常监控·故障处理·备份恢复·系统安全
14
应用体系—特定主题的应用
国内外先进银行总结提炼了一套数据仓库业务应用框架，包括了客户管理、运营管理、风险 管理、财务管理、监管与信息披露五大支柱的几百种应用，为金融机构的数据仓库项目建设 和推广应用提供了极好的借鉴。
客户管理
风险管理
财务管理
运营管理 监管与信息披露
2、查询96368的用户资料为当地一烟草公司客服号码。 3、从数据仓库提取其结算话单，统计其与各个运营商之间互通的情况， 发现其与铁通的用户互通较多，造成结算支出较大。
6
BI应用案例：客户获取
4、针对铁通经营的同样是固定电话，电信的产品完全可替代的特点， 派单给大客户服务部，要求大客户经理说服烟草公司把它的分销商的 电话全部转为电信电话。
渠道分析
中间业务分析
产品绩效分析
境内机构网络 布局优化评估
管理会计 系统
人行集中金融 统计
风险准备金 计提
内部财务信息 分析
战略性业务 指标
分行分润
监管与信息 披露类应用
1104监管报表 信息披露报表 人行支付报表
国家外管局 监管报表
应用
仓外集市 仓外集市 仓外集市 仓外集市 仓外集市
…
集市
仓内集市 仓内集市 仓内集市
客户获取与挽留 客户细分与价值提升 交叉销售/向上销售
事件驱动营销 营销活动管理与优化 客户生命周期管理
合规与信息披露 资产负债管理 金融犯罪识别
信用风险 市场风险 操作风险
财务绩效管理 资本配置与管理 法规遵从与报表 产品捆绑与定价 财务管理流程优化
交易渠道管理 销售渠道管理 渠道迁移与流程优化 绩效考核与报表 产品开发与定价 资源规划与管理
绩效分析能力 客户可接触率
N/A <15%
一年能执行营销活动数量
<10
活动平均反馈率 活动回报率
无法评估
无法评估
客户单一视图能力 无，贷款容易有风险
实施后
<1 Day <1 Day １天～1周 30%＋
50+ 8-30% Up to 60% 强大
8
BI应用案例：在市场营销的应用（某银行信用卡中心）
决方案业务线
从1996年开始专注于商业智能、数据仓库领域的咨询与项目实施服务，主要为金融、电 信行业的客户提供商业智能解决方案，包括数据仓库基础平台、CRM、风险、运营管理、 财务管理等领域
2
TOPIC
1 商业智能的应用示例 2 数据仓库解决方案架构 3 进入大数据时代 4 Q&A
3
什么是商业智能Business Intelligence
1104报表
信息披露报表 15
15
应用体系—数据应用规划参考
跨领域的应用平台
即席查 询平台
•满足总分 行临时数据 需求 •支持业务 人员进行业 务探索
数据挖 掘平台
•客户聚类 分析 •产品购买 关联分析 •客户流失 概率模型 •行为评分 模型 •申请评分 模型 •……
报表服 务平台
•财务报表 •风险报表 •监管报表 •个人客户 报表 •对公客户 报表 •总帐报表 •考评报表 •产品报表
献86％利润； 在挽留客户的营销活动中，将主要的资金和资源
用在3%高价值客户上，可节省97%的营销成本， 而得到86%的效果；
流失概率50－60％的客户贡献度分布：
10
BI应用的背后
1. 支持前述类型应用的最佳实践是构建企业级数据仓库EDW（数据平 台），通过一定的数据模型来整合企业内的各种数据，并在此基础之上 构建相关的分析型应用
EOD数据总线
原始层 标准层 加工层
ETL层
知识库
任 务
日志
日 志
执行
处
文
理
件
侦测器
加载/导出
数据仓库
应用集 市层
公共分 析层
基础数 据层
ODS 层
数据缓 冲区
业务应用
领导驾驶 舱
固定报表 多维分析
数据挖掘
数据安全
运行监控
备份恢复
访问控制
用户层
Portal
(访问
控制/
Baidu Nhomakorabea
业
统一认 证）
务
用
户
运 维 用 户
(Ad-hoc)
固定报表
数据挖掘 (Modeling)
应用系统
数据挖掘 – 在灵活分 析的基础上，对某些 业务问题进行数据属 性的提炼和归纳，如 “评分模型”、“违 约模型”、”细分模 型”等。
应用系统 – 支持复杂业务逻辑的应用系统，包括营销 活动管理平台、ALM、利润贡献度、平衡计分卡等。
实践表明，应用系统的开发离不开需求的成熟和稳定，只有通过大量的灵活分析和数据挖掘 的应用，才能形成成熟稳定的应用需求，反之，应用系统在业务中的大量使用，又会促进分 析人员更加深入、有效的分析探索数据。
13
EDW体系架构
从应用体系、数据体系、技术体系、运维体系和管控体系五个方面阐述数据 仓库整体架构
组
织
架
管 控
构 管 控
体 系
流 程 管
控
内
容
·
·
应用体系
应用主题·应用模式·应用方案·实施规划
数据体系
数据架构·近源层·基础层·汇总层·集市层
技术体系
统一交换·统一监控·统一调度·统一发布·统一管控
运维体系
应用集市层 仓内集市 仓内集市 仓内集市
…
数
共性加工层
据
整合模型层
仓
库
近源模型层
技术缓存层
16
16
应用体系—应用模式
随机查询 – 具有IT和 业务两方面的知识和 技能，进行任意数据 探索和查询，回答各 种未预先定义的业务 问题。
固定报表 – 以固定模 式回答简单、常规的 业务管理、统计类问 题。
随机查询
1. 商业智能通常被理解为将企业中现有的数据转化为知识，帮 助企业做出明智的业务经营决策的工具。商业智能是对商业 信息的搜集、管理和分析过程，目的是使企业的各级决策者 获得知识或洞察力（insight），促使他们做出对企业更有 利的决策。
2. 商业智能不是什么新技术，它只是数据仓库、OLAP和数据 挖掘等技术的综合运用。
5、通过一系列综合的营销手段，成功把烟草公司分销商转换为电信用 户
成效：
• 铁通1842个用户转为电信用户
• 按门面电话的最低ARPU 40元/月计算，月创
收7.37万元，年累计创收88.42万元
7
BI应用案例：数据仓库效益（国内某股份制银行）
业务及客户统计报表产生速度 营销名单获取时间
实施前
4-6 Weeks 4-6 Weeks
总经理和Senior Practice Partner，负责华北与华东地区的Professional Service • 2009.7-2011.8，东南融通系统工程有限公司，负责其商业智能事业部的技术
管理工作 • 2011.8-目前，文思创新(Vanceinfo)、文思海辉(Pactera)，负责其商业智能解
4. 目前国内主流的MPP平台有：DB2, Netezza (IBM Puredata), Oracle Exadata, Teradata, EMC Greenplum (Pivotal), HP Vertica, SAP HANA. Microsoft也推出了它的MPP数据库一体机
11
TOPIC
客户管理类 应用
零售CRM
对公CRM
客户营销 管理系统 客户利润贡 献度计算 贵宾服务
系统 客户积分
计算 高端客户 理财报表
风险管理类 应用
新资本协议 应用群
资产负债管理
人行征信
人行反洗钱
特别关注客户 信息系统 关联方信息 查询系统 定价系统
个人客户内部 评级
运营管理类 财务管理类
应用
应用
关键经营指标 分析系统 客户经理 绩效考核 分行绩效 考核
商业智能(Business Intelligence)与大数据概述
王闯舟 2013/12/16于同济大学
背景简介
• 1983.9 -1990.12，同济大学电气工程系， 自动控制专业，本科与硕士
• 1991.1-1993.1 同济大学电气工程系自动控制教研室 • 1993.1-1994.7 德国FESTO上海办事处 • 1994.7-2009.7 美国AT&T公司、NCR公司、Teradata，在Teradata担任中国区副
3. 数据仓库（Data Warehouse）是一个面向主题的 （Subject Oriented）、集成的（Integrated）、相对稳定 的（Non-Volatile）、反映历史变化（Time Variant）的数 据集合，用于支持管理决策(Decision Making Support)--数据仓库之父Bill Inmon,“Building the Data Warehouse” （1991）
1 商业智能的应用示例 2 数据仓库解决方案架构 3 进入大数据时代 4 Q&A
12
数据仓库解决方案整体框架
企业级数据仓库基础平台将采用模块化、参数化的功能设计方式，提高了系统运行 的稳定性并有效的降低实施成本和风险。
数据管控（元数据管理，数据质量管理，数据标准管理）
源数据层
源1 源2 源n
源系统 卸数至 文件服 务器
• 基于数据仓库的客户关系管理系统，从了解客户或客户细分 开始，在制定各种客户／产品／渠道的营销管理策略时提供 决策信息支持，计划、执行并管理各种行销活动。CRM在银 行卡管理中提供新卡获取、客户挽留和交叉销售的功能，有 力推动银行卡业务快速发展。
CRM系统的主要模块： 分析模块 沟通管理 个性化模板与规则 交互：营销渠道整合(call center/SMS/Email) 最优化：营销评估和优化
投资回报：
CRM投产之后，已经执行了170多个营销活动，由于实现了目标客户营销，平均每个营销活动的目标客户从百万级降低到10万， 乃至5000-1000之间，所以营销成本比系统投产前降低了90%以上。
1。初始客户名单通过Brio从数据 仓库中筛选出来，并导入TCRM中
Ad-hoc query Ad-hoc query
17
数据挖掘的流程
找出并了解业务问题
建模前的预处理
模型化
、数据探索与转化
清洗数据与预处理
取样
评估与确认
知识
部署到数据仓库
数据仓库
通过样本组来建立预测模型 通过对照组与行动组的比较，评估模型的精准性； 通过行动组与不行动组的比较，评估执行环节的优劣。
18
应用体系—应用规划考虑维度
IT部门除了考虑数据质量、数据可用性、投资预算规模之外，更重要 的是考虑应用实施能否满足业务用户目前收益心理预期等因素，要想 的大（全面，具体，全局观）。