国家开发银行大数据实践经验分享v1.1-王浩

思想方法
交互渠道
大数据
硬件资源
第5页/共32页
系统架构
1.4 大数据对不同行业的价值
金融服务
· 推出有针对 性的市场营销 活动和产品 · 提升客户服 务水平 · 优化交易决 策 · 合规 · 风险管理 · 欺诈侦测 · 提升债务回 收率 · 创造新收入 · 用于制定战 略规范
TMT¹
· 以客户洞察 为基础，提供 有针对性的产 品和服务，推 出有针对性的 广告 · 社交网络分 析
第4页/共3Fra Baidu bibliotek页
1.3 对大数据的理解
大数据是指难以利用常规硬 件环境和软件工具在用户可接 受的时间内收集、存储、管理 和分析的数据集，具有容量大、 种类多、复杂度高、处理速度 要求高等特征。 大数据中的“大” 不是最 重要的，大数据会持续地演进， 今天的大数据明天可能不再被 认为是大数据，更重要的是企 业如何掌握和运用这些大数据 的能力，即通过不断创新思想 方法和技术体系，获取更加全 面有效的数据信息，深度挖掘 分析数据价值，藉此获得生产 和管理方式的优势，才能成为 傲视群雄的领先者。
更好地了解客户，制定有针对性的行动方案 个性化定价和交叉销售 客户细分 先进的模式和 信号识别 个性化定价和 交叉销售 客户细分 为第三方总结 深入洞察 推出增值服务， 提升忠诚度 为客户提供 个性化定价 个性化定价和 交叉销售 预见客户流失 提供更具成本效 益的财务建议
预见客户流失 高效渠道管理 为第三方总结 深入洞察 推出增值服务，提升忠诚度
第二部分 大数据在银行业的应用 ……………………………......
第3页
第 14 页
第三部分 国家开发银行大数据建设实践 ............................................ 第 22 页
第13页/共32页
2.1 大数据在银行业的潜在应用
零售银行业务 公司银行业务 资本市场业务 交易银行业务 资产管理业务 财富管理业务
第9页/共32页
1.5 大数据能做什么 —— 客户特征刻画、交叉销售
大数据驱动市场营销、驱动成本控制、驱动产品和服务创新、驱动管理和决策的创新、驱动商业模式 的创新。
今年年初，美国一名男子闯入了他家附近的 Target 店铺（Target
是一家美国零售连锁超市）。“你们怎么能这样！”男人向店铺经
理大吼到，“你们竟然给我 17 岁的女儿发婴儿尿片和童车的优惠 券，她才 17 岁啊！”店铺经理不知道发生了什么，立刻向来者道 歉，表明那肯定是个误会。然而，经理没有意识到，公司正在运行 一套大数据系统。一个月后，这个愤怒的父亲打来电话道歉，因为 Target 发来的婴儿用品促销广告并不是误发，他的女儿的确怀孕了。 ——《纽约时报》报道
非结构化的 数据挖掘
提供丰富实时的商业信息 风险管理 确定违约模式 完善评分算式 智能化催收
第14页/共32页
欺诈监测
识别异常情况
2.2 应用场景（1） – 基于智能聚类的客户业务份额提升机会识别
1. 可实现机会是指现状与100%钱包份额之间的差距，其中包括6%-40%的调整，充分考虑到因银行实 际能力导致的在实际操作中的可行性 。 2. 渗透率的分析方法是（可实现机会 / 集群的100%钱包份额），再划分为三段 。
更多：反恐（万维信息触角计划与建言计划），库存管理（沃尔玛的Retail Link）、卖数据！
第10页/共32页
1.6 各国政府高度重视大数据，上升到国家战略高度
美国：奥巴马政府3.29宣布“Big Data Research
and Development Initiative”
将投入超过2亿美元推动大数据提取、存储、分析、共
全景管理视图
以服务客户 为经营中心
全面推动 产品创新
生产 方式 变革
舆情分析 以数据分析 挖掘为决策 智慧 高效支持新型 城镇化建设
全息360度 客户视图
大数据 驾驭能力
以精准营销 为主流业务 客户消费习惯和 行为特征深入分析
实时反欺诈、 反洗钱监测
以科技创新 为驱动力
第19页/共32页
更具针对性的精准 营销和交叉销售
3.4 大数据时代下未来银行的构想
通过对大数据模型的计算和设计，整个银行体系就会变成基于数据收集、数据分 析、数据建模的数据应用体系，加上货币，按照数据分析和挖掘结果，设计和提供 金融产品、金融服务、授信额度，再通过现有的支付媒介，进行循环运行，就可构 成未来的银行
话题有多热？
谁在说？
在哪儿说？
伴随时间发展，讨论热度的波动如何？
是赞扬？批评？中性？
对市场方向有何影响？
第18页/共32页
2.3 大数据未来对银行业的影响
对于银行业，大数据未来必将推动产品创新、业务流程、服务渠道、客户营销等生产 方式以及组织结构、战略决策、管理制度、风险控制等管理模式的变革。
管理 模式 变革
国家开发银行大数据实践经验分享
王 浩
国家开发银行 信息科技局 2015年12月
目录
第一部分 大数据的产生与发展...............................................................
第二部分 大数据在银行业的应用 ……………………………......
采集、存储、 初加工
内部非结 构化数据
主要 技术 人员 角色
云计算、物联网、移动 互联网、社交网络……
java MapReduce 技术专家
SQLMapReduce 业务专家
数据科学家
第12页/共32页
目录
第一部分 大数据的产生与发展...............................................................
享、可视化等领域的研究，并将其与历史上对超级计算 和互联网的投资相提并论
中国： 2015年06月24日,国务院办公厅发布《加强 大数据运用的若干意见》，2015年8月31日 国务院 常务会议通过了《促进大数据发展的行动纲要》。
新加坡：利用数据作为资源，将新加坡打造成全球 数据管理中心
计划未来5年，培养2500名数据分析专业人才 新加坡正计划建立一个占地面积超过12公顷的数据中心 园
第3页
第 14 页
第三部分 国家开发银行大数据建设实践 ............................................
第 22页
第2页/共32页
1.1 大数据的产生
科技的发展，特别是信息技术的飞速发展催生了大数据
移动互联网 流计算
EB 千P 用户点击流
云计算
用户生成内容 移动网络 动态定价 A/B 测试 社交网络 舆情分析
数据强度
第6页/共32页
-
1.5 大数据能做什么 —— 传感器、智慧地球
2011年3月11日日本大地震发生后仅9分钟，美国国家海洋和大气管理局(NOAA)就发布了详细的海啸 预警。NOAA通过对海洋传感器获 得的实时数据进行计算机模拟，制作的海啸影响模型出现在各大 网站。
1962年，经过“圣灰星期三”风暴后，美国陆军工程部和美国国家海洋与大气管理局共同建设了一个传感器监测系统， 对兴风作浪的海洋进行监测。2005年，浮标上安装了更高端的传感器，用来监测海浪方向。2009年，系统再次升级， 开始着手建立一个覆盖全美海岸线的精确海浪监测网络。这些传感器以分秒为单位，将数据源源不断实时传回。还记得 《后天》里面那个场景？
第7页/共32页
1.5 大数据能做什么 —— 舆情监测、情感分析
通过对BBS、博客、微博中内容的分析，政府、企业和个人可以了解当前舆论情况，公众对待某一事 物的看法。目前围绕这个产业，催生了一大拨的创新公司。
通过分析15万条关于刘翔的微博，分 词并析取出其中使用的字词。在分析 中，我们发现，为刘翔呐喊助威的声 音占了统治地位，然而也有微博用户 激烈地批评刘翔。这是我们第一次能 对如此数量的中国用户进行数据可视 化和情感分析 在所有关于刘翔的微博中出现的最显 著的名词和形容词。结点越大表明越 多人使用过这个词。两个结点离得越 近表明它们一起出现在同一用户微博 中的频率越高。我们在构造出的这个 图中，可以非常明显地发现刘翔支持 者所用的词语（右下）以及批评者所 有的词语（左上）的巨大区别。
第11页/共32页
1.7 大数据获取与挖掘分析过程
数据管控
原生矿
公有云 大 数 据 淘 金 过 程
结构化数 据
金矿粉
传统数 据仓库
集中整合
金首饰
私有云
查询引擎 立方体
内部结构 化数据
非结构 化数据
Hadoop
大数 据仓库
探索、分析、 再加工
模型实验室 （沙盒） 挖掘和分析、模 型训练
数据描述 预测模型 可视化 数据搜索 数据发现
最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡在2011年发布的研究报告——《大数据：创新、 竞争和生产力的下一个新领域》之中，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要 的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。” “大数据 ”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息 行业的发展而引起人们关注。
行为目标 动态过滤
万兆交换
基于位置的服务
不断增加的数据种类与复杂度
第3页/共32页
1.2 大数据的提出
麦肯锡咨询公司“大数据”研究报告
“Big data: The next frontier for innovation, competition, and productivity” —McKinsey Global Institute, May 2011.
零售和 消费品
公共行业
· 欺诈防控 · 人口细分、 定制行动 · 开放式数据 项目支持 · 决策自动化
· 需求预测和 资产优化 · 预测性和防 范性维护 · 灾难管理 · 智能电网 · 智能家庭 · 智能电表 · 欺诈侦测 · 一线团队增 效 · 发电站点选 择和资产设置
公共事业 /能源
工业品
· 以数据为本 的产品设计 · 车间优化 · 灵活的供应 链管理 · 以价值为本 的设计 · 群包 · “数字化工 厂”，旨在实 现精益化成产 · 通过产品传 感器数据，优 化服务
医疗
· 临床决策支 持 · 分析结果比 照 · 生命科学研 究 · 最佳治疗方 案 · 远程患者监 控 · 新药预测性 建模 · 个性化药物
· 需求预测 · 优化库存水 平和补货 · 实时门店监 控 · 店内行为分 析 · 个性化交叉 销售和追加销 售 · 近乎实时的 定价 · 渠道绩效衡 量 · 客户洞察
第8页/共32页
1.5 大数据能做什么 —— 社交网络分析、微博营销
电信行业、传媒业借助社交网络分析，对客户的通话数据、微博连接进行分析，能够识别出这部分 “影响者”。社交分析并不是分析单一用户的通话记录和微博信息，而是分析各用户所处的社交网络。
圈子识别
关键成员识别 传播影响分析 重入网用户识别 双机双卡用户识别 六度空间理论 关系强度分析
第15页/共32页
2.2 应用场景（2） – 基于客户细分的差异化定价策略
银行间同业拆借利率、
外部因素
同业利率定价 市场资金供应量
各家银行的存款利率、 民间金融机构利率
客户属性特征
资金量 业务频度 ……
……
f(a1,a2,a3,......)=M
银行的利率 定价
客户群A
内部因素
收益预期 成本约束 客户综合价值考量
保险
· 按实际使用 付费的保险 （PAYD²） · 欺诈战略 · 专业小众产 品和保险捆绑 · 客户知识 · 智能化保险 续期
运输
· 交通拥塞管 理 · 车队/网络优 化 · 实时停车位 管理 · 动态化数据 调整
· 基于地理位置的营销 · 社交细分
社交媒介/其他应用
· 信心分析 · 价格对比服务
+
a1=GDP, a2=CPI， a3=......
客户群B
根据存款业务的收益与成本约束，以及市场上同类业务的成本定价情况，对本行存款 业务成本定价决策提供支持。
第16页/共32页
2.2 应用场景（3） – 风险管理
宏观经 济数据
税务 数据
公用事 业收费
第17页/共32页
2.2 应用场景（4） – 舆情监测分析
物联网
BIG DATA
外部统计 业务数据流
社交网络
PB 千T
网络log 营销历史
WEB
联署网络 搜索营销
内容分析
TB 千G
营销信息 客户细分
CRM
客户接触 客户名单
高清视频 语音转换 产品、服务log 短信、彩信
数据的低成本获 取与分布式存储 (Hadoop)
GB 千兆
购买明细 购买记录
ERP
付款信息