大数据应用实践分享
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
（上）
➢负面舆情搜索模 块试运行 ➢企金版黄金眼试 运行 ➢总行版“黄金眼” 需求开发完成
2015
（下）
➢总行版黄金眼上 线运行 ➢黑名单模块上线 试运行 ➢积累大数据，预 备风控模型建设
2016
➢移动端黄金眼开 发建设 ➢大数据模型训练 开发 ➢人工智能机器人
“黄金眼”功能模块
“黄金眼”技术运用
核心
主数据应用 集团成员系统
……
外部数据 外连系统 网络爬虫
……
数据分发
企业数据集成 数据采集
ODS
数据 缓存
数据仓库与集市
数据仓库
数据集市
企业 级 模型
公共 指标
企金集市 风险集市
零售集市
金融市场 集市
财务集市
购爬结合
HDS 非结构化数据处理
快速数据服务 海量数据分析
数据服务闭环
认知计算、机器学习等人工智能技术
“黄金眼”建设历程
❖大数据实践过程中也是“摸着石头过河”，产品建设按照“整体规划、分步实施” 的整体原则，采取“先试点、后推广”的迭代开发实施路线对“黄金眼”系统进行建 设。
产品起航
优化
成熟
进化
2014
➢ 总分行业务调研， 选定试点分行
➢ 大数据智能风控基 础设施部署
➢ 开发分行版并试运 行
2015
迎江实业有限 公司
集团关系
交易量异常、存 款集中减少
传奇物 业公司
现金流不稳定
企金预警模块成果
用户数
1600户
规则引擎
100+
准确率
35%
排查风险
77亿
黄金雷达利用四大维度、百余项指标构建客户 异常评分，每周为本行信贷和类信贷客户进行
全面扫描，轻松对异常客户进行预警
零售预警模块成果
55
（万）
3
（万）
大数据应用实践分享
创新紧贴业务，开放拥抱未来
目录
大数据认识 大数据应用平台规划 “黄金眼”产品分享
数字浪潮，势不可挡
IT时代
DT时代
RT时代
人像机器
机器像人
机器是人
大数据理念：没有开放就没有大数据
Title in 数he据re
Step 3
Step 1
T连itle接in here
Titl开e i放n here
自然语言 理解
首个公有云 应用.
爬虫与 反爬虫
图关联
智能问答 机器人
搜索引擎 Solr
H5技术
客户风险智能预警
18
客户关系一眼清
19
典型案例简介
现象：美丽饲料科技开发有限公司(简称“美丽饲料公司”）结算异常，且企 业主孟浩（化名）涉及民间借贷纠纷 风险点：贷款疑似被用于民间借贷还款 行动：加强监控，做好催收准备。
客户名称 企业状态 家庭状况 联系方式 行业 地址
……
基本信息
消费偏好 消费层次 风险偏好 生活半径
……
兴趣偏好
信用账户账龄 固定资产价值 笔均额度 银行存款 现金流异常
……
资产状况
信用卡逾期记录
贷款逾期记录
不良行为记录
……
是违规交易记录
欺诈行为记录
公检法不良记录
违约信息 ……
黑名单
不良舆情 老板跑路 利润下降 ……
负面信息
“黄金眼”产品分享
借力大数据技术及互联网数据资源，依托爬虫程序和搜索引擎，搜索和捕 获客户在互联网数据，并整合银行内部数据对爬取结果进行深度解读和风险模 型构建，从而提升风险管理工作中的信息化、自动化和智能化水平。
移动服务 智能预警 数据整合 数据存储
数据采集
• 移动查询功能：移动端信息查询功能；数据可视化开发 • 预警功能：批量客户预警；风险业务规则部署；大数据模型开发和部署； • 整合功能：行内外数据整合；指标数据加工；非结构化数据提炼转换； • 存储功能：公有云数据存储；行内非结构化数据存储；结构化数据存储； • 采集功能：互联网数据爬去；内部数据采集；外部数据源接口开发；
张三
（化名）
孟璐（化
名）
美丽饲料公司
企业主
李四（化
名）
交易量异常、还 款异常
孟浩（化
名）
涉及民间借贷 法律纠纷
典型案例简介
案例：迎江实业有限公司（A公司）异常评分高达140分，有25%的 可能性出现一些风险。黄金眼预警其还款来源异常 风险点：A公司贷款疑似借壳融资 行动：压缩风险敞口4500万。
换款来源
10
（万）
25
（万）
9月 10月 12月 当前
查询量迅猛增长
1. 提高风控水平
利用网络爬虫技术自动采集公安、法 院、人行征信、搜房网等数据，提供一站 式查询、智能生成征信报告，自动提示风 险指标预警。
2. 提升流程效率，减少人力成本
分行由“ 多岗查多网”转变为”一岗 查一网”，大幅减少业务人员的手工查询 工作量。效率提升六倍，每年节省人力成
风控业务人 员
营销业务人 员
财务业务人 员
机器人
数据挖掘 风控数据产品 营销数据产品 财务数据产品 API接口
……
“兴智慧”根据用户的差异，提供了相匹配的分析工具，真正实现人人都是数据分析师。
—分析模型
基于内外部各类数据开发数据分析模型
兴智·风控系列
兴智·营销系列
兴智·运营系列
兴智·财务绩效系列
贷前风险评估 行为风险评估 催收风险评估 欺诈探测
数据分布管理，可信数据源管理 数据管控机制(元数据管理、数据标准管理、数据质量管理)
数据安全策略
数据消费层
分析型 应用系统 分析型 应用模块 产品系统
渠道系统
数据产品
—人人都是数据分析师
用户类型
分类服务
工具或产品
大众用户
统计报表 指标、资讯 可视化工具
万花筒
具有一定技 术基础
即席查询 多维分析
专业用户
税务 海关 法院 环保
工商
电商 社交 交通
……
Step 2
金融
大数据理念：没有连接就没有智能
连接是一切可能性的基础
无车辆，却运营车辆 无商品，却出售商品 无内容，却发布内容
没有连接，就没有智能
大数据应用三大关键
采得到
炼得精
用得爽
目录
大数据认识 大数据应用平台规划 “黄金眼”产品分享
平台创新
数据供应层 内部数据
工作机制 创新
实验机制
抢单机制
根据数据产品业 务价值优胜劣汰 ，加大优秀团队 的资源配置。
根据员工承接任 务的情况，多产 多得。
目录
大数据认识 大数据应用平台规划 “黄金眼”产品分享
风险管理领域新命题
在互联网高速发展的今天，有关客户的信息散布在互联网的各个角落。大数
据在风险管理方面确实能发挥有效作用，整合内外部数据信息，以大数据思维创 新风险管理手段是目前风险管理领域的一个新命题。
客户洞察 交叉销售 事件式营销
渠道分析 产品分析 系统日志分析
综合定价 绩效管理
人工 智能
异常 生异之异
关联 求同之同
预测 度势之势
百度文库
机制创新
107个微信群、 14000人、投票 决定产品功能选 功能
提供大数据实验 室环境，快速将 想法转换成原型 ，允许试错。
接地气 Contents
C赛o马nt机en制ts
➢负面舆情搜索模 块试运行 ➢企金版黄金眼试 运行 ➢总行版“黄金眼” 需求开发完成
2015
（下）
➢总行版黄金眼上 线运行 ➢黑名单模块上线 试运行 ➢积累大数据，预 备风控模型建设
2016
➢移动端黄金眼开 发建设 ➢大数据模型训练 开发 ➢人工智能机器人
“黄金眼”功能模块
“黄金眼”技术运用
核心
主数据应用 集团成员系统
……
外部数据 外连系统 网络爬虫
……
数据分发
企业数据集成 数据采集
ODS
数据 缓存
数据仓库与集市
数据仓库
数据集市
企业 级 模型
公共 指标
企金集市 风险集市
零售集市
金融市场 集市
财务集市
购爬结合
HDS 非结构化数据处理
快速数据服务 海量数据分析
数据服务闭环
认知计算、机器学习等人工智能技术
“黄金眼”建设历程
❖大数据实践过程中也是“摸着石头过河”，产品建设按照“整体规划、分步实施” 的整体原则，采取“先试点、后推广”的迭代开发实施路线对“黄金眼”系统进行建 设。
产品起航
优化
成熟
进化
2014
➢ 总分行业务调研， 选定试点分行
➢ 大数据智能风控基 础设施部署
➢ 开发分行版并试运 行
2015
迎江实业有限 公司
集团关系
交易量异常、存 款集中减少
传奇物 业公司
现金流不稳定
企金预警模块成果
用户数
1600户
规则引擎
100+
准确率
35%
排查风险
77亿
黄金雷达利用四大维度、百余项指标构建客户 异常评分，每周为本行信贷和类信贷客户进行
全面扫描，轻松对异常客户进行预警
零售预警模块成果
55
（万）
3
（万）
大数据应用实践分享
创新紧贴业务，开放拥抱未来
目录
大数据认识 大数据应用平台规划 “黄金眼”产品分享
数字浪潮，势不可挡
IT时代
DT时代
RT时代
人像机器
机器像人
机器是人
大数据理念：没有开放就没有大数据
Title in 数he据re
Step 3
Step 1
T连itle接in here
Titl开e i放n here
自然语言 理解
首个公有云 应用.
爬虫与 反爬虫
图关联
智能问答 机器人
搜索引擎 Solr
H5技术
客户风险智能预警
18
客户关系一眼清
19
典型案例简介
现象：美丽饲料科技开发有限公司(简称“美丽饲料公司”）结算异常，且企 业主孟浩（化名）涉及民间借贷纠纷 风险点：贷款疑似被用于民间借贷还款 行动：加强监控，做好催收准备。
客户名称 企业状态 家庭状况 联系方式 行业 地址
……
基本信息
消费偏好 消费层次 风险偏好 生活半径
……
兴趣偏好
信用账户账龄 固定资产价值 笔均额度 银行存款 现金流异常
……
资产状况
信用卡逾期记录
贷款逾期记录
不良行为记录
……
是违规交易记录
欺诈行为记录
公检法不良记录
违约信息 ……
黑名单
不良舆情 老板跑路 利润下降 ……
负面信息
“黄金眼”产品分享
借力大数据技术及互联网数据资源，依托爬虫程序和搜索引擎，搜索和捕 获客户在互联网数据，并整合银行内部数据对爬取结果进行深度解读和风险模 型构建，从而提升风险管理工作中的信息化、自动化和智能化水平。
移动服务 智能预警 数据整合 数据存储
数据采集
• 移动查询功能：移动端信息查询功能；数据可视化开发 • 预警功能：批量客户预警；风险业务规则部署；大数据模型开发和部署； • 整合功能：行内外数据整合；指标数据加工；非结构化数据提炼转换； • 存储功能：公有云数据存储；行内非结构化数据存储；结构化数据存储； • 采集功能：互联网数据爬去；内部数据采集；外部数据源接口开发；
张三
（化名）
孟璐（化
名）
美丽饲料公司
企业主
李四（化
名）
交易量异常、还 款异常
孟浩（化
名）
涉及民间借贷 法律纠纷
典型案例简介
案例：迎江实业有限公司（A公司）异常评分高达140分，有25%的 可能性出现一些风险。黄金眼预警其还款来源异常 风险点：A公司贷款疑似借壳融资 行动：压缩风险敞口4500万。
换款来源
10
（万）
25
（万）
9月 10月 12月 当前
查询量迅猛增长
1. 提高风控水平
利用网络爬虫技术自动采集公安、法 院、人行征信、搜房网等数据，提供一站 式查询、智能生成征信报告，自动提示风 险指标预警。
2. 提升流程效率，减少人力成本
分行由“ 多岗查多网”转变为”一岗 查一网”，大幅减少业务人员的手工查询 工作量。效率提升六倍，每年节省人力成
风控业务人 员
营销业务人 员
财务业务人 员
机器人
数据挖掘 风控数据产品 营销数据产品 财务数据产品 API接口
……
“兴智慧”根据用户的差异，提供了相匹配的分析工具，真正实现人人都是数据分析师。
—分析模型
基于内外部各类数据开发数据分析模型
兴智·风控系列
兴智·营销系列
兴智·运营系列
兴智·财务绩效系列
贷前风险评估 行为风险评估 催收风险评估 欺诈探测
数据分布管理，可信数据源管理 数据管控机制(元数据管理、数据标准管理、数据质量管理)
数据安全策略
数据消费层
分析型 应用系统 分析型 应用模块 产品系统
渠道系统
数据产品
—人人都是数据分析师
用户类型
分类服务
工具或产品
大众用户
统计报表 指标、资讯 可视化工具
万花筒
具有一定技 术基础
即席查询 多维分析
专业用户
税务 海关 法院 环保
工商
电商 社交 交通
……
Step 2
金融
大数据理念：没有连接就没有智能
连接是一切可能性的基础
无车辆，却运营车辆 无商品，却出售商品 无内容，却发布内容
没有连接，就没有智能
大数据应用三大关键
采得到
炼得精
用得爽
目录
大数据认识 大数据应用平台规划 “黄金眼”产品分享
平台创新
数据供应层 内部数据
工作机制 创新
实验机制
抢单机制
根据数据产品业 务价值优胜劣汰 ，加大优秀团队 的资源配置。
根据员工承接任 务的情况，多产 多得。
目录
大数据认识 大数据应用平台规划 “黄金眼”产品分享
风险管理领域新命题
在互联网高速发展的今天，有关客户的信息散布在互联网的各个角落。大数
据在风险管理方面确实能发挥有效作用，整合内外部数据信息，以大数据思维创 新风险管理手段是目前风险管理领域的一个新命题。
客户洞察 交叉销售 事件式营销
渠道分析 产品分析 系统日志分析
综合定价 绩效管理
人工 智能
异常 生异之异
关联 求同之同
预测 度势之势
百度文库
机制创新
107个微信群、 14000人、投票 决定产品功能选 功能
提供大数据实验 室环境，快速将 想法转换成原型 ，允许试错。
接地气 Contents
C赛o马nt机en制ts