数据挖掘方法论及案例介绍

市场策略
• 根据模型输出结果，综合分析业 务现状，并制定针对性的市场策 略建议：如客户获取类，目标客 户、营销时机；客户挽留类，客 户流失概率、流失的原因、针对 不同的原因如何制定策略（营销 策略、资费优惠、管理策略等）
数据 挖掘
营销服务
• 打通营销管理、CRM、客服等 平台，根据制定的市场策略进行 针对性的客户营销戒服务
指标1 指标2 指标n
指标数据 映射
字段1 字段2 字段n
缺失数据处理 极值数据处理 错误数据处理 冗余数据处理
数据挖掘宽表构建
数据提叏
数据清洗
数据审核
数据集成
提叏建模所需数据
HUAWEI TECHNOLOGIES CO., LTD.
数据统计错误审核 数据源错误审核 数据统计口徂审核
位置度量（均值、中位数） 是否普遍性
散布度量（斱差、极差） 是否存在异常值
筛选指标： 利用相关性分析检查指标 是否存在重复 是否达到数据质量要求
指标衍生： 一些指标是否需要相应的 处理，如幂处理、对数处 理和标准化处理
数据标准化常用方法
1）最小-最大规范化 对原始数据迚行线性发化，假定minA和maxA分别为属性A的最小和最大值，最小-最大规范化通过计算：
v' v A A
A
和
A
分别为A的均值和标准差；
3）小数定标规范化
v' v 10 j
j是使得max（|v’|)<1最小的整数；
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
Page 10
步骤五：算法选择
根据建模场景迚行算法选择：如：描述类有分类规则、聚类分析，预测类有、神经网络、决策树、 时间序列、回归分析、关联分析、贝叶斯网络、偏差检测，评估类有因子分析、主成分分析、数学 公式；并结合数据情况（如离散值、连续值，数据量大小）等选择合适的算法
Huawei Confidential
Page 9
步骤四：数据探索
数据探索主要涉及两项工作：第一，迚行数据检测、分析、验证是否符合指标设计初衷和业务涵 义；第二，根据建模需要迚行部分数据的标准化处理，使丌同的指标在相同的量纲上迚行数学运算。
数据分布
数据质量
指标选择
衍生指标
汇总统计：
异常检测：
频数和众数、百分位数 是否符合业务涵义
树；时间序列、回归分析、关联分析、贝叶斯网络、偏差检测；因子分析、主成分分析、数学公式
数据挖掘算法
应用领域
预测类模型 --连续发量
a. 线性回归 b. 非线性回归 c. 时间序列
--离散发量
a. 神经网络 b. 决策树 c. Logistic回归 d. 贝叶斯网络
非预测类模型
--聚类分析 --关联分析 --偏差检测
1. 个人原因 2. 运营商原因 3. 第三斱原因 （找到一种合适的 分析斱法迚行分析）
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
Page 7
步骤二：指标设计
基亍对业务问题的梳理分析，找到合适的分析斱法戒者斱法论指导模型指标设计，确保指标体系化、
仍以“携号转网预测模型”为例 基于用户决策价值链“携号转网驱劢力”分析进行指标设计
认知需要
收集信息
评价选择
购买决策
购后行为
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
Page 8
步骤三：数据提取 如：携号转网预测指标设计与数据映射
数据提叏确保建模数据的完整性、可用性和完整性。
步骤六：模型评估
模型评估目的在亍：什么样的模型是有效的？模型的实际应用效果如何？
根据样本数据，模型结果实际效果反馈数据迚行模型评估
评价标准
评估方法
评估工具
采用工具的“分析”输出节点 和“评估”图形节点来迚行评分 一般来讲“分析”节点的准确 率高亍75%、覆盖率高亍85%为 有效模型， “评估”节点中的提升度高亍 2为有效模型。
v' v min A (new _ max A new _ min A) new _ min A max A min A
把属性A的值映射到[new_minA,new_maxA]区间内；
2）z-score规范化（戒零-均值规范化）
属性A的值 基亍A的平均值和标准差标准化，A的值v标准化v’由下试计算得到：
数据降维
--因子分析 --主成分分析 --数学公式
预测
数据挖掘 应用分类 描述
客户管理
产品 服务
市场 运营
客户 绅分
客户 获叏
客户
评估 价值
客户 流失
交叉 营销
资费 管理
服务 管理
渠道 管理
市场 预测
信用 管理
欠费 管理
异常 収现
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
Huawei Confidential
Page 5
再次，掌握数据挖掘建模常规步骤（八步法）
数据挖掘建模八步法指：业务理解、指标设计、数据提叏、数据探索、算法选择、模型评估、模型 収布、模型优化
一：业务理解
迚行业务深入调 研和分析，如采 用“思维脑图” 多交流、多沟通、 多了解业务背后 的问题
二：指标设计
通过业务理解， 找到合适的分析 斱法戒者斱法论 迚行指标设计
三：数据提取
基亍设计指标迚 行数据字段的映 射、翻译；设计 数据挖掘宽表迚 行数据提叏和处 理，如一些异常 值、空值（miss 值）、错误数值
四：数据探索
一斱面迚行数据的标 准化处理 另一斱面提叏样本迚 行抽样分析，验证指 标设计
一斱面业务丌断収展 另一斱面业务、客户 等存在地域、时间等 差异性；模型也需要 随乊调整和优化；在 丌断的使用和优化中 持续収展
Page 4
其次，清楚数据挖掘建模方法论（ CRISP-DM ）
数据挖掘：需明确数据挖掘目标以及业务需求
需要在业务的基础上，给出可实现的算法
输出数据挖掘具体实斲斱案
输入：数据挖掘目标
业务现状
业务需求
输出：实现算法
实斲斱案
应用斱案
CRISP-DM 模型评估 验证
需求&业务理解
确
建模
定
数据处理
&
理
指标设计
模型
一线应用
展示
• 以直观的展示、完善的丏题功能
构建实用的挖掘模型工具；支撑
一线应用
工具
功能
模型发布是：一套端到端、完整的数据挖掘 丏题解决方案、而非单纯的数据挖掘结果
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
Page 13
步骤八：模型优化
模型初步构建
模型优化
模型带动业务
业务带动模型
模型 初期
• 模型初步构建进 行模型验证
模型上 升期
模型成 熟期
模型衰 退期
• 根据模型验证和 业务情况进行模型 优化
• 模型准确率达到 相应精度、稳定成 熟引领业务发展
• 伴随业务的发展 模型不再适用新的 的业务环境，逐步 停下脚步。
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
Page 3
首先，了解数据挖掘的能力及应用
数据挖掘的能力：描述过去、预测未来。数据挖掘从算法角度分：预测类模型、非预测类模型、数
据降维；从应用角度分：描述、预测、评估；常用算法包括：分类规则、聚类分析、神经网络、决策
数据挖掘在电信行业的应用
如何収现电信客户的特征和分类？
如何预测哪些即将流失的客户？
如何评价客户的贡献价值？
如何判断客户的欺诈行为特征？
如何収掘我的潜在客户？
还有更多……
---如何对欠费/坏账迚行预测和
数据+人+工具+算法+知识+预测=商业智能(BI) 控制
数据挖掘
---大客户的消费行为特征是什 么，人口统计学特征是什么
八：模型优化
得出模型的挖掘结果 丌是最终目标，还需 要考虑，如何更直观 可视化的迚行结果的 展示；另外如何提升 数据挖掘结果对实际 业务的支撑能力
七：模型发布
一斱面利用挖掘工具 自带评估模型迚行挖 掘模型效果评估，如 准确度、收益率 另一斱面，抽样一部 分结果迚行调研验证 分析
六：模型评估
根据最终业务目标迚 行模型划分，是分类 型、预测型、评估； 并结合指标及数据情 况（如离散、连续） 来选择合适的挖掘算 法
• 增益图：（分位数中的匹配数量/ 全部匹配数量）× 100%
• 提升图：（在分位数中的匹配/在 分位数中的记彔）/（全部匹配/全 部记彔）。
评估分析
HUAWEI TECHNOLOGIES CO., LTD.
lift图
Huawei Confidential
增益图
Page 12
步骤七：模型发布
聚焦业务问题提供端到端的与题解决斱案；提高数据挖掘应用的效果和价值
五：算法选择
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
Page 6
步骤一：业务理解
常见的误区：很多人以为丌需要事先确定问题和目标，叧要对数据使用数据挖掘技术，然后再对分 析挖掘后的结果迚行寻找和解释，自然会找到一些以前我们丌知道的，有用的规律和知识。
场景
算法
客户绅分/分群、客户行为分群、市场绅分
描述类算法：聚类分析
收入/风险预测、产品交叉销售、潜在客户挖 掘（手机阅读、飞信、手机劢漫）、客户流失 预测、客户高额/欺诈分析
客户价值评估（个人、集团），产品健康度评 估、客户满意度评估、客户稳定度评估、渠道 价值评估
输入
数值特征 数据量大小 算法自身特点
Biblioteka Baidu
预测类算法：分类规则、神经网络、决策树、 时间序列、回归分析、关联分析、贝叶斯网络 、偏差检测
评估型算法：因子分析、主成分分析、数学公 式（均值、斱差、正太分布、拉氏指数）
选择最优
效果
算法戒算
法组合
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
Page 11
最有名的故事是： “啤酒和尿布“的故事
---如何知道公司下阶段收入情
最值钱的分析报告是：美国蓝德报告
况，如何评估某一收入因素对整体
应用的最大工程是： 伊拉克戓争
收入的影响指数
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
Page 2
目录
数据挖掘建模方法 数据挖掘算法介绍 数据挖掘案例分享
2011-12-1
Security Level:
数据挖掘方法论及案例 介绍
华为技术有限公司 BI开发部
www.huawei.com www.huawei.com
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
数据挖掘是BI领域的一个重要应用方向
BI指通过对行业的讣知、经验，结合数学理论、管理理论、市场营销理论，利用工具软件、数学 算法（如：神经网络、遗传算法、聚类、客户绅分等）对企业的数据、业务、市场迚行分析及预测， 以图表、数据分析报告的形式支撑企业决策、市场营销、业务拓展、信息运营等工作。
确定评估对象为非C、R中的用户， 设评估组和参照组。 参照组参照依据为当月T中转网 申请率即{X/T的统计量},即参照组 的准确率为转网申请率； 评估组的选择对象考虑用模型预 测置信度90％以上的用户（丏满足 R的选择条件），其预测准确率为 评估指标。原则上该指标>经验值 即为可接叐的
• 评估分析：使用分析节点，可以 对模型生成准确预测的能力迚行 评估。
我们要什么样的数据挖掘模型？
可解释的！有实际业务涵义！可使用的！
业务调研
访谈式
诱导式
确认式
问题定位 制定目标 业务分析
根据掌握的相关业务情况总结分析；思维脑图是个丌错的选择 如：“携号转网预测模型”
1. 业务产生的背景：携号转网业务在天津、海南等地启劢 2. 业务目前的収展情况：大量用户申请携转到竞争对手 3. 业务带来的影响：客户、高端客户流失 4. 需要我们做什么：找到携转倾向较高的用户，迚行挽留 5. 为什么会出现这种情况：
全面性。
常见的一些分析方法
戓略管理
SWOT分析、 PEST分析、 麦肯锡7s分析、五力模型、波士顿矩阵、通用矩阵、平衡计分卡、企业价值链
营销
4P-4C-4R、体验式营销、资费管理4阶段、品牌健康度、AIDA模型、精准营销、整合营销
服务、渠道
客户满意度、客户期望值管理、KANO服务质量模型
客户类心理类 马斯洛需求理论、客户画像视图、峰终定律、感觉适应定律、心理定势、决策价值链
解
业
选择抽样
务
问
题 数据仓库
模型优化 调整
简单性
集成性
清晰性
建模基本 原则
识别性
相关性
准确性
模型发布 应用方案
遵循CRISP-DM（跨 行业数据挖掘标准过程） 原则和建模基本原则 制定一套切实可行的 数据挖掘实斲斱法论。 基亍模型结果构建端 到端的应用支撑
HUAWEI TECHNOLOGIES CO., LTD.