贝叶斯决策树在客户流失预测中的应用_尹婷

126
2014， 50 （7）
Computer Engineering and Applications 计算机工程与应用
属性测试 0 f 0 f … …
习， 但 SVM 求解是一个最优化的过程， 需要进行比较多 的计算； 除此之外， 还要求数据类别分布均匀， 这一点在 客户流失预测中不太容易满足 [4]。基于决策树分类算法 是基于信息增益率构建决策树， 在训练阶段和测试阶段 都只要进行简单的比较， 因此计算比较简单， 对数据类 别无要求。且基于决策树的分类算法从给定样本中推 理出以树为表示形式的分类规则， 其结果表现直观
基金项目： 中国移动通信集团新疆有限公司研究发展基金项目 （No.XJM2011-11） 。 作者简介： 尹婷 （1988—） ， 女， 硕士， 主要研究领域为数据挖掘； 马军 （1981—） ， 男， 高级工程师， 主要研究领域为移动通信； 覃锡忠 （1964—） ， 男， 副教授， 主要研究领域为信号处理与通信系统； 贾振红 （1964—） ， 男， 博士， 教授， 主要研究领域为光通信 网络。 E-mail： cherish882006@126.com 收稿日期： 2012-06-18 修回日期： 2012-09-26 文章编号： 1002-8331 （2014） 07-0125-04 CNKI 网络优先出版： 2012-10-23, http://www.cnki.net/kcms/detail/11.2127.TP.20121023.1539.009.html
E (W ) = å((s1j + s 2j + + s mj )/|S|)•I (s1j s 2j s mj ) （2）
2 2.1
贝叶斯决策树 决策树
决策树是一树状结构， 它的每一个树节点可以是叶
节点， 对应着某一类， 也可以对应着一个划分， 将该节点 对应的样本集划分成若干个子集， 每个子集对应一个节 点 [6]。从决策树的根节点到叶节点的一条路径就形成了 对相应对象的类别预测。决策树学习着眼于从一组无 次序、 无规则的事例中推理出决策树表示形式的分类规 则。它采用自顶向下的递归方式， 在决策树的内部节点 间进行属性的比较， 并根据不同属性判断从该节点向下 的分支， 在决策树叶节点得到结论 。
策树分类的信息熵增益方法相结合， 应用到电信行业客户流失分析中， 分别将移动公司的客户数据以及 UCI 数据纳 入到模型中得出相应的结果。加入贝叶斯节点弥补决策树不能处理缺失值以及二义性数据的缺点。检验结果表 明， 基于贝叶斯推理的决策树算法在牺牲了较小的训练时间与分类时间的情况下， 得到了比仅基于决策树算法更高 的覆盖率与命中率。 关键词： 数据挖掘； 贝叶斯决策树； 客户流失； 熵函数 文献标志码： A 中图分类号： TP181 doi： 10.3778/j.issn.1002-8331.1206-0272
服务的余地愈加广泛， 客户的忠诚度开始降低， 而在行 业中获得一个新客户的开支越来越大， 因此保持原有客 户， 防止客户流失也越来越有价值
[1-2]
。通过数据挖掘技
术分析， 预测客户流失行为， 电信运营商可以提前预测 到可能产生的流失， 然后针对客户的需求， 采取相应措 施， 减少客户流失所带来的损失。
1
引言
随着国内外电信市场竞争的加剧， 客户选择产品及
目前针对客户流失问题常用的方法有聚类分析、 决 策树算法、 人工神经网络和支持向量机等 [2]。虽然在此 领域已有诸多研究成果， 但是每一类方法都有其应用的 局限性。其中， 聚类分析建模简单， 但预测准确度较 低。人工神经网络具有较好的分类精度， 但主要依靠经 验风险最小化原则， 容易导致泛化能力下降且模型结构 难以确定 [3]。基于支持向量机的方法对小样本数据的测 试环境的适应能力强， 分类正确率高， 能有效防止过学
（2） 函数 f 的值。 试条件 θ ； 基于贝叶斯方法的决策树分类算法的基本思想： （1） 对于能够用信息增益方法确切选择某个属性的 分支， 选取贝叶斯节点的 0 值。信息增益法是运用信息 论中熵的概念， 计算信息增益的计算方法为： 把 S 中的数据样本分 设 S 是 s 个数据样本的集合， 设 si 是类 C i 中的 到 m 个不同类别 C i (i = 1 2 m) 中， 样本数， 对一个给定的样本集求期望为：
2014， 50 （7）
127
断先将其分到哪些类中， 然后利用贝叶斯方法进行处 理， 确定后验概率， 选取后验概率最大的那一类， 此类即 为数据对象所属的类别。其中后验概率的计算方法： 设 x 表示一个待分类的客户对象，x 中有 k 个维度 的属性值， 即 x = ( x1 x 2 x k ) ； 设贝叶斯决策树的 p 个 叶 子 节 点 分 别 为 L1 L 2 L p 。 贝 叶 斯 原 理 的 计 算 后 验公式为：
2.2
贝叶斯决策树
定义 在原有决策树 T 的基础上， 加入新的节点， 此
能够根据贝叶斯 节点位于 T 的两个属性测试节点之间， 原理计算此节点。此节点称为贝叶斯节点， 具有这样节 点的决策树称做贝叶斯决策树 [10]。贝叶斯决策树的结 构如图 1 所示。
尹
婷， 马
军， 覃锡忠， 等： 贝叶斯决策树在客户流失预测中的应用
P ( L i |x ) = P ( x |L i ) P ( L i ) ， 1ip P ( x)
前 3 个月的平均花费） （ / 前 3 个月的平均花费） ×100% 。 将 “外网费用比” 定义为： 截止至流失时间的最近 3 个月 内客户作为主叫方与外网 （出移动通信企业以外） 号码 的通话及短信费用占总花费的百分比。定义 “呼叫转 移” 为截止至流失时间的最近 3 个月内客户是否使用过 呼叫转移， 若有， 为 1， 否则为 0。定义 “投诉情况” 为截 止至流失时间的最近 3 个月内客户如果没有投诉， 或投 诉后对结果满意为 0， 否则为 1。如表 1 所示为部分客户 属性分布。
I (s1 s 2 s m) = -åp i lb( p i )
（1）
其中 p i = si /|S| 是任意样本属于 C i 的概率。 设属性 W 具有 n 个不同值 {w1 w 2 w n} ， 可以用 属 性 W 把 S 分 割 为 n 个 子 集 { s1 s 2 s n} 。 其 中 ，S j 包含在 W 上具有值 w j 的一些样本。若 W 作为测试属 性， 则这些子集对应于由包含集合 S 的节点生长出来的 分支。设 S ij 是子集 S j 中类 C i 的样本数， 则根据 W 划 分成子集的信息期望值为：
[9]
其中，I (s1j s 2j s mj ) = -åp ij lb( p ij ) ，p ij = sij /|s j | 。 因此可得信息增益值 Gain( A) 为：
Gain(W ) = I (s1 s 2 s m) - E (W )
wk.baidu.com
（3）
熵值越小， 子集划分的纯度就越高。算法计算每个 属性的信息增益， 并选取具有最高增益的属性作为给定 集合的测试属性。对被选取的测试属性创建一个节点， 并以该属性标记， 将该属性的每个值创建为一个分支划 分样本。 （2） 对于数据分类具有二义性即无法确定其分类类 别的数据对象， 或属性值丢失的数据， 如某一预测客户 的职业未知， 则选取 f 值。函数 f 的选取主要依据经 验知识以及以前的实验结果确定先验概率， 根据概率判
Computer Engineering and Applications 计算机工程与应用
2014， 50 （7）
125
贝叶斯决策树在客户流失预测中的应用
尹 婷 1， 马 军 2， 覃锡忠 1， 贾振红 1
YIN Ting1, MA Jun2, QIN Xizhong1, JIA Zhenhong1
[5-8]
属性测试 …
属性测试 … 叶子节点
叶子节点
…
。
图1
贝叶斯决策树
但是决策树算法的主要缺点之一， 是不能对缺失以及二 义性数据产生正确的分支而影响整个决策树的生成， 降 低了准确性， 其使用有一定的局限性。 将贝叶斯推理导入决策树学习模型不仅可以处理 包含不一致或者不完整等非规律性数据集合， 弥补了决 策树不易处理缺失值的缺点， 而且巧妙地将先验知识和 概率背景融入决策树模型。目前， 许多学者已对贝叶斯 姬杨蓓蓓构建了基于 决策树算法展开研究 [9-12]。例如， 贝叶斯决策树的交通事件持续时间预测 [10]； 决策树算法 的垃圾邮件识别体制等[11]。 本文将贝叶斯推理导入决策树模型， 进而提出了一 种基于贝叶斯决策树算法的客户流失预测模型。该模 型充分利用了贝叶斯方法和决策树分类的优点， 比单纯 使用贝叶斯方法或决策树方法具有更高的准确率， 而且 算法的训练时间和分类时间不会随着样本集规模的扩 大而急剧增大， 即本文模型以少许时间增长为代价换取 了分类准确率的大幅提高。这在电信企业对客户流失 预测准确率的严格要求方面， 体现出优越性和重要应用 价值。
1.新疆大学 信息科学与工程学院， 乌鲁木齐 830046 2.中国移动通信集团新疆有限公司， 乌鲁木齐 830063 1.School of Information Science and Engineering, Xinjiang University, Urumqi 830046, China 2.Subsidiary Company of China Mobile in Xinjiang, Urumqi 830063, China YIN Ting, MA Jun, QIN Xizhong, et al. Bayesian decision tree applying in forecasting customer churn. Computer Engineering and Applications, 2014, 50 （7） ： 125-128. Abstract：According to telecom enterprise customer churn problem, a prediction model based on Bayesian decision tree algorithm is put forward. It combines the prior information method of Bayesian classification and the information gain method of decision tree classification, and applies to the analysis of telecom enterprise customer churn, then puts the customer data of mobile company and data UCI in the model respectively and gets the relevant results. Added Bayesian node to make up for the decision tree cannot handle the missing value and the ambiguity data. The applications indicate that, Bayesian decision tree algorithm sacrifices a little training time and classification time, but gets higher coverage rate and hit rate than basic decision tree method. Key words： data mining; Bayesian decision tree; customers churn; entropy function 摘 要： 针对电信企业客户流失问题， 提出采用贝叶斯决策树算法的预测模型， 将贝叶斯分类的先验信息方法与决
贝叶斯节点分为两部分： 分别是 0 值和 f 值。 0 值 表示此节点不进行任何计算， 直接根据条件 θ 转向下一 这里的 属性测试节点；f 值表示需要计算函数 f 的值， 即根据贝叶斯原理利用先验 函数 f 是朴素贝叶斯公式， 如果贝叶斯节点需要 概率计算后验概率 [12]。也就是说，
f 值， 则下一个属性节点的选择依赖于两点： （1） 属性测