数据挖掘商业案例

金融行业应用
1.前言
随着中国加入WTO，国内金融市场正在逐步对外开放，外资金融企业的进入在带来先进经营理念的同时，无疑也加剧了中国金融市场的竞争。

金融业正在快速发生变化。

合并、收购和相关法规的变化带来了空前的机会，也为金融用户提供了更多的选择。

节约资金、更完善的服务诱使客户转投到竞争对手那里。

即便是网上银行也面临着吸引客户的问题，最有价值的客户可能正离您而去，而您甚至还没有觉察。

在这样一种复杂、激烈的竞争环境下，如何才能吸引、增加并保持最好的客户呢
数据挖掘（Data Mining，DM）是指从大量不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、有用的信息和知识的过程。

其表现形式为概念（Concepts）、规则(Rules)、模式(Patterns)等形式。

用统计分析和数据挖掘解决商务问题。

金融业分析方案可以帮助银行和保险业客户进行交叉销售来增加销售收入、对客户进行细分和细致的行为描述来有效挽留有价值客户、提高市场活动的响应效果、降低市场推广成本、达到有效增加客户数量的目的等。

客户细分―使客户收益最大化的同时最大程度降低风险
市场全球化和购并浪潮使市场竞争日趋激烈，新的管理需求迫切要求金融机构实现业务革新。

为在激烈的竞争中脱颖而出，业界领先的金融服务机构正纷纷采用成熟的统计分析和数据挖掘技术，来获取有价值的客户，提高利润率。

他们在分析客户特征和产品特征的同时，实现客户细分和市场细分。

数据挖掘实现客户价值的最大化和风险最小化。

SPSS预测分析技术能够适应用于各种金融服务，采用实时的预测分析技术，分析来自各种不同数据源－来自ATM、交易网站、呼叫中心以及相关分支机构的客户数据。

采用各种分析技术，发现数据中的潜在价值，使营销活动更具有针对性，提高营销活动的市场回应率，使营销费用优化配置。

客户流失―挽留有价值的客户
在银行业和保险业，客户流失也是一个很大的问题。

例如，抵押放款公司希望知道，自己的哪些客户会因为竞争对手采用低息和较宽松条款的手段而流失；保险公司则希望知道如何才能减少取消保单的情况，降低承包成本。

为了留住最有价值的客户，您需要开展有效的保留活动。

然而，首先您需要找出最有价值的客户，理解他们的行为。

可以在整个客户群的很小一部分中尽可能多地找出潜在的流失者，从而进行有效的保留活动并降低成本。

接着按照客户的价值和流失倾向给客户排序，找出最有价值的客户。

交叉销售
在客户关系管理中，交叉销售是一种有助于形成客户对企业忠诚关系的重要工具，有助于企业避开“挤奶式”的饱和竞争市场。

由于客户从企业那里获得更多的产品和服务，客户与企业的接触点也就越多，企业就越有机会更深入地了解客户的偏好和购买行为，因此，企业提高满足客户需求的能力就比竞争对手更有效。

研究表明，银行客户关系的年限与其使用的服务数目、银行每个账户的利润率之间，存在着较强的正相关性。

企业通过对现有客户进行交叉销售，客户使用企业的服务数目就会增多，客户使用银行服务的年限就会增大，每个客户的利润率也随着增大。

从客户的交易数据和客户的自然属性中寻找、选择最有可能捆绑在一起销售的产品和服务，发现有价值的产品和服务组合，从而有效地向客户提供额外的服务，提高活期收入并提升客户的收益率。

欺诈监测
通过侦测欺诈、减少欺诈来降低成本。

为了与欺诈活动作斗争，首先您需要预测欺诈在何时、何地发生。

数据挖掘技术侦测在欺诈中常见的模式，预测欺诈活动将在哪里发生。

对于银行业的公司来说，欺诈活动频繁发生的一个领域是自动取款机（ATM）。

数据挖掘帮助公司预测欺诈性的ATM交易。

银行可以来预测欺诈最有可能在哪个地理位置上发生。

接着该信息就被传送给ATM网络的成员机构，由这些机构通知客户，让客户确定交易是否正当，从而避免发生更多的欺诈行为。

有了这些信息，他们可以更快地冻结帐户或采取其它必要的手段。

开发新客户
金融机构可以使用数据挖掘技术提高市场活动的有效性。

银行部门对给出反馈的活动对象进行分析，使之变成新的客户。

这些信息也可应用到其它客户，以提高新的市场活动的反馈率。

降低索赔
保险公司都希望减少索赔的数量。

可以使用聚类分析，根据现有客户的特征档案来找出哪些客户更有可能提出索赔请求。

这些档案是通过对客户提取200至300个不同的变量而产生出来的。

接着，您就可以针对那些可能提出较少索赔请求的客户开展获取活动。

信用风险分析
传统的风险管理已无法有效控制跨区域、跨部门、跨行业的多种风险，利用科学的数据分析系统提高欺诈的防范，降低信用风险尤为重要。

客户科学评估造成风险的因素，有效规避风险，建立完善的风险防范机制。

2.客户流失
随着金融体制改革的不断深化和金融领域的对外开放，我国金融行业的竞争日趋激烈。

《2006年金融服务指数研究报告》显示，在我国金融业逐步对外资行业开放的今天，中国金融业的服务质量虽然有稳步提升，但总体仍需提高，中资银行面临着极大的优质客户流失的危险。

这将对银行经营和效益产生极大的影响。

除了提高服务质量，银行要加强营销活动，保留优质客户，首先面临的第一个问题就是，谁可能流失应该针对哪些客户进行客户保留活动针对所有的客户开展保留活动，成本太大。

合理的做法是应用数据挖掘技术，研究流失客户的特征，从而对流失进行预测、并对流失的后果进行评估，采取客户保留措施，防止因客户流失而引发的经营危机，提升公司的竞争力。

具体来说，客户流失是指客户终止与企业的服务合同或转向其它公司提供的服务。

客户流失分析是以客户的历史通话行为数据、客户的基础信息、客户拥有的产品信息为基础，通过适当的数据挖掘手段，综合考虑流失的特点和与之相关的多种因素，从中发现与流失密切相关的特征，在此基础上建立可以在一定时间范围内预测用户流失倾向的预测模型，为相关业务部门提供有流失倾向的用户名单和这些用户的行为特征，以便相关部门制定恰当的营销策略，采取针对性措施，开展客户挽留工作。

客户流失需要解决的问题
1）哪些现有客户可能流失
客户流失的可能性预测。

主要对每一个客户流失倾向性的大小进行预测。

2）现有客户可能在何时流失
如果某一客户可能流失，他会在多长时间内流失。

3）客户为什么流失
哪些因素造成了客户的流失，客户流失的重要原因是什么。

主要对引起客户流失的诸因素进行预测和分析。

4）客户流失的影响
客户流失对客户自身会造成什么影响
客户流失对公司的影响如何
对可能流失客户进行价值评估，该客户的价值影响了运营商将要付出多大的成本去保留该客户。

5）客户保留措施
针对公司需要保留的客户，制定客户和执行保留措施。

客户流失的类型
为了避免由客户流失造成的损失，必须找出那些有流失危险和最有价值的客户，并开展客户保留活动。

客户流失现象可以分为以下三种情况：
1）公司内客户转移：客户转移至本公司的不同业务。

主要是增加新业务，或者费率调整引发的业务转移，例如从活期存款转移至零存整取，从外汇投资转移至沪深股市投资。

这种情况下，虽然就某个业务单独统计来看存在客户流失，并且会影响到公司的收入，但对公司整体而言客户没有流失。

2）客户被动流失：表现为金融服务商由于客户欺诈等行为而主动终止客户与客户的关系。

这是由于金融服务商在客户开发的过程中忽视了客户质量造成的。

3）客户主动流失：客户主动流失可分为两种情况。

一种是客户不再使用任何一家金融服务商的业务；另一种是客户选择了另一家服务商，如客户将存款从一家银行转移到另一家银行。

客户主动流失的原因主要是客户认为公司不能提供他所期待的价值，即公司为客户提供的服务价值低于另一家服务商。

这可能是客户对公司的业务和服务不满意，也可能是客户仅仅想尝试一下别家公司提供而本公司未提供的新业务。

这种客户流失形式是研究的主要内容。

如何进行客户流失分析
对于客户流失行为预测来说，需要针对客户流失的不同种类分别定义预测目标，即明确定义何为流失，进而区别处理。

预测目标的准确定义对于预测模型的建立是非常重要的，它是建立在对运营商的商业规则和业务流程的准确把握的基础之上。

在客户流失分析中有两个核心变量：财务原因/非财务原因，主动流失/被动流失。

对不同的流失客户按该原则加以区分，进而制定不同的流失标准。

例如，非财务原因主动流失的客户往往是高价值的客户，他们会正常支付服务费用并容易对市场活动有所响应，这种客户是企业真正需要保留的客户。

而对于非财务原因被动流失的客户，预测其行为的意义不大。

研究哪些客户即将流失，是一个分类问题。

将现有客户分为流失和不流失两类，选择适量的流失客户和未流失客户的属性数据组成训练数据集，包括：客户的历史通话行为数据、客户的基础信息、客户拥有的产品信息等。

Clementine提供人工神经网络、决策树、Logistic回归等模型用于建立客户流失的分类模型。

关于流失用户特征的分析，是一个属性约减和规则发现问题。

Clementine提供关联分析方法，可以发现怎样的规则导致客户流失。

也可以利用Clementine的决策树方法，发现与目标变量（是否流失），关系最为紧密的用户属性。

由于不同类型的客户可能具有不同的流失特征。

因此，在进行深入的客户流失分析时，需要先进行客户细分，再对细分之后的客户群分别进行挖掘。

在预测客户流失时一个很重要的问题是流失的时间问题，即一个客户即将要流失，那么它可能什么时候会流失。

生存分析可以解决这类问题。

生存分析不仅可以告诉分析人员在某种情况下，客户可能流失，而且还可以告诉分析人员，在这种情况下，客户在何时会流失。

生存分析以客户流失的时间为响应变量进行建模，以客户的人口统计学特征和行为特征为自变量，对每个客户计算出初始生存率，随着时间和客户行为的变化，客户的生存率也发生变化，当生存率达到一定的阈值后，客户就可能流失。

分析客户流失对客户自身的影响时，主要可以考虑客户的流失成本和客户流失的受益分析。

客户流失成本可以考虑流失带来的人际关系损失等因素，通过归纳客户的通话特征来表征。

减少客户流失的一个手段就是增加客户的流失成本。

客户流失的受益分析就是判断客户流失的动机，是价格因素还是为了追求更好的服务等。

这方面内容丰富，需作具体分析。

分析客户流失对公司的影响时，不仅要着眼于对收入的影响，而且要考虑其它方面的影响。

单个的客户流失对公司的影响可能是微不足道的，此时需要研究流失客户群对公司收入或业务的影响。

这时候可能需要对流失客户进行聚类分析和关联分析，归纳客户流失的原因，有针对性的制定防止客户流失的措施。

在预测出有较大流失可能性的客户后，分析该客户流失对公司的影响。

评估保留客户后的收益和保留客户的成本。

如果收益大于成本，客户是高价值客户，则采取措施对其进行保留。

至于低价值客户，不妨任其流失甚至劝其流失。

总之在利用数据挖掘研究客户流失问题时，需要明确并深入理解业务目标，在明确的业务目标的基础上准备数据、建模、模型评估，最后将模型部署到企业中。

客户流失应用案例
为了举例说明，我们设想一个虚构的银行ZBANK使用保留客户的应用或客户流失建模。

ZBANK正受到来自其它金融机构日益激烈的竞争。

住房贷款是ZBANK 最宝贵的客户来源之一，在该业务中遇到一些客户会转投其它竞争对手。

在营销策略方面，ZBANK给它的房贷新客户许多的优惠措施（如免费的电器和家具优惠券），因此它获得客户的初始成本相对要高于竞争对手。

但是，由于此类贷款由市场主导，因此房屋抵押贷款给ZBANK带来较小的风险，同时也使其处于一个有利的战略地位可以交叉销售其它的服务如期房贷款和住房保险。

除了保持其战略性市场主导地位，对于ZBANK来说预测客户流失的可能性也很重要，以便减少那些获得不久就拖欠贷款的新客户。

ZBANK有一个客户数据库，包含了有关房贷客户的交易和人口统计信息。

（1）商业理解
预测现有用户中哪些客户在未来六个月中可能流失以及对哪些流失客户采取保留措施。

a) 数据说明
选取一定数量的客户（包括流失的和未流失的），选择客户属性，包括客户资料、客户账户信息等。

利用直方图、分布图来初步确定哪些因素可能影响客户流失。

所选取的数据属性包括：
（1）客户号；
（2）储蓄账户余额；
（3）活期账户余额；
（4）投资账户余额；
（5）日均交易次数；
（6）信用卡支付方式；
（7）是否有抵押贷款；
（8）是否有赊账额度；
（9）客户年龄；
（10）客户性别；
（11）客户婚姻状况；
（12）客户孩子数目；
（13）客户年收入；
（14）客户是否有一辆以上汽车；
（15）客户流失状态。

其中客户流失状态有三种属性：
（1）被动流失；
（2）主动流失，这是分析中特别关注的一类客户；
在分析中，我们主要关注的是主动流失的客户。

被动流失对银行来说是意义最小的，因为该指标代表的大多数客户是在贷款期内卖掉了房子，因此不再需要房贷了。

主动流失指的是转投向ZBANK竞争对手的客户，是该行关注的焦点。

在开发这个应用之前，ZBANK将所有现有的客户归到上述的三个类别中。

同时按照常规，所有的人口统计信息（也就是从客户年龄到客户是否有一辆以上汽车）每六个月更新一次，而交易信息（从储蓄账户余额到是否有赊账额度）则是实时更新的。

为了让预测模型能预先进行指示以便采取补救措施，在目标变量（因变量）和输入变量（自变量）之间设定了6个月的延迟。

也就是说，输入变量的采集六个月后再将客户流失状态分类；因此该模型提早6个月预测客户流失。

b) 数据描述及图表分析
在数据理解中，可以利用描述及可视化来帮助探索模式、趋势和关系。

图2.1显示了Clementine中数据理解的数据流图，包括：使用数据审核，统计分析，网络图，直方图，两步聚类，关联分析，查看数据属性之间的关系。

图2.1：数据理解的数据流图
图2.2显示了数据审核结果。

可以很清楚地了解14个数据字段的基本情况。

如数据类型、最大最小值、平均值、标准差、偏度、是否唯一、有效记录个数等。

从图2.2可见，房贷客户的平均年龄是57.4岁，最小的18岁，最大的97岁。

图2.2：数据审核图
这些描述能帮助理解数据。

使用绘图和直方图节点将数据可视化就产生了客户收入和年龄图及日均交易数的直方图（见图3）。

将可视化的结果与目标变量联系起来，可以看出客户流失状态包含在不同的图表中。

例如，客户的离中趋势，男性和女性客户的被动流失和主动流失以及每个级别的日均交易次数都包含在了图表中。

这种对关系的初步评估对于建模是很有用的。

更重要的是，结果表明主动流失在女性客户和不太活跃的客户（由日均交易次数确定）中较为多见。

图2.3：各种数据分布图
最后，一幅网状图表明了客户性别，客户婚姻状况，信用卡支付方式，客户流失状态之间的联系（见图3下左面板）。

较强的关系由较粗的线表示。

那些在一定标准（由用户定义）之下的联系则不包括在图中（例如在被动流失和选中的一些输入变量之间）。

网状图表明现有客户（即非流动者）更多的是那些已婚男性，那些用其它账户进行信用卡支付的人。

要注意的是，前面已经提到过，客户流失状态滞后输入变量六个月。

c) 关联分析及聚类的结果为了进一步了解房贷客户可以使用聚类。

图2.4总结了使用双步聚类节点获得的结果。

如图所示，客户似乎分为七种自然的聚类。

所产生的聚类特征可用来定义和理解每个聚类以及聚类间的区别。

例如，我们比较聚类1和聚类4，聚类1中包含的是较年轻并绝大多数已婚（92.2%），并且年收入较高的女性。

而聚类4中包含的是较年长（平均要比1中大5岁），59.8%已婚，年收入较低（平均要比1中低4000美元）的男性。

聚类的结果对于市场定位和分割研究是非常有用的，但是对于预测建模的作用则没这么明显。

图2.4：两步聚类的部分结果
本例使用关联分析来制订规则，寻找输入变量和目标变量间的关系。

这些规则不仅对发现模式、关系和趋势很重要，对于预测建模（例如决定采用/不采用哪些输入变量）也很重要。

我们使用Clementine的GRI（广义规则归纳）节点来进行联合分析，结果如图2.5所示。

其中，第一条联合分析规则表明，有156名（或11.0%的）房贷客户的投资账户余额低于4988美元，其中81.0%是被动流失的。

同样，第三条规则表明有198名（或13.9%的）房贷客户的活期账户余额超过
1017美元，其中81.0%是主动流失的。

其它的规则可以类似地进行理解。

这些规则表明交易和人口统计信息是如何与客户流失状态联系起来的。

要注意的是，客户流失状态滞后输入变量六个月。

图2.5：关联分析的部分结果
3）数据准备
根据数据理解的结果准备建模用的数据，包括数据选择、新属性的派生，数据合并等。

在本例中，利用Clementine进行数据准备的数据流图如图2.6所示。

通过分裂节点，给数据集添加一个新的标志属性。

该标志属性是0－16之间的随机数。

然后再根据标志属性值（<4和）=4），利用过滤节点，将原来的数据样本分成训练集（约占75%）和测试集（约占25%）。

图2.6：数据准备的数据流图
（4）建立模型及评估
预测建模是本例中最重要的分析，神经网络和决策树尤其适用于对房贷客户的流失建模。

图2.7和图2.8展示的是使用Clementine训练神经网络模型和建决策树功能得到的神经网络和决策树的结果。

图2.7：C5.0决策树结果
图2.8：神经网络模型结果
决策树模型中有4个终端节点和仅仅3个重要的输入变量（按照重要性降序排列）：投资账户余额、客户性别和客户年龄。

神经网络模型在输入层、隐藏层和输出层分别有15个、5个和3个神经元。

此外，最终要的5个输入变量是（按照重要性降序排列）：活期账户余额、客户孩子数目、储蓄账户余额、投资账户余额和客户婚姻状况。

Logistic回归模型统计有效，卡方检验的p值为1.000，表明数据吻合得很好。

此外，下列输入变量在统计时，在0.05的有效水平上预测客户流失状态也统计有效：储蓄账户余额c（p值=0.000）、活期账户余额（p值=0.000）、客户年龄（p值=0.002）、客户年收入（p值=0.033）及客户性别（p值=0.000）。

从用评估图节点产生的提升表中可以看出每个预测模型都是有效的，如图2.9所示（从左至右分别为Logistic回归、决策树和神经网络）。

提升表中绘制的是累积提升值与样本百分比的关系（在这里是构造/培训样本）。

基准值（即评估每个模型的底限）是1，它表示当从样本中随机抽取记录的百分点时能成功地“击中”现有客户。

提示值衡量的是当来自数据中的某一记录是一个现有客户的降序预测概率能被百分点反映时，预测模型“击中”现有客户的成功可能性（准确度）有多高。

如图2.9（左）所示，每个模型的提升值均大于1，在100%时收敛于1。

由于每个预测模型都能以有效精度预测目标变量（起码对于现有客户和非现有客户之间的关系），因此我们可以说它们都是有效的。

图2.9：提升图（左）和三个模型的分析结果（右）
值得注意的是神经网络和决策树得出的预测模型并不完全一致，这从图2.9（右）两个模型结果的比较可以看出来。

所以，不仅要在训练样本中比较两个模型的表现，也要在训练/测试样本中进行比较，而后者更加重要。

对于这些预测模型来说，评估它们相对表现的最佳办法应该是看它们预测目标变量（客户流失状态）的精确率。

在本例中为了简单起见，假设总体精确度包括了比较不同预测模型表现的评估标准。

在图2.10的右面板中，决策树模型的预测相对精确，总体精确度为81.6%，因此根据评估标准，决策树模型是最好的预测模型，应该在ZABNK预测房贷客户的流失中使用。

图2.10：测试集的提升表（左）和三个模型的分析结果（右）
（5）模型部署
在本例中，决策树模型不仅精度最高，而且从图2.7中的简明的规则可以看出，决策树的模型也容易理解。

结果表明，ZBANK的房贷客户中，那些39岁以上，在投资帐户中余额超过4976美元的女性更可能主动流失。

要注意的是，客户流失状态滞后输入变量六个月。

从到目前位置的结果来看，决策树客户流失预测模型能够更精确地根据交易和人口统计的信息判断出流失客户和非流失客户，从而产生增值效益。

因此，ZBANK可以用决策树模型判断哪些客户倾向于主动流失，然后向他们提供优惠措施或采取其它预防措施。

同样，客户流失模型可以判断哪些是流失风险较低的房贷申请者。

使用数据挖掘的决策树模型可以用来对现有客户和新的房贷申请者进行评级。

在Clementine中部署模型的数据流图如图所示。

运行数据流后，Clementine自动将结果存储在逗号分隔的文件中。

银行中其他人员即使没有安装Clementine，也可以使用记事本等软件打开查看。

并且可以很好的集成到银行现有的其他业务系统中。

图2.12给出了一个结果的例子。

其中按照客户流失概率的大小，对客户进行排序。

图2.11：模型部署的数据流图
图2.12：流失概率和客户价值的散点图
最后需要指出的是在本例中，模型的总体分类精确率是简化计算的。

在实际使用中，一般还需要考虑误分类及其相关成本，还有流失客户和非流失客户在样本和总体中的相对比重。