数据分析与挖掘在金融方面的应用

数据挖掘在操作风险的量化和管理中的应用

根据《新巴塞尔资本协议》（2003）给出的定义，“操作风险是指由于不正确的内部操作流程、人员、系统或外部事件所导致的直接或间接损失的风险。”这一定义侧重于从操作风险的成因包括法律方面的风险，但将策略风险和声誉风险排除在外。随着世界经济和银行业的发展，多种可供分析的操作风险管理方法正在逐渐的形成，商业银行多年来一直试图对它进行一定程度的控制，定性并尝试测量这一风险，作为非金融机构的财务公司也不例外。在量化模型技术的推动下，操作风险量化测评和管理的技术获得了相当大的发展。操作风险管理能通过减少风险、改善服务质量和降低经营成本，从而形成一种竞争优势并在股东价值中得到相应体现。本文拟从数据分析与挖掘角度入手，对财务公司操作风险的量化测评和管理进行初步探讨和简要分析。

一、解决问题的整体思路

财务公司要实现科学且合理的对操作风险进行量化测评与管理，一般要进行以下几个步骤的工作：数据挖掘→数据分析→模型构建→模型检验。其具体思路如下图所示：

图1：操作风险量化测评和管理的整体思路

分类梳理，明确其业务流程，找出关键节点，并在关键节点处科学设置风险监测指标，通过对风险监测指标的观测来纵向监控各业务模块的操作风险。需要注意的是，依据巴塞尔新资本协议对操作风险模型构建的要求，财务公司在设置风险检测指标时，将这些指标划分为操作风险事件发生频率指标（以下简称为“频率指标”）和操作风险事件损失指标（以下简称为“损失指标”）。在完成风险指标设置的工作后，财务公司对上述指标进行横向分类，即按照人员、系统、流程和外部事件所引发的四类风险，将上述风险监测指标分别归类于七种表现形式：内部欺诈，外部欺诈，聘用员工做法和工作场所安全性，客户、产品及业务做法，实物资产损坏，业务中断和系统失灵，交割及

流程管理。财务公司通过制作特定格式的风险指标监控报告（日报/月报）来实现对上述信息的物理存储或非物理存储，以便查询或日后进行回溯检验。

在完成对操作风险指标的纵向和横向定义之后，财务公司便着手开展数据分析工作，一方面，财务公司通过查阅2007-2012年的历史操作记录完成对历史数据的补充和积累，另一方面借助信息化手段，将现有业务流程植入信息系统，实现对当前业务的实时监控和数据积累。在数据积累到特定数量等级后，财务公司开展数据分析工作并能依此进行模型构建。

（二）数据分析

1. 非参数法

目前风险管理领域中所常用到方法时运用概率论与数理统计研究的理论，对随机不确定性现象进行收集、整理和分析，着重考察随机不确定性现象的历史统计规律，然后利用特定的数据分布形态（概率密度函数）对该历史统计规律进行拟合，从而构造出具有预测作用的特定数据分布形态，然后利用该分布形态所对应的概率密度函数去考察具体随机现象的发生概率，但在实际工作中，由于种种原因，历史数据往往难以获取，或者历史数据的分布形态很难用已知的分布形态去拟合。在这种情况下，非参数法就体现出其独有的优势。

拔靴法作为非参数法中一种最具代表性的方法，目前已在金融研究领域被广泛运用。其核心思想即利用有限的样本资料经由多次重复抽样，重新建立起足以代表母体样本分配之新样本。它的优点在于无

需对分布特性做严格的假定就能进行推断分析,因为其假设样本数据分布就是真实数据的分布。

结合上一阶段的数据挖掘工作，在实际工作中，对于样本数据有限，且分布规律难以用现有的数据分布形态进行拟合的操作风险指标，尝试利用非参数法对其进行分析，预测其在给定置信度下的变动范围，从而达到对该操作风险指标精确、量化管理的目的。

2. 参数法

根据巴塞尔协议的核心指导思想，其度量操作风险的一种主要的方法是以历史事件重复出现为假设前提，以历史数据统计规律为基础，以较大样本数据为分析对象，以特定分布形态为指导，以假设检验为辅助手段，对特定风险事件的概率分布进行确定并进行拟合，从而实现对风险事件的预测。

依此指导思想为依据，以第一步工作中积累的历史数据为基础，财务公司对其存续期限内频率指标和损失指标进行分析。利用现有的多种统计软件，财务公司可先对频率指标进行统计特征分析，确定历史数据的相关特征值，并利用特定检验方法确定其数据分布形态。一般情况下，财务公司可对历史数据的均值、方差和标差进行测算，并利用Chi-Squared（2 ）Test进行匹配度检验来精确测定分布形态。在确定历史数据分布形态后，财务公司便可尝试用计算机技术对该频率指标进行模拟，以便预测其在特定置信度下发生的可能性。目前金融机构所常用的频率指标概率分布形态为泊松分布、帕斯卡分布和二项分布。具体公式如下所示：

{},0,1,2,...!x

P X x e x x λλ-=== (泊松分布概率函数)

()1(;,)11k r k r f k r p f p p r +-⎛⎫=⋅⋅- ⎪-⎝⎭

(帕斯卡分布概率函数) ()()()10,1,...,n k k n P X k p p k n k -⎛⎫==⋅⋅-= ⎪⎝⎭

(二项分布概率函数) 利用特定编程语言，财务公司将蒙特卡洛模拟技巧与上述概率密度函数相结合，并运用在险价值（Value at Risk ）的原理对未来特定时间区间内的频率指标进行有效估计和预测（巴塞尔协议要求金融机构对其操作风险预期损失的预测原则为1年内99.9%置信度下的风险敞口）。

在完成对频率指标的预测后，财务公司还需要对损失指标进行预测。具体分析思路和构建模型的方法与上述方法一致，但略有不同的是，在对损失指标进行预测时所选用的概率分布形态要更为复杂，目前金融机构所常用的损失指标概率分布形态为指数分布、韦伯分布、伽马分布和对数正态分布。具体公式如下所示：

0()00x x e f x x λλ->⎧=⎨≤⎩ (指数分布概率密度函数) 1,0cx x f c x e x λ

γγ--=>（韦伯分布密度函数公式） ()1/0()00x x e x f x x αβ

αβα--⎧≥⎪Γ=⎨<⎪⎩

(伽马分布概率密度函数) (

)()22/2;,Inx f x μσμσ--=（对数正态分布密度函数公式）

上述四种分布形态均为轻尾分布形态（Light -tailed Distribution ），