金融行业的数据挖掘技术研究.

■现代管理科学■2009年第8期

输入

输出

输入层

输出层

隐蔽层

图2典型的神经网络

Σ

θi

f [·]yi

x 1x 2

x n

……

w i1w i2w in

图1神经元模型

我国金融行业是信息化起步比较早,相对比较成熟的。在全面实现电子化的过程中积累了大量的数据。这些数据背后隐含着大量的知识与规则。而多数机构并没有挖掘出这些知识与规则。甚至有的企业并没有意识到它的存在和价值,更谈不到挖掘与利用。

近几年随着金融市场的开放,外资金融机构的进入,多种金融创新将不断涌现,竞争也随之不断加剧。同时也不可避免的是金融行业面临诸多新的风险,这使得金融机构的经营管理既要进行管理上的创新、经营业务上的创新,又要及时的规避风险。数据挖掘技术是金融业继信息化技术之后的另一个创新点与重要的技术工具。

一、基本概念

随着计算机软硬件技术、网络技术等的飞速发展,各行各业的数据库中积累了大量的数据,而且每天还在急剧地增长,在这些海量的数据中隐藏着大量的、有用的知识,这些知识表现为关联、规则、趋势等。而传统地阅读或简单的数据检索,远不能够及时提取出那些不同层次的知识,数据的真正价值远没有被发现与利用。这不仅造成了信息的浪费,更重要的是企业失去商机。为了避免这种情况,减少损失,寻找商机,必须要有一种能分析大量数据的新型的数据分析技术,数据挖掘正是这样一种技术,它融和了数据库技术、人工智能、统计技术、机器学习等技术,它能够把海量的数据被自动地和智能地转化为有用的信息和知识。

数据挖掘(Data Mining 或称为知识发现,也称为基于数据库的知识发现,是通过信息技术对大量的数据进行探索和分析的过程,在浩如烟海的数据中提取有用、有效的信息,发现有用的模式与规律。数据挖掘是指在对大量的企业历史数据进行探索后,揭示出其中隐藏着的规律性内容,并且由此进一步形成模型化的分析方法。

通过数据挖掘还可以建立起企业整体或某个业务过程局部的不同类型的模型。这些模型不仅可以描述企业当前发展的现状和规律性,而且可以用来预测当条件变化后可能发生的状况。这可以为企业开发新的产品和服务、甚至于为企业机构的重组提供决策支持依据。

数据挖掘技术往往与数据仓库技术紧密结合。数据仓

库是面向主题的、集成的、相对稳定的反映历史变化的数据集合。多数数据挖掘是基于数据仓库的,数据仓库为数据挖掘提供有价值的数据。

二、数据挖掘的主要技术

1.基于神经网络的方法。由于对非线性数据的快速建

模能力,基于神经网络的数据挖掘工具现在越来越流行。其开采过程基本上是将数据聚类,然后分类计算权值。神经网络很适合非线性数据和含噪声数据,所以在市场数据库的分析和建模方面应用广泛。

神经网络方法是模拟人脑信息加工过程的一种智能化信息技术。神经元是一个多输入单输出的信息处理单元,而且,它对信息的处理是非线性的图1是典型的神经元模型。

神经元的数学模型可用式(1,(2表示。X=n

i =1Σw i x i -θ

(1y=f (X

(2

由多个神经元组成的神经网络见图2。

神经网络采用非线性动力学的方法实现系统,特别适合处理非线性特征的指标数据。基于神经网络的数据挖

金融行业的数据挖掘技术研究

●李金迎

詹原瑞

摘要:数据挖掘就是利用各种技术从海量的数据中发现知识,它具有广阔的应用与前景。文章比较详尽概论总结了

数据挖掘的概念、方法、及应用。并且分析、归纳了数据挖掘在金融领域的应用,具体包括趋势预测、客户关系管理、金融犯罪侦测、风险识别与管理等。

关键词:数据挖掘;金融数据;预测;欺诈侦测;风险识别

■名家观察14--

■现代管理科学■2009年第8期

x1x

2

x3x4

x6

x5图3简单贝叶斯网络

风险文化风险策略

制度流程技术

内部欺诈系统失败

外部欺诈

损失

业务异常

人员环境

图4基于贝叶斯网络的银行操作风险管理模型框架

掘,具有对数据噪声处理比较优秀,对数据分布的要求不严格,分类能力比较优秀等优点。特别在分类方面,数据挖掘方法已在实际应用中表现出优异的性能。其分类准确性比传统的基于统计学的判别分析等方法高很多。神经网络方法用于信用风险评估也存在着需要改进之处,从认知的角度看,神经网络方法模拟人类的形象直觉

思维,人们难以理解网络的学习和决策过程。无法对结果做出解释,并且网络的结构设计需要完全凭借经验进行,需要通过多次训练才可以得到可行的网络结构。

2.基于贝叶斯网络的方法。贝叶斯网络(Bayesian network,又叫概率因果网络、信任网络、知识图等,是一种有向无环图。贝叶斯网络用图形来表示变量间连接概率关系。结点表示:领域变量;有向边:结点间的依赖关系;对每一个结点都对应着一个条件概率分布表,该分布表指明了该变量与父结点之间的依赖关系。

因此,一个贝叶斯网络由两个部分构成:

BN=(S,P

S={(X j,X i|X i∈X,X j∈pa i}

P={p(X i|pa i|X i∈X}

(1具有k个节点的有向无环图S。如图1,图中的节点代表随机变量,节点间的有向边代表了节点间的相互关联关系。节点变量可以是任何问题的抽象;通常认为有向边表达了一种因果关系,因此贝叶斯网络也叫做因果网络。

有向图蕴涵了条件独立性假设,贝叶斯网络规定图中的每个节点X i条件独立于由X i的父节点给定的非X i后代节点构成的任何节点子集,即如果用N(X i表示非X i后代节点构成的任何节点子集,用Pa(X i表示X i的直接双亲亲节点,则:P(X

i|N(X i,Pa(X i=P(X i|Pa(X i。

(2与每个节点相关的条件概率表P。条件概率表可以用P(X i|Pa(X i来描述,它表达了节点同其父节点的相关关系——

—条件概率。

由图S和概率表P构成贝叶斯网络。它通过有向图的形式来表示随机变量间的因果关系,并通过条件概率将这种关系数量化,可以包含随机变量集的联合概率分布,是一种将因果知识和概率知识相结合的信息表示框架。