基于神经网络的数据挖掘研究

连接的权值：两个互连的神经元之间相互作用的强弱。
神经元的动作：
n
net wi xi i 1
y f (net)
(xi , wi R)
输出函数 f：也称作用函数，非线性。
y
y
1
1
0θ
net
（a）
阈值型
0
net
（b）
S型
f 为阈值型函数时：y sgn
n
wi xi
i1
设 wn1 ，点积形式： y sgn(W T X )
y1
…
yM
…
…
x1
x2
…
xn
感知器结构示意图
结构特点：
* 双层（输入层、输出层）； * 两层单元之间为全互连； * 连接权值可调。 * 输出层神经元个数等于类
别数。
设输入模式向量，X [x1, x 2, , x m ]，T 共M类。
输出层第j个神经元对应第j个模式类，
n
输出为 y j f ( wij xi j )
2.2 BP网络
BP网络：采用BP算法（Back-Propagation Training Algorithm）
的多层感知器。
误差反向传播算法
认识最清楚、应用最广泛。
性能优势：识别、分类 1．多层感知器
输出层
y1
…
yM
…
针对感知器学习 …
算法的局限性ห้องสมุดไป่ตู้模式 第 二 隐
类必须线性可分。
层
…
结构：
第一隐 层
式中，W [w1,, wn , wn1 ]T X [x1,, xn , 1]T
1.3 神经网络的学习 学习： 神经网络的最重要特征之一。
实质： 从环境中获取知识并改进自身性能，主要指调节网络参
数使网络达到某种度量，又称为网络的训练。
神经网络学习方式---监督学习
监督学习：对每一个输入训练样本，都有一个期望得到的输出 值（也称教师信号），将它和实际输出值进行比较，根据两者 之间的差值不断调整网络的连接权值，直到差值减少到预定的 要求。
netj
0
θj
1 y j f (net j ) 1 e(net j j ) h0 θj：神经元阈值； h0：修改输出函数形状的参数。
设：输出层中第k个神经元的实际输出为yk，输入为netk；
与输出层相邻的隐层中任一神经元j的输出为yj。
netk wjk y j
j
yk f (netk )
前馈网络；
输入层
…
中间层为一层或多层处理单元；
x1
x2
…
xn
只允许一层连接权可调。
2．BP算法
学习过程分为两个阶段：
第一阶段（正向传播过程）：给出输入信息通过输入层经各隐层 逐层处理并计算每个单元的实际输出值
第二阶段（反向传播过程）：若在输出层未能得到期望的输出值， 则逐层递归地计算实际输出与期望输出之间的差值（即误差）， 通过梯度下降法来修改权值，使得总误差函数达到最小。
输入
环境 神经网络
1.4 神经网络的结构分类
分层结构 有明显层次，信息流向由输入层到输出层。 —— 前馈网络
相互连接结构 没有明显层次，任意两个神经元之间可达，具有输出
单元到隐层单元或输入单元的反馈连接 。 —— 反馈网络
2 前馈神经网络
2.1 感知器 感知器（Perceptron）：F．Rosenblatt于1957年提出。
n1
有
y j f (
wij xi )
f
(W
T j
X
)
i 1
M类问题判决规则( 神经元的输出函数) 为
yj
f
(W
T j
X
)
1, 1,
若X j 若X j
1 j M
* 正确判决的关键：
输出层每个神经元必须有一组合适的权值。
* 感知器采用监督学习算法得到权值；
* 权值更新方法：δ学习规则。
算法描述
第一步：设置初始权值wij(1)，w(n+1)j(1)为第j个神经元的阈值。 第二步：输入新的模式向量。
第三步：计算神经元的实际输出。
设第k次输入的模式向量为Xk，与第j个神经元相连的权向量为 W j (k) [w1 j , w2 j , , w(n1) j ]T
第j个神经元的实际输出为
教师
t(n) 期望输出
输入
环境
p(n)
神经网络
实际输出
比较
a(n)
误差信号
e(n)
神经网络学习方式---无监督、自组织学习 无监督学习：网络的学习完全是一种自我调整的过程，不存在 教师信号。输入模式进入网络后，网络按照预先设定的某种规 则反复地自动调整网络结构和连接权值，使网络最终具有模式 分类等功能。
y j (k)
f
[W
T j
(k
)
X
k
]
1 j M
第四步：修正权值。
W j (k 1) W j (k ) [d j y j (k )] X k
dj：第j个神经元的期望输出。
1, d j 1,
Xk j Xk j
1 j M
第五步：转到第二步。
当全部学习样本都能正确分类时，学习过程结束。
经验证明，当η随k的增加而减小时，算法一定收敛。
兴奋和抑制两种状态。
（1）兴奋状态传递兴奋信号 （2）抑制状态传递抑制信息
1.2 人工神经元 人工神经元：生物神经元的简化模拟。
n维输入向量X
接收的信息
(其它神经元的输 出)
x1
w1
x2
w2
┇
┇
xn
wn
互连强度 ∑ f
输出函数
y
输出
作比较 的阈值
图8.2 人工神经元模型
人工神经元间的互连：信息传递路径轴突-突触-树突的简化。
i 1
θj：第j个神经元的阈值；
yi
wij：输入模式第i个分量与
输出层第j个神经元间的连接权。
x1
w1j
x2 w2j
┇┇
xi
wij
┇
┇
wnj
j yj
输出单元对所有输入数值加权求和，经阈值型输出函数
产生一组输出模式。
令 j w(n1) j 。取 W j [w1 j , w2 j , , w(n1) j ]T X [x1, x 2, , x n , 1]T
BP算法的学习过程
设：某层任一神经元j的 输入为netj，输出为yj； 相邻低一层中任一 神经元i的输出为yi。
net j wij yi
i
y j f (net j )
wij：神经元i与j之间的连接权； f(∙)：神经元的输出函数。
y1
…
yM
…
j
…
i
…
…
x1
x2
…
xn
S型输出函数：
yj
1
0.5
对输入模式Xp，若输出层中第k个神经元的期望输出为
基于神经网络的数据挖掘研究
1 神经网络基本概念 2 前馈神经网络 3 反馈网络模型Hopfield网络 4 数据挖掘技术 5 基于神经网络的数据挖掘研究
1 神经网络基本概念
1.1 生物神经元 细胞体、树突、轴突和突触。
来自其它神经元轴突的神经末梢
树突 细胞体 细胞核
轴突
突触 神经末梢
生物神经元的工作机制