基于模糊积分的数据融合

权重，利用一些已知的数据训练网络得到该类数据模型的权重；接着根据
现有的网络结构和权重等参数得到未知样本的类别。BP算法被称作反向传 播算法，主要思想是从前向后（正向）逐层传播信息；从后向前（反向）
逐层传播输出层的误差，间接算出隐层误差。
信息
误差
图2 神经网络结构图
算法分为两个阶段： 第一阶段（正向过程）输入信息从输入层经隐层逐层计算各单元的输 出值；根据下式计算每层的输出值：
随着数据维数的增长，单分类器处理数据的能力和效率都有所不足；而
且单分类器适用于特定类型的数据，对于混合型的数据单分类器很难得到 较好的分类效果，因而可以采用不同类型的分类器处理不同类型的数据。 在识别过程中每个分类器单独处理不同的输入的数据，独立决策，最终把 各个分类器的结果融合得到一个一致的决策。多分类器融合过程存在三个 子问题：需要多少个分类器，以什么方式组合这些分类器以及当多个分类 器分类结果不一致时，在没有先验知识的前提下，如何统一结果。分类器
我的问题是如何统一结果，即决策层的融合。常用融合方法如：投票法、
贝叶斯算法、证据理论、可能性理论、模糊积分等。投票法是根据最多数分 类器分类的结果指定代分类物体的类别的。下例是四个分类器识别10个数据 的结果的一情况，这10个数据有两种分类分别是+和-。根据投票法我们可以 断定最后一个物体是+类，而很难做出定出第一个的类别。 情况： 分类器 1：+++++++++分类器 2：-+++++++++
图3 分类器组合的四种结构 (a)并行结构 (b)门限结构 (c)叠加结构 (d)层级结构
多分类器的组合有四种结构：并行结构、门限并行结构、叠加结构和层 级结构。并行结构中所有分类器同时激活，然后用组合算法对所有分类 器的结果进行综合；在带门限的并行结构中分类器的结果必须在可信度 超过门限的情况下才参加组合；在叠加结果中分类器依次激活排除不可 能的结果，一旦目标中的准则得到确定分类完成；而在层次结构中，如
可能性理论反映了实际被感知对象和期望观测之间的相似
性，试验结果表明被感知对象和物体被观测的次数没有任 何关系。 投票法实质上是经典可加性的lebegue积分模糊积
分。该测度定义于各个分类器组成的离散空间上，并且各
个分类器的权值为1。该方法假设各个分类器的作用独立。 因而若干个分类器对分类任务所起的作用就等于各个分类 器所起作用的简单加权和。然而在实际应用中，多个分类 器相互作用是不可忽视的。模糊测度利用了非负单调的集 合函数，即所谓的模糊测度来取代加权值，并且利用了与 模糊测度相关的模糊积分：Sugeno和Choquet函数代替了普 通的加权求和法。被看作是非线性可加函数，从多个分类 器的一致和相互冲突的结果中找出最大一致性的结果。
j 1
(4) 单点交叉：设交叉的概率为pc。从选中的基因链码中，随机的选择 popsize*pc条基因链码交叉，单点交叉的位置随机生成。
(5) 变异：设变异概率pm，从上述所有基因链码中依概率选择一条基因链
码，随机生成一位变异。 (6) 设Generation gap 为G，对子代排序选择popsize*G个适应函数值较大 染色体覆盖母代中的相应的适应函数值小的染色体； (7) 如此循环若干代，直至满足迭代条件结束；否则转（1）。
为（1，0）（1，1）是。构造一个三层的神经网络，由于数据有两个属 性，设计两个输入节点；输出有两类，设计两个输出节点。当第一组数 据输入时，第一个输出节点为1；当第二组数据输入时，第二个输出节点 为1 ，用BP算法训练网络。
wih1=0.82 wih2=0.20 0.36 who1=0.12 who2=0.904 0.58
net j wijOi
i
O j f (net j )
第二阶段（反向传播过程）输出误差逐层向前算出隐层各个单元的 误差，并用此误差修正前层的值。在BP算法中常采用梯度法修正权值， 为此要求输出函数可微，通常采用Sigmoid函数作为输出函数。 （1） 计算误差： 1 ( y y ) 2 E j ˆj E 2 j w j Oi （2） 按照梯度方向计算各层权重的修正量： ij (t ) 其中 的计算公式为
0
0.51
0
b=0.556
-1 信息
例：有两组数据点，第一组数据为（0，0）（0，1），第二组数据 为（1，0）（1，1）是。构造一个三层的神经网络，由于数据有两个属 性，设计两个输入节点；输出有两类，设计两个输出节点。当第一组数 据输入时，第一个输出节点为1；当第二组数据输入时，第二个输出节点 为1 ，用BP算法训练网络。
的组合方式有以下四种。虽然上述前个问题应该同时考虑，但它们通常被
单独考虑看作覆盖优化和决策优化策略。在覆盖优化中，组合规则是固定 的。一种方法就是针对不同的分类器随机选择要度量输入特征的子集。另 一种方法是用不同的数据集训练数据，可以采用Boosting方法。通过GA算 法可以同时解决这两个问题得到最优解。
同决策树一样，对给定的特征只有一条之路上的分类器被激活将目标分
类逐渐细化这种结果对充分利用不同种类的特征分辨能力非常有效，且 有很强的适应能力。
return
遗传算法：
遗传算法从达尔文的生物进化论得到启迪。主要思想是：生物通过遗传和 变异，依照“适者生存”的原则，从简单的地基生物发展到复杂的高级生
物。首先介绍几个术语：
基因
1 0 0 1
（2）群体.一个群体就是若干个体的集合。由于每个个体代表问题的一
个解，所以一个群体就是问题的一些解的集合.如P={x1,x2,…x100}就是 100个解（个体）构成的群体。
（3）交叉。选择群体中的两个个体x1，x2以这两个个体为双亲做基因
链码的交叉，从而产生两个新的个体x1’，x2’作为他们的后代，简单的 交叉方法是：随机的选取一个截断点将x1，x2的基因链码在截断点处切
Wih1 0.82-> 0.82 0.36
who1 0.12-> 0.15 0.51
1
wih2 0.20->0.196
who2 0.90->0.86
0.58
0
b 0.55->0.57
wih1=7.2 wih2=-0.32 b=5.62 who1=-3.78 who2=3.78
信息 误差
数据融合一般分为两个层次，特征层和决策层。特征层的 融合是数据的属性的联合，分别从所有信息提取特征，然后 经过关联处理组成联合特征向量，这样一方面可以降低数据 属性的维数，另一方面可以提高数据质量，从而改善分类效 果。决策层的融合首先根据各分类器传送的信息独立做出决 策，然后通过关联处理与决策层融合推理获得最后的联合推 断结论。
过变异产生了不同于双亲的特性。 下面是算法的基本框架：
步骤： (1) 初始化群体。设定群体包含popsize条基因链码。 (2) 计算每条基因链码的适应函数值fitness(i)，以及相应的选择概率和累积 概率 求总的适应值； F
popsize i 1
fitness(i)
F
i
计算每条基因链码的选择概率； pi fitness(i) 计算每条基因链码的累积概率； q p j j (3) 选择：按照群体中适应函数值的大小，依概率随机选择popsize条基因 链码进行交叉，适应函数值大被选中的概率就大。
同类或异类传感器的组合来获得互补的信息或增加抗干扰的能力。现在不 仅局限于传感器，从各方面采集得到的原始数据和分类器处理的结果都可
以通过融合技术进行加工。如Sung-Bae cho和Jin H.Kim使用基于模糊逻辑
多神经网络融合解决在线手写字符识别问题。Alexandre lemieux等构造了 一个灵活的多分类器系统用于人脸识别系统。国内有哈尔滨工业大学权太
开，并交换后半部分，从而组合生成两个新的个体x1‘，x2’,这是最简单
的单点交叉，还有双点交叉。
100 1011
100 0011
011 0011
交叉算子
011 1011
（4）变异。对于群体中的某个个体，即基因链码，随机的选取一位，即 基因，将该基因位翻转（0变1，1变0）如：
10100001
10100101
j
wij
( y O j )O j (1 O j ) 输出层的计算方法 j O (1 O ) w 非输出层的计算方法 j jk k j k
（3） 修正各层权重： (t wij
1) wij (t ) wij (t )
（4）重复上述过程直到算法收敛，即误差小于给定的阈值。
除错误的信息。将预处理后的信息输入分类器，分类器根据 一定的学习算法得到分类的模型或规则，常用的分类器，如： KNN、神经网络、决策树、SVM、贝叶斯分类器、粗糙集等。 根据所得到的模型或规则预测未知样本的类别，做出决策。
信息获取 预处理 分类器决策 分类器设计
图1 分类识别过程
这里重点介绍神经网络的BP算法。神经网络由神经元和权重构成，神经元 即为：输入节点，输出节点和隐层结点三部分；权重是各个神经元相互连 接的强度。神经网络通过训练，从样本中学习知识，并且将知识以数值的 形式存储于连接权中。神经网络的分类过程分成两部分，首先学习网络的
范等人出版了信息融合一书，北京理工大学，浙江大学等学校都在研究信
息融合问题处理雷达图像识别系统
首先介绍一下模式识别中的分类过程，分类通过对具有类别 标记的实例(数据) 进行训练,得出一个能够预测新实例类别 的模型。第一步信息获取，收集大量的数据。这些数据中可
能ຫໍສະໝຸດ Baidu有冗余和错误信息，对数据预处理，选取重要信息，删
分类器 3：++++++++++
分类器 4：-+++++++++ 投票法简单，但没有考虑分类器间的交互影响。贝叶斯方法将待识别物体 分到具有最大后验概率的类中。但是很多情况下很难得到待识别物体的先验 概率或者先验和后验概率计算复杂，因而不是很实用。证据理论是贝叶斯方 法的一种改进，它巧妙地解决了需要事先知道先验概率的问题，是在不确定 条件下进行强有力推理的方法。
（1）基因链码：生物的性状是由生物遗传基因的链码所决定的。使用遗传 算法时，需要把问题的每一个解编码而成为一个基因链码，如在[-10，10]
范围内求一个函数的极值，假定9是其中的一个解，我们可以用9的二进制
形式1001表示这个解对应的基因链码，其中每一位代表一个基因。每个基 因链码代表问题的一个解，也别称作一个个体。遗传算法的编码方法很多 根据具体的问题有不同的方法，如哈夫曼编码等。
X {x1 , x2 ,, xn }为一有限集和。下面的定义是Sugeno关于模糊测度的概
念 定义1： X上的模糊测度是一个集合函数： : P( X ) [0,1] ，其中 P(X ) 是 g
X 的幂集，满足如下条件：（1） g () 0; g ( X ) 1
（2）
A, B X , if A B then g ( A) g ( B)
基于模糊积分的数据融合
报告人：王丽娟 时间：2004年4月
数据融合是由美国JDL实验室数据融合专家组(DFS)提出的并给出了一般的 概念模型。最初用于军事领域，现在广泛应用于机器人，交通管制，故障 诊断等民生领域。最初数据融合用于处理传感器的信息融合，由于传感器
的固有特性，单一传感器的信息通常不完备以及抗干扰的需要，经常使用
例：有两组数据点，第一组数据为（0，0）（0，1），第二组数据
为（1，0）（1，1）是。构造一个三层的神经网络，由于数据有两个属 性，设计两个输入节点；输出有两类，设计两个输出节点。当第一组数 据输入时，第一个输出节点为1；当第二组数据输入时，第二个输出节点 为1 ，用BP算法训练网络。
例：有两组数据点，第一组数据为（0，0）（0，1），第二组数据
(5) 适应度。每个个体对应于优化问题的xi ,每个解xi 对应于一个函数值fi ，
fi 越大（如果优化问题要求取最大值），则表明xi越好，即对环境的适应
度越高，所以可以用每个个体的函数值fi作为对环境的适应度。 遗传算法中每个个体不断地对环境进行学习和适应，通过交叉和编译产
生了新的个体，交叉类似于遗传，这些后代继承了双亲的优良特性，通