基于SVM信息融合的图像识别与并行实现

2 SVM 简介和系统结构 2.1 SVM 简介
支持向量机（SVM）是一种基于结构风险最小化原理的机 器学习方法[2]，SVM 算法原理可简要表述如下：寻找一个在有
限样本情况下的最优分类面，即寻找最优判别函数，使分类间
隔到达最远；而对于线性不可分的问题，特别是高维、非线性的
图像识别问题，则通过核函数将低维空间的数据映射到高维空
439575arm926ejs300mhz的双核体系结构责整个系统的控制和管理dsp核负责svm融合算法主处理dm6446通过emifa总线连接三片从处理器的主机口hpi完成对从处理器的控制以及主从处理器之间命令和数据为了提高复杂目标的图像识别问题提出了基于svm息融合的识别方法该方法不仅充分利用了图像的低维和高维信息而且利用了vm算法内在的许多优秀性质比如良好的w1w2z1z2zn聚类算法遗传模糊聚类和该文算法三种算法计算所得的聚类中心非常相近但标准的遗传模糊聚类算法和该文算法的适应度函数值比fcm聚类算法要小而且标准的遗传模糊聚类算法的收敛速度比传统的fcm聚类算法慢而提出的改进的遗传模糊聚类算法收敛速度比传统fcm聚类算法要快得多
间，目的就是将原低维不可分的问题转化为高维空间线性可分
问题。
设{xi yi}，i=1，2，…，n 为训练样本，xi∈Rd 为 d 维训练样本， yi∈{-1，1}为样本 i 的类别信息。SVM 就是寻找最优的分类面： xT·w+b=0。为了使待分样本尽可能分开，分类间距最大就是使
得目标函数 1 ‖w‖2 最小。于是寻找最优分类面的问题就转 2
（12）
这样就把两类样本通过投影轴 w 很好地分开，对于多类样
本，比如 c 样本，首先从 c 类样本中选择一类作为第一类，其余
的 c-1 类作为第二类，得到一个投影轴，对于其余的 c-1 依次
采取相同的策略后，得到 c-1 个投影轴，然后把任意样本在 c-
1 个投影轴上投影就得到 c-1 维表示的表情特征。
C
Σ|χi（| 軍μi-軍μ）（軍μi-軍μ）T，离散度矩阵：ST=Sw+SB，求下列两两正交 i=1
的矩阵：
T
Wopt=arg
max
|W
T
SBW|
=[w1，w2，…，wm]
|W SWW|
（14）
wi 是 SB 与 SW 的广义特征值 λi 相对应的广义特征向量，即
SBwi=λiSWwi，i=1，2，…，m
结构如图 1 所示。系统的基本思想是充分利用面部表情的低阶
和高阶信息，通过三种不同的特征提出技术来提取面部表情特
征的不同表示，即主元分析（PCA）、支持向量机（SVM）、Fisher
鉴别分析（FLD）。对于每一种特征表示分别用 1 阶最近邻分类
器（KNN1）进行初步分类，最后用基于 SVM 的信息融合技术来
（8）
n
n
Σ Σ max
TD=
i=1
αi-
1 2
αiαjyiyjk（xi，x）j
i，j
（9）
n
Σ s.t. αiyi=0 i=1
（10）
0≤αi≤C，i=1，2，…，n
（11）
这样就得到投影轴 w，然后把任意样本 x 进行投影，从而
得到任意样本 x 的投影坐标：
n
Σ y=w·x= αiyik（xi，x） i=1
化为下面的优化问题：
min 1 ‖w‖2 2
（1）
s.t. yi骔xT·w+b」-1=0，i=1，2，…，n
（2）
方程（1）是个优化问题，为了减少孤立点对分类的影响和
提高训练和识别速度，常常将方程（1）的优化问题转化为下面
基金项目：教育部博士点基金资助项目（No.20050290010）；北京市教育委员会共建经费研究生教育资助项目。 作者简介：刘松，男，博士，研究方向：图像处理与识别，机器视觉，嵌入式 DSP 系统，智能监控系统。 收稿日期：2008-07-01 修回日期：2008-08-06
1 引言
复杂目标的图像识别，比如矿质主成分识别、弹道曲体面 识别、面部表情识别等，仅仅采用单一的图像特征提取和图像 识别方法，很难到达很好的识别效果和鲁棒性，比如目前有很 多表情识别方法被提出[1]。然而每一种方法在不同的条件下有 其优点和缺点，随着图像采集环境的不同，识别率和鲁棒性迅 速下降。为了提高图像识别的系统整体识别率和鲁棒性，为此 提出一种基于支持向量机信息融合的方案来融合三种基于不 同特征表示的表情识别方法进行表情识别，以及设计一个多 DSP 的并行实现结构来实现算法。为了满足实时性，从 SVM 特 征策略、多类 SVM 构造、软件优化等方面进行优化。
摘 要：提出用支持向量机（SVM）融合三种基于不同特征表示的表情识别方法进行表情识别，即 PCA 表情表示、SVM 表情表示和 FLD 表情表示。在用 SVM 进行特征提取时，提出一种高效的方案选择投影轴。在提取各种特征表示后，对每一种表情特征用 1 阶 最近邻分类器进行初步识别，最后用支持向量机融合这些分类结果进行表情的最终识别。并且针对目前还没有硬件实现情况，提 出用 TI 公司的达芬奇系列的 DSP 芯片构建并行系统来实现 SVM 融合算法方案，讨论并优化 DSP 实现算法的过程，通过实验的结 果表明，提出的方案是有效的。 关键词：支持向量机；图像融合；主元分析；Fisher 鉴别分析；数字信号处理（DSP） DOI：10.3778/j.issn.1002-8331.2009.33.055 文章编号：1002－8331（2009）33-0168-03 文献标识码：A 中图分类号：TP391
3.3 Fisher 鉴别分析
FLD 基本思想就是在 Fisher 鉴别函数取得极值的条件下，
求得一个最佳的鉴别方向，然后再将高维模式空间表示人脸面
部表情的特征向量投影到该最佳方向上，构成一维的鉴别特征
空间，它试图最大化类间分布，而最小化类内分布，对于面部表
情识别而言，FLD 移动同一类表情的人脸图像更近，而不同类 表情的人脸图像移得越远。设训练样本集共有 N 个训练样本
N
Σ Σ= （xj-μ）（xj-μ）T j=1
（6）
N
Σ 其中 μ 为训练样本的平均数：μ= 1 N
xj 令 X=[x1-μ，…，xN-μ]，
j=1
Σ=XXT 令 R=XTX∈ΩN×N，根据矩阵理论，R 的特征值 λj 及相应
的正交归一化特征向量 νj 与 Σ 的正交归一化特征向量 μj 的关
系如下：
168 2009，45（33）
Computer Engineering and Applications 计算机工程与应用
基于 SVM 信息融合的图像识别与并行实现
刘松 LIU Song
中国矿业大学 煤炭资源与安全开采国家重点实验室，北京 100083 National State Key Laboratory of Coal Resources and Safe Mining，China University of Mining and Technology，Beijing 100083， China E-mail：bigvision2008@
LIU Song.Image recognition based on SVM information fusion and DSP parallel puter Engineering and Applications，2009，45（33）：168-170.
Abstract：The paper proposes a multi-feature and multi-classifier fusion algorithm for image recognition called Support Vector Machine（SVM） information fusion.First，the paper applies three different algorithms to the feature extraction：PCA，SVM，LDA.The outputs of facial expression classifier based on three expression representations are input to SVM information fusion to get facial expression recognition.For hardware realization is few，this paper uses the DAVINCI DSP serial productions of TI company to realize the SVM information fusion algorithm scheme based on parallel structure.It discusses the process of algorithm realization by DSP.The actual results prove that SVM information fusion algorithm for expression recognition is effective and can be realized by DSPs. Key words：Support Vector Machine（SVM）；image fusion；Principal Component Analysis（PCA）；Fisher Linear Discriminant Analy－ sis（Fisher LDA）；Digital Signal Processing（DSP）
μj= 1 Xνj，j=1，…，N 姨λj
（7）
将特征值从大到小排列：λ1≥λ2≥…λN，其对应的特征向量
为 μ1≥μ2≥…μN。任何一副表情图像向量 xj 投影到由 μ1≥μ2≥
…μN 张成的子空间 UT，都能得到一组表示图像在子空间位置
的坐标系数，这些系数可作为代表人脸表情识别的依据。对于
任意样本可通过向“表情脸”子空间投影求出其系数向量：y=
融合这些初步分类结果进行面部表情的最终别。其中主元分
析（PCA）特征提取充分利用图像的低阶分量信息，Fisher 鉴别
分析（FLD）特征提取利用了图像的高阶分量信息，支持向量机
（SVM）特征提取充分利用了 SVM 算法内在的许多优秀性质，
比如良好的未知样本的适应和推广能力，这对于提高系统鲁棒
性很重要。
4 基于支持向量机的信息融合
图 PCA+KNN1 像 预 SVM+KNN1 处 理 LDA+KNN1
SVM 融合 中心
识别 结果
图 1 基于 SVM 信息融合系统图
3 面部表情的初次识别
3.1 主元分析
主元分析（PCA）是均方误差最小意义下的数据压缩的方
法，一副 n×n 的人脸图像，将其按列相连构成一个 n2 维的表情
图像。设 N 为训练样本数，xj 为第 j 副人脸图像形成的表情向 量，则训练样本的总体散布矩阵为：
刘 松：基于 SVM 信息融合的图像识别与并行实现
2009，45（33） 169
其对偶问题：
n
n
Σ Σ max
TD=
i=1
αi-
1 2
αiαjyiyjxixj
i，j
n
Σ s.t. αiyi=0 i=1
0≤αi≤C，i=1，2，…，n
2.2 系统结构
（3）
（4） （5）
提出的基于 SVM 信息融合技术的图像识别系统（SVMS）
{x1，x2，… ，xN}，分 为 c 类 {χ1，χ2，… ，χc}，每 一 类 的 均 值 为 μ軈 i=
k=N
Σ Σ 1
Ni
xk，总均值为：μ軈= xk，第 i 类样本的离散度矩阵为：
xk∈χi
k=1
Σ Si= （xk-軍μ）i （xk-軍μ）i T xk∈χi
（13）
i=C
Σ 总 类 内 离 散 度 矩 阵 ：Sw= Si， 类 间 离 散 度 矩 阵 ：SB= i=1
（15）
由于最多只有 c-1 个非零广义特征值，因此 m 的最大值
为 c-1。
为了解决小样本问题，提出 PCA+FLD 策略，通过 PCA 将
特征空间降为 K-c 维，然后通过标准的 FLD 将维数降为 c-1。
通过 PCA 将人脸图像投影到 K-c 维特征空间：
T
Wpca=arg max|W STW|
T
Zk =Wpca xk 通过标准的 FLD 将维数降为 c：
（16） （17）
TT
Wfld=arg
max
|W
T
Wpca SB Wpca W|
T
|W Wpca SW Wpca W|
yk=WfldZk
（18） （19）
170 2009，45（33）
Computer Engineering and Applications 计算机工程与应用
U（T X-μ）。
3.2 支持向量机
支持向量机（SVM）由于表情图像识别是典型的多类非线
性问题，首先要通过 Φ：xi→Φ（x）i 非线性映射将人脸表情映射 到高维的特征空间，选用高斯径向基函数核函数 k（xi，x）j 来实 现两个向量 Φ（x）i ，Φ（x）j 的内积，即有：
- ‖xi-xj‖2
k（xi，x）j =Φ（x）i ·Φ（x）j =e 2σ2 于是优化问题式（3）转化为：