第二章 特征选择与提取20111

25
SURF Two codebooks, 1000 dims and 500 dims respectively Codebook1_Global_Hist 1000dims Codebook2_Global_Hist 500dims Codebook1_Region_Hist9000dims Codebook2_Region_Hist4500dims Motion Motion_Hist 16dims Motion_Pme 1dim Total 20 features
第二章 特征的提取与选择
特征
模式的描述、表示、 模式的描述、表示、表达 样本特征的提取 特征的选择
1
特征提取与选择
数据获取 预处理 特征提取选择
训练过程 识别过程
分类器设计
分类器参数
分类决策
分类结果
2
引言
在分类器设计中，都是在d维特征空间已经确定的前提 在分类器设计中，都是在d维特征空间已经确定的前提 下进行的。 下进行的 。 因此讨论的分类器设计问题是一个选择什么准 使用什么方法, 将已确定的d 则 、 使用什么方法 , 将已确定的 d 维特征空间划分成决策域 的问题 对分类器设计方法的研究固然重要， 对分类器设计方法的研究固然重要 ， 但 如何确定合适 的特征空间是设计模式识别系统另一个十分重要的问题 是设计模式识别系统另一个十分重要的问题： 的特征空间是设计模式识别系统另一个十分重要的问题： 如果所选用的特征空间能使同类物体分布具有紧致性， 如果所选用的特征空间能使同类物体分布具有紧致性 ， 即各类样本能分布在该特征空间中彼此分割开的区域内， 即各类样本能分布在该特征空间中彼此分割开的区域内 ， 这就为分类器设计成功提供良好的基础 反之， 反之 ， 如果不同类别的样本在该特征空间中混杂在一起 ，再好的设计方法也无法提高分类器的准确性
{
n
2
}
= E{(∆X (m))T (∆X (m))}
=
i =m+1
E ( yi − bi )2 ∑
可见， 最小的选择， 可见，要作出使 ε 2 (m)最小的选择，就是把ε 2 (m) 看作是bi 和 Φi 的函数，求使得 ε 2 (m)取极小值的最佳的 bi和Φi 值。 的函数， 一. 可得最佳的
其中 βi 为 Lagrange乘子 乘子
ΦT ∑X Φi − βi (ΦT Φi −1) ∑ i i
n
32
ε 2 (m) 极小的必要条件为 ∇Φ ε 2 (m) = 0
所以 ∑X Φi = βiΦi , i = m +1,L, n 这个式子说明 Φi 是X的协方差矩阵 ∑X 的特征向量，而 βi 是这 的协方差矩阵 特征向量， 特征值。 个协方差矩阵的相应的第 i 个特征值。用λi 表示 βi ，可得
bi 值：
bi = E( yi ) = ΦT E( X ) i
就是说，对于不保留的那些 的分量 就是说，对于不保留的那些Y的分量 yi ，应当用它们的 平均值来代替 来代替， 平均值来代替，就能得到 bi 的最小值
31
bi = E( yi ) = ΦT E( X ) i
均方误差可写成： 均方误差可写成：
颜色
主颜色 颜色布局 颜色结构 帧组/组颜色 帧组 组颜色 同质纹理
纹理
纹理浏览 边缘直方图 摄像机运动
运动
运动轨迹 参数运动 运动活力
其他
人脸识别等
其他特征
SIFT
RGB-SIFT HSV-SIFT
MoSIFT SURF LBP HOG Haar…
20
对底层特征的鲁棒性要求
21
对底层特征的鲁棒性要求
7
物理特征
以视频为例
8
颜色、 颜色、颜色空间
RGB，YUV，HSV…
9
颜色空间的转换
RGB YCbCr
Y = 0.299R + 0.587G + 0.114B Cb = -0.147R - 0.289G + 0.436B Cr = 0.615R - 0.515G - 0.100B
R = Y + 1.14Cr G = Y - 0.39Cb - 0.58Cr B = Y + 2.03Cb
i =1
方阵， 这里 Φ 是n×n方阵， i 是n维列向量 × 方阵 Φ 维列向量 进一步， 的各列形成一个正交归一集 正交归一集， 进一步，假定 Φ 的各列形成一个正交归一集，即： 1, i = j T Φi Φ j = 0, i ≠ j 如果满足上述正交归一条件， 的各个分量可由下式给出： 如果满足上述正交归一条件，则Y的各个分量可由下式给出： 的各个分量可由下式给出
3
视频搜索引擎
Video Database User
Text Information Video Structure Image Information Motion Information Audio Information
Keyword Information Need Query Images Motion Audio
∑ bΦ
i i
30
n
=
i =m+1
∑ ( y −b ) Φ
i i i
均方误差作为量度 个特征的子集的有效性的判据， 作为量度m个特征的子集的有效性的判据 用 ∆X 的均方误差作为量度 个特征的子集的有效性的判据， 有：
ε (m) = E ∆X (m)
2
n n T = E ∑ ∑ ( yi − bi )( y j − bj )Φi Φ j i=m+1 j=m+1
第二步我们要得到 的最佳选择。 第二步我们要得到 Φi 的最佳选择。即在Φi Φi = 1 的条 2 件下， 下面用Lagrange乘子法求 件下，找出使 ε (m)最小的 Φi 。下面用 乘子法求 条件极值。令 条件极值。
n 2 2 i =m+1 T i i=m+1
ε (m) = ε (m) − ∑ βi (Φ Φi −1) =
6
模式的描述和表达
特征分类：
物理特征：颜色、大小、温度、 物理特征：颜色、大小、温度、能量等
全局(Global feature) 全局 局部(Local feature) 局部 特征点(keypoint) 特征点
结构特征： 结构特征：数字和字符的间架结构 数学（ 变换） 特征： 统计平均值、 相关系数、 数学 （ 变换 ） 特征 ： 统计平均值 、 相关系数 、 协方差阵的特征向量及特征值等 。。。
4
图像检索
5
模式的描述和表达
• 特征提取：是从样本的某种描述状态 特征提取： 如一幅具体的图象，一段音乐等） （如一幅具体的图象，一段音乐等）提 取出所需要的， 取出所需要的，用另一种形式表示的特 如在图象中抽取出轮廓信息， 征（如在图象中抽取出轮廓信息，音频 信号提取中不同频率的信息等） 信号提取中不同频率的信息等）
10
颜色空间的转换
RGB YCbCr
11
RGB颜色空间 颜色空间
12
颜色、 颜色、颜色空间
颜色的其它表示： 颜色直方图、颜色相关图、 颜色的其它表示： 颜色直方图、颜色相关图、 颜色矩
8000 7000 6000 5000 4000 3000 2000 1000 0 0 50 100 150 200 250
28
KarhunenKarhunen-Loeve 变换
是一个n维的随机向量 设X是一个 维的随机向量，则它可以用下式无误差展开： 是一个 维的随机向量，则它可以用下式无误差展开：
X = ∑ yi Φi = ΦY
式中
n
Y = ( y1, y2 ,L, yn )T
Φ = ( Φ1, Φ2 ,L, Φn )
22
TRECVID 概念检测
23
TRECVID 概念检测
24
HoG Block_HoG 1080dims Edge_HoG 36dims
Leabharlann Baidu
SIFT Codebook1_Global_Hist 1000dims Codebook2_Global_Hist 500dims Codebook1_Region_Hist9000dims Codebook2_Region_Hist4500dims
18
MPEG-7多媒体描述标准 多媒体描述标准
类别 名称
颜色空间 颜色量化
功能
包括RGB、HSV、HMMD、YCbCr、单色、对应 、 包括 、 、 、单色、对应RGB的线性变换阵 的线性变换阵 定义与颜色空间的均匀量化（需和主颜色等配合使用） 定义与颜色空间的均匀量化（需和主颜色等配合使用） 对任意形状的区域指定一组主要颜色 指定颜色的空间分布， 指定颜色的空间分布，既可用于整幅图像也可用于一幅图像的一部分 既描述颜色内容本身也借助结构元素描述颜色内容的结构 利用可扩展颜色定义用来表达一组图像/视频帧的结构 利用可扩展颜色定义用来表达一组图像 视频帧的结构 表达根据频率分布获得的能量和能量偏移 表达纹理的感知特点，如规划性、方向性、粗糙性等 表达纹理的感知特点，如规划性、方向性、 对5种子图像中边缘的空间分布的统计 种子图像中边缘的空间分布的统计 根据摄像机获取的3-D运动参数描述摄像机的 运动参数描述摄像机的3-D运动，包括扫视、倾 运动， 根据摄像机获取的 运动参数描述摄像机的 运动 包括扫视、 变焦、跟踪、吊降、 斜、变焦、跟踪、吊降、推拉等 用来描述运动物体上代表点的时空轨迹 以2-D几何变换（平移, 旋转, 放缩, 仿射, 透视, 几何变换（平移 旋转 放缩 仿射 透视 几何变换 对应视频中直观的“动作强度” 对应视频中直观的“动作强度”或“运动速度” 运动速度” 19
m<n
ˆ X (m) = ∑ yiΦi +
i =1
m
i =m+1
∑ bΦ
i i
m
n
式中b是选定的常数。如果只用 个特征 则误差为： 个特征， 式中 是选定的常数。如果只用m个特征，则误差为： 是选定的常数
ˆ ∆X (m) = X − X (m)
= ∑ yiΦi − ∑ yiΦi −
n i =1 n i =1 i =m+1
ε 2 (m) =
∑ E ( y − E( y )) = ∑ Φ E ( X − E( X ))( X − E( X ))
2 i =m+1 n i i
n
=
i =m+1 n
T i
T
Φi
i =m+1
ΦT ∑X Φi ∑ i
T
∑X = E ( X − E( X ))( X − E( X ))T 是 X 的协方差矩阵 式中： 式中：
26
特征选择
特征选择： 特征选择：对样本采用多维特征向量描述 各个特征向量对分类起的作用不一样 在原特征空间中挑选中部分对分类较 有效的特征组成新的降维特征空间 降维特征空间， 有效的特征组成新的降维特征空间，以降 低计算复杂度， 低计算复杂度，同时改进分类效果
27
方法一：Karhunen-Loeve 变换 方法一：KarhunenK-L变换又称主分量分析（PCA），是 变换又称主分量分析（ 变换又称主分量分析 ） 一种正交变换， 一种正交变换 ， 在信号处理或数字图 象处理中K-L变换常用来作为数据压缩 象处理中 变换常用来作为数据压缩 这里我们用它作降维. ，这里我们用它作降维
yi = Φ X, i = 1,2,L, n
T i
29
KarhunenKarhunen-Loeve 变换
那么，Y就是随机向量 的一个正交归一变换 就是随机向量X的一个正交归一变换 就是随机向量 假定只保留Y向量的分量的一个子集 , 假定只保留 向量的分量的一个子集{y1, y2 ,L, ym} , 用这些分量估计出X：用预先选定的常数来代替不保留的Y 用这些分量估计出 ：用预先选定的常数来代替不保留的Y的 分量，并构成下列估计量的办法来实现： 分量，并构成下列估计量的办法来实现：
13
颜色量化
14
形状、边缘 形状、边缘——图像分割 图像分割
15
纹理、 纹理、质地
16
运动
摄像机运动 对象的运动 应用： 应用：Event、Action detection 、
17
结构性特征
如对阿拉伯数字的识别可以提出各种不同的想法， 如对阿拉伯数字的识别可以提出各种不同的想法，有的 提出分析从框架的左边框到数字之间的距离变化反映了 不同数字的不同形状， 不同数字的不同形状，这可以用来作为数字分类的依据 又有的方案则是强调分析不同截面的信号， 。又有的方案则是强调分析不同截面的信号，如在框架 的若干部位沿不同方向截取截面分析从背景到字， 的若干部位沿不同方向截取截面分析从背景到字，以及 从字到背景转换的情况,如 截面切割字符三次 截面切割字符三次， 截 从字到背景转换的情况 如AB截面切割字符三次，CD截 面切割字符一次等。 面切割字符一次等。