第二章 特征选择与提取20111

4
图像检索
5
模式的描述和表达
• 特征提取：是从样本的某种描述状态 特征提取： 如一幅具体的图象，一段音乐等） （如一幅具体的图象，一段音乐等）提 取出所需要的， 取出所需要的，用另一种形式表示的特 如在图象中抽取出轮廓信息， 征（如在图象中抽取出轮廓信息，音频 信号提取中不同频率的信息等） 信号提取中不同频率的信息等）
7
物理特征
以视频为例
8
颜色、 颜色、颜色空间
RGB，YUV，HSV…
9
颜色空间的转换
RGB YCbCr
Y = 0.299R + 0.587G + 0.114B Cb = -0.147R - 0.289G + 0.436B Cr = 0.615R - 0.515G - 0.100B
R = Y + 1.14Cr G = Y - 0.39Cb - 0.58Cr B = Y + 2.03Cb
10
颜色空间的转换
RGB YCbCr
11
RGB颜色空间 颜色空间
12
颜色、 颜色、颜色空间
颜色的其它表示： 颜色直方图、颜色相关图、 颜色的其它表示： 颜色直方图、颜色相关图、 颜色矩
8000 7000 6000 5000 4000 3000 2000 1000 0 0 50 100 150 200 250
其中 βi 为 Lagrange乘子 乘子
ΦT ∑X Φi − βi (ΦT Φi −1) ∑ i i
n
32
ε 2 (m) 极小的必要条件为 ∇Φ ε 2 (m) = 0
所以 ∑X Φi = βiΦi , i = m +1,L, n 这个式子说明 Φi 是X的协方差矩阵 ∑X 的特征向量，而 βi 是这 的协方差矩阵 特征向量， 特征值。 个协方差矩阵的相应的第 i 个特征值。用λi 表示 βi ，可得
bi 值：
bi = E( yi ) = ΦT E( X ) i
就是说，对于不保留的那些 的分量 就是说，对于不保留的那些Y的分量 yi ，应当用它们的 平均值来代替 来代替， 平均值来代替，就能得到 bi 的最小值
31
bi = E( yi ) = ΦT E( X ) i
均方误差可写成： 均方误差可写成：
ε 2 (m) =
∑ E ( y − E( y )) = ∑ Φ E ( X − E( X ))( X − E( X ))
2 i =m+1 n i i
n
=
i =m+1 n
T i
T
Φi
i =m+1
ΦT ∑X Φi ∑ i
T
∑X = E ( X − E( X ))( X − E( X ))T 是 X 的协方差矩阵 式中： 式中：
i =1
方阵， 这里 Φ 是n×n方阵， i 是n维列向量 × 方阵 Φ 维列向量 进一步， 的各列形成一个正交归一集 正交归一集， 进一步，假定 Φ 的各列形成一个正交归一集，即： 1, i = j T Φi Φ j = 0, i ≠ j 如果满足上述正交归一条件， 的各个分量可由下式给出： 如果满足上述正交归一条件，则Y的各个分量可由下式给出： 的各个分量可由下式给出
m<n
ˆ X (m) = ∑ yiΦi +
i =1
m
i =m+1
∑ bΦ
i i
m
n
式中b是选定的常数。如果只用 个特征 则误差为： 个特征， 式中 是选定的常数。如果只用m个特征，则误差为： 是选定的常数
ˆ ∆X (m) = X − X (m)
= ∑ yiΦi − ∑ yiΦi −
n i =1 n i =1 i =m+1
{
n
2
}
= E{(∆X (m))T (∆X (m))}
=
i =m+1
E ( yi − bi )2 ∑
可见， 最小的选择， 可见，要作出使 ε 2 (m)最小的选择，就是把ε 2 (m) 看作是bi 和 Φi 的函数，求使得 ε 2 (m)取极小值的最佳的 bi和Φi 值。 的函数， 一. 可得最佳的
yi = Φ X, i = 1,2,L, n
T i
29
KarhunenKarhunen-Loeve 变换
那么，Y就是随机向量 的一个正交归一变换 就是随机向量X的一个正交归一变换 就是随机向量 假定只保留Y向量的分量的一个子集 , 假定只保留 向量的分量的一个子集{y1, y2 ,L, ym} , 用这些分量估计出X：用预先选定的常数来代替不保留的Y 用这些分量估计出 ：用预先选定的常数来代替不保留的Y的 分量，并构成下列估计量的办法来实现： 分量，并构成下列估计量的办法来实现：
颜色
主颜色 颜色布局 颜色结构 帧组/组颜色 帧组 组颜色 同质纹理
纹理
纹理浏览 边缘直方图 摄像机运动
运动
运动轨迹 参数运动 运动活力
其他
人脸识别等
其他特征
SIFT
RGB-SIFT HSV-SIFT
MoSIFT SURF LBP HOG Haar…
20
对底层特征的鲁棒性要求
21
对底层特征的鲁棒性要求
18
MPEG-7多媒体描述标准 多媒体描述标准
类别 名称
颜色空间 颜色量化
功能
包括RGB、HSV、HMMD、YCbCr、单色、对应 、 包括 、 、 、单色、对应RGB的线性变换阵 的线性变换阵 定义与颜色空间的均匀量化（需和主颜色等配合使用） 定义与颜色空间的均匀量化（需和主颜色等配合使用） 对任意形状的区域指定一组主要颜色 指定颜色的空间分布， 指定颜色的空间分布，既可用于整幅图像也可用于一幅图像的一部分 既描述颜色内容本身也借助结构元素描述颜色内容的结构 利用可扩展颜色定义用来表达一组图像/视频帧的结构 利用可扩展颜色定义用来表达一组图像 视频帧的结构 表达根据频率分布获得的能量和能量偏移 表达纹理的感知特点，如规划性、方向性、粗糙性等 表达纹理的感知特点，如规划性、方向性、 对5种子图像中边缘的空间分布的统计 种子图像中边缘的空间分布的统计 根据摄像机获取的3-D运动参数描述摄像机的 运动参数描述摄像机的3-D运动，包括扫视、倾 运动， 根据摄像机获取的 运动参数描述摄像机的 运动 包括扫视、 变焦、跟踪、吊降、 斜、变焦、跟踪、吊降、推拉等 用来描述运动物体上代表点的时空轨迹 以2-D几何变换（平移, 旋转, 放缩, 仿射, 透视, 几何变换（平移 旋转 放缩 仿射 透视 几何变换 对应视频中直观的“动作强度” 对应视频中直观的“动作强度”或“运动速度” 运动速度” 19
∑ bΦ
i i
30
n
=
i =m+1
∑ ( y −b ) Φ
i i i
均方误差作为量度 个特征的子集的有效性的判据， 作为量度m个特征的子集的有效性的判据 用 ∆X 的均方误差作为量度 个特征的子集的有效性的判据， 有：
ε (m) = E ∆X (m)
2
n n T = E ∑ ∑ ( yi − bi )( y j − bj )Φi Φ j i=m+1 j=m+1
13
颜色量化
14
形状、边缘 形状、边缘——图像分割 图像分割
15
纹理、 纹理、质地
16
运动
摄像机运动 对象的运动 应用： 应用：Event、Action detection 、
17
结构性特征
如对阿拉伯数字的识别可以提出各种不同的想法， 如对阿拉伯数字的识别可以提出各种不同的想法，有的 提出分析从框架的左边框到数字之间的距离变化反映了 不同数字的不同形状， 不同数字的不同形状，这可以用来作为数字分类的依据 又有的方案则是强调分析不同截面的信号， 。又有的方案则是强调分析不同截面的信号，如在框架 的若干部位沿不同方向截取截面分析从背景到字， 的若干部位沿不同方向截取截面分析从背景到字，以及 从字到背景转换的情况,如 截面切割字符三次 截面切割字符三次， 截 从字到背景转换的情况 如AB截面切割字符三次，CD截 面切割字符一次等。 面切割字符一次等。
第二步我们要得到 的最佳选择。 第二步我们要得到 Φi 的最佳选择。即在Φi Φi = 1 的条 2 件下， 下面用Lagrange乘子法求 件下，找出使 ε (m)最小的 Φi 。下面用 乘子法求 条件极值。令 条件极值。
n 2 2 i =m+1 T i i=m+1
ε (m) = ε (m) − ∑ βi (Φ Φi −1) =
25
SURF Two codebooks, 1000 dims and 500 dims respectively Codebook1_Global_Hist 1000dims Codebook2_Global_Hist 500dims Codebook1_Region_Hist9000dims Codebook2_Region_Hist4500dims Motion Motion_Hist 16dims Motion_Pme 1dim Total 20 features
22
TRECVID 概念检测
23
TREC1080dims Edge_HoG 36dims
SIFT Codebook1_Global_Hist 1000dims Codebook2_Global_Hist 500dims Codebook1_Region_Hist9000dims Codebook2_Region_Hist4500dims
6
模式的描述和表达
特征分类：
物理特征：颜色、大小、温度、 物理特征：颜色、大小、温度、能量等
全局(Global feature) 全局 局部(Local feature) 局部 特征点(keypoint) 特征点