基于稀疏表示的识别方法

x
2
1
SR：（信号）basis pursuit，（统计）l1 regularization
LASSO
• Lasso (Least Absolute Shrinkage and Selection Operator)
– 1996年由Tibshirani（多伦多大学）提出a new method for estimation in linear models
• 如何用于识别？
基于SR识别的原理
• 共有k个类。 • 每个类下的每个样本用A中的一个列向量描述aij • 若第i类包含ni个样本，则
Ai ai1, ai2, , aini Rmni
A A1, A2, , Ak
• 若y属于第i类
线性组合 逼近
y xi1ai1 xi2 ai2 x a ini ini
• 理想地：
x 0, , 0, xi1, xi2 , , xini , 0, , 0 Rn
• 已知A和y，求出x；根据非零x的类型分布 判别y在A中的归属。
• 稀疏系统辨识问题 信号恢复问题
• 压缩传感（Compress Sensing）理论的一种 应用
原子选取
A A
A
相似性度量
匹配追踪(II)
• OMP：将所选原子进行正交
化处理，再将信号在这些正交原 子构成的空间上投影，得到信号 在各个已选原子上的分量和残余 分量，然后用相同方法分解残余 分量。
各次迭代中累计选 取的原子的下标集
更新系数向量
更新残差
A
A
A A
Sparse Representation
– 解决一类有约束的优化问题
min y Ax s.t. x t
x
2
1
• LARS( Least Angle Regression)
– 2004年由Efron（斯坦福大学）提出a new model
selection algorithm
LARS
• 直观描述：
– 找到与y最相关的的自变量Ak； – 沿Ak方向逼近y，直到出现Al，它与y的相关度
基于人脸库的识别实验(I)
• 单张照片的识别subject01.centerlight.jpg
基于人脸库的识别实验(II)
• 多张照片的识别（Yale）:
SCI为：0.63896
1 0.85843 0.80516 0.58204 0.92866
0.60659
1 0.48407 0.81912 0.60787 0.87928 0.431
• 1996-1997， Nature
– 初级视皮层（V1）的工作机理，即对于线段的 方向选择特性
• 1996 Robert Tibshirani: LASSO算法
• 1范数和稀疏表示之间的关系？
RIP
A矩阵列向量正交性的一种衡量
min x s.t. y Ax
1
2
2000年 被证明
min y Ax s.t. x t
基于SR识别的效果(I)
Baidu Nhomakorabea
求解y=Ax
• NP-Hard
优化算法： 贪婪方法：MP(顺序选择) 凸松弛方法：BP、Lasso(并行选择) 非凸局部最优化方法（基于梯度的统计方法）：FOCUSS、 Bayesian
匹配追踪(I)
• MP：每次迭代选取字
典A中与残差信号最匹配 （相关系数最大）的原子 来近似残差。
和Ak与y的相等，将Al加入逼近队列； – 沿Ak与Al的角分线方向逼近y，直到出现Ap，它
与y的相关度足够大，将Ap加入逼近队列； – 沿Ak Al Ap共同的角分线方向继续前述步骤； – 直到残差足够小，或所有A都已加入逼近队列，
算法结束。
y X
算法实验
• 算法验证 • 基于人脸库的识别实验
– 单张照片的识别 – 多张照片的识别 – 多光照下的识别
• 字典相关性测试
– 类内相关性 – 类间相关性
算法验证
• 数值模拟
– A=randn(12,20); – y=-2A1+A3+8A5;
• OMP
– y=-2.0263A1+1.0000A3+7.6930A5
• LARS
– y=-2.0000A1+1.0000A3+8.0000A5+1.184e13A12+1.0446e-13A14+-5.6270e-13A16
• 基于Lasso的SR识别算法 • 基于随机函数投影字典的识别 • SR识别方法对于车辆识别的效果
• 字典正交性与SR识别的关系 • 算法迭代次数与识别性能的关系 • 字典构造方法与识别性能的关系
0.81002 0.70473
多光照下的识别
• 光照锥 数学上可以证明，当物体的表面反射特性符合Lambertian特性时， 该物体在不同光照下的投影图构成一个凸的低维线性空间。 – 同一物体在不同光照下的投影图构成光照锥
• 多光照下的线性模型
– 已知光照锥中的一些图像，构成基； – 锥内任意图像可以由基线性组合表示。
基于稀疏表示的识别方法
• 稀疏表示（SR）的原理 • 基于SR识别的原理 • 基于SR识别的效果 • 识别方法的实现
– 常用稀疏求解算法 – 常用识别认证方法
• 算法实验
– 算法验证实验 – 识别实验 – 字典相关性测试
稀疏表示（SR）的原理
• 线性表示
给定m维空间中一组过完备的基A ，如何选择最少个数 的基向量x，重构给定向量y