电子稳像综述

背 景
稳像图示：
(a)参考帧
(b)当前帧
(c)参考帧
(d)稳像后
背 景
技术要求： （1）高精度 （2）快速计算
（3）减少视频信息的丢失 （4）去除局部运动，准确估计全局运动也是一个难 题。前景，背景 （5）利用图像信息区分摄像机的晃动量和摄像机的正 常扫描运动 。
背 景
稳像系统框图：
运动补偿是指根据运 动估计及运动平滑获 得的抖动参数重构视 频图像，重新生成一 个只存在摄像机主观 运动的稳定视频序列 运动滤波 运动补偿
图：六边形搜索算子
运 动 估 计
位平面匹配法 主要针对平移运动情况，对图像旋转和缩放处理能 力有限。
运 动 估 计
特征匹配法
基于特征匹配的电子稳像方法， 和其他稳像方法相 比， 可以稳定包含平移和旋转等复杂抖动的视频。 将参考帧和当前帧中的特征量分别提取出来，并采 用一定的匹配准则得到这些匹配两两之间对应的关系，通 过这种对应关系带入图像运动模型中计算出全局运动参数， 利用全局运动参数来补偿抖动分量， 获取稳定视频。
运 动 估 计
代表点法
代表点匹配算法是分别在参考图像和当前图像选取 一些代表点，然后对代表点进行相关匹配，求运动矢量。 这样既能大大的提高系统的运算速度，又能较好的保证 运动矢量的检测精度。（是在基于普通的块匹配算法的 基础上提出的。由于全匹配搜索算法（或叫穷尽搜索算 法）计算量大，效率较低，一般来说，很难做到实时地 稳像处理。） 通常是将图像分成四个区域, 每个区域分别选取30 个代表点, 每个点有一个确定的搜索区域。建立先前帧 与当前帧图像代表点之间关系式, 最后以搜索区域内选 定的代表点为相对参考点作一个相同位移位, 相应的有 一个绝对差值, 对所有代表点坐标的绝对差值求和, 获得 一个相关函数关系式
式中：（a1,a2,a3,a4,a5,a6）为摄像机的全局运动参数；其中 （a1，a5）为缩放参数， （a2，a4）为旋转参数，（a3,a6）为 平移参数： （x,y）为参考帧的像素坐标： （x ’，y ’）为抖动视 频当前帧对应的像素坐标。
算 法 原 理
参考帧的选取： 分为固定参考帧模式和相邻参考帧模式。
运 动 估 计
目前块匹配的准则有很多种，其中最为典型的匹配准则有：最小绝 对差和准则（SAD）、最小平均绝对差值准则（MAD）、 最小均方差 准则（MSE）和归一化相关函数。
块匹配法-匹配准则
以上几个公式中, fk （s,t）和fk+1 （s+i,t+j）分别是参考帧图 像和当前帧图像的相应位臵的像素灰度值。 第一个 NCCF 值取最大 时， 为最优匹配。 后三个匹配准则的值最小时，为最优匹配。 四个匹配准则中最常用的是最小总绝对差 SAD 准则。
特征点，也就是角点，作为图像的一种重要的局部 特征被广泛地应用。长期以来，对于 特征点的描述和定 义，一直没有一个统一的概念表述。通常情况下是指灰 度信息变化剧烈的 不连续的点。因为特征点在图像中属 于表征上的特殊点，因此并不随着光照的改变而发生大 的变化，此外， 特征点还具有旋转不变性。
目前特征点提取方法可分为以下几类：（1)基于灰度 图像：（2）基于边缘的特征：（3) 基于数学形态学： （4）基于二进制图像。
运 动 估 计
块匹配法-搜索方法： 〃基本块匹配搜索算法是在匹配窗口中进行遍历 搜索，称为全匹配搜索法。 〃目前最为常用的是三步搜索法。
运 动 估 计
块匹配法-缺点：
（1）BMA目前更多的还是用于估计平移运动， 估计旋 转和缩放运动的精度还是很低； （2）如果选用全匹配搜索（full search）的搜索策略， 运算量很大，目前工程应用中常三步搜索法，虽然匹配 的精度有所下降，但匹配的速度得到很大提高。块匹配 算法利用的都是单像素点的灰度信息，通过逐点的匹配 计算，来得到运动矢量， 而且在匹配过程中非常容易 陷入局部最优，降低运动矢量的估计精度； （3）块匹配法BMA只适用于存在小幅度运动的场景， 计算量大，效率低， 稳像精度取决于块的大小、搜索 的策略及匹配准则，适用性不强；
运 动 估 计
当前运动估计算法有：
灰度投影算法PA ( projection algorithm ) 块匹配法BMA（Block Matching Algorithm） 位平面匹配法BPM ( Bit plane matching ) 代表点法RPM(Representative point matching) 特征匹配法 也有一些在经典算法基础上改进后的新算法。
运 动 估 计
代表点法 此方法的优点是算法简单、计算量小。 但是由于代表点是确定的, 并非是图像上有明显特征的 点, 因此对图像的变化不敏感, 对旋转晃动和慢速晃动 尚不能补偿。
运 动 估 计
位平面匹配法BPM
图像每一点的像素值为一个八位的二进制数，这个 图像可被表示为一组二进制数，将该组二进制数所有第 n位(n从0到7，闭集，例如n=2)的数提取出来，组成一 个平面，即为第n位的位平面，采用该方法分析图像称 为为位平面法。 由于用二进制值代替了像素灰度，则后续可用逻辑 运算代替数值运算，从而大大减少了运算量。同时，由 于图像的关键信息处于某特定的位平面，采用单独的位 平面运算并不会降低匹配精度。 假设原始图像在像素点(x, y)位臵上具有2k个灰度等 级，该像素点的灰度值可通过以下公式表示，并可推广 到整幅图像：
公共安全
航空航天
军事领域
背 景
稳像：消除视频图像的各种抖动。
光学稳像 机械式稳像 电子稳像
背 景
电子稳像 EIS（Electronic Image Stabilization）
电子稳像技术是一种对随机运动或抖动的摄像机所 获取的动态图像序列进行平滑补偿,使其平稳输出的技术。 EIS技术的研究已三十多年历史，美国、法国、 俄罗斯等国家对电子稳像技术应用于军事方面已经进行 了较深入的研究；日本和韩国对家用摄录机的稳定技术 也进行了研究和开发。 国内对电子稳像技术的研究依然处于初级阶段，目 前为止，只有中国科学院长春光机所和北京理工大学等 单位在这个领域有一定的研究，总体来说，电子稳像技 术解决复杂抖动依然不够成熟。
图：FAST算法检测特征点效果
运 动 估 计
特征匹配法
介绍FAST算法对特征点的求取过程。在一幅图像 中，判断像素p是否为特征点，可通过如下方法完成：
wk.baidu.com
(1) 设定阈值t; (2) 计算 p 点像素值vP 与1 点像索值v1 差值m; 总得来说，对一个像素值是否为特征点的判断，转 (3) 计算p 点像素值vP 与9 点像素值v9 差值n; 化为了该点像素与其周围的 16个点的像素值的大小比较， (4) 若m × n>0时且|m | >t 或| n | > t 中至少有一个为真，则进行第5 在这个环形的像素邻域里，当至少有连续四分之三的像 步，否则返回“ 假’ ： 素与该点像素存在明显差异时，该点为特征点，否则， (5) 计算p点像索值vP 与5 点像素值v5 差值p; (6) 计算p点像素值vP 与13点像素值v13差值q; 该点为非特征点。 (7) 若满足|m | > t, |n | > t, |P | > t , lql > t中至少有3个为真，且m, n, p, q 在为真的表达式中，均同号，则进行第八步，否则返回“ 假＂ . (8) 依次计算其余12点的像索值与p 点像索值的差值，将得到的16 个值按序排成－环形数组（1号与16号是相邻的）： (9) 若数组中存在连续12个或以上像素值与p点像素值相差超过阈值 t，且像素差值均同号，则返回真，否则返回假。
k
ColTotk
Col ( j ) / NC
k
k
Col Pr ojk ( j) Colk ( j) ColTotk
其中式Colk(j) 为第k 帧图像第j 列的灰度值;Curk(i.j)是第k 帧图 像上(i,j)位臵处的像素的值; N C 是列数; ColProjk(j)是第k 帧 图像第j 列修正后的投影值。
电子稳像综述
2016年3月 zgbupc@63.com
目录
· 电子稳像背景 · 稳像算法介绍
背 景
摄像机有时必须安装在有震动的环境中，必然存 在机械震动，而且这些机械震动往往难以消除，机械 震动会引起视频图像的抖动，尤其是在使用高倍放大 的镜头情况下，轻微的机械震动都会引起图像的剧烈 抖动，从而严重影响对视频的观察监视。
运 动 估 计
灰度投影法：
图：参考帧图像列方向投影数据曲线
图：当前帧图像列方向投影数据曲线
图：当前帧和参考帧的列相关曲线
对于一段视频，如果序列图像之间存在水平或者垂直方向上的 平移，其实反映在这两个曲线上的变化也是曲线的左移或者右移。 这样通过对当前帧的灰度投影曲线和参考帧的灰度投影曲线进行互 相关运算就可以计算出两帧图像间水平和垂直方向上发生的偏移量。
运 动 估 计
灰度投影法：
尽管视频序列帧之间存在着一定的几何变化和光照亮度的变化，但相邻 帧之间必然存在很大的图像重合区域，这个区域里图像的像素灰度信息分布 规律基本是一样的。 灰度投影就是建立在这样的前提假设之下， 此算法将图像在水平和垂直 方向上分别对每行和每列的像素灰度值进行累加， 这样对于这幅图像就会产 生两条灰度投影曲线，分别代表着这幅图像水平和垂直方向上的灰度分布规 律。 Col ( j) Cur (i, j)
运 动 估 计
特征匹配法 最近几年在一些基本特征点的基础上，出现了一些较 新的算法，如SIFT (Scale Invariant Feature Transform)特征 点、 SURF特征点、FAST （features from accelerated segment test）特征点， 关于这方面的算法 研究也很火热，目前众多特征点提取方法中应用较多的有 经典Harris角点、SIFT特征点、KLT算法，以及较新的 和SURF 算法提取过程复杂， 计算量太大。 FASTSIFT 特征点。 稳像需要对视频图像 中的较大区域提取特征点， 而对较 大区域提取SIFT和SURF特征点， 理论上耗时会很大。
式中，G(x,y) 表示(x, y)点像素的灰度值，bk为一个布尔值，取值为0或 者1。
运 动 估 计
位平面匹配法BPM
对于一个灰度为256的图像，k=8，则经过位平面变换后，可 以得到8个等级的位平面。 图像的第k个位面构成的布尔矩阵为bk(x, y)，其中的每个值 均为0或者1，后续计算相应被简化了。每一个位面对应一个级别， 第k个位面的级别是2k，这样一个k位的灰度图像就可以看作是由k 个二值的位平面图像矩阵bk(x, y)构成。 一个位平面仅能够描述图像的部分信息，但等级越高的位平 面包含的信息量越大。
不需要实时更新参考帧图 像，这种参考帧选取方式 计算量小。不会带来累积 误差，算法的鲁棒性好。
最大程度地利用了图像的特 征信息，减少稳定帧的无定 义区域。
缺点：相邻参考帧棋式占 缺点：随着摄像机的运动， 用很大的存储空间，计算 图像也会发生变化，图像 量增大，容易出现累积错 的重叠区域慢慢减小。 误。
式中，Ck（m,n）理解为当前帧的搜索区域与参考帧对应区域间的不 匹配比特数的平均值,Ck（m,n）值最小的点即视为最佳匹配位置点， (m, n)就代表了帧间运动的大小，它指向的方向即为帧间运动的方向， 其角度可由式（3-7）获得：
运 动 估 计
位平面匹配法BPM-搜索算法： 六边形匹配算法是一种由粗到精的搜索方法，采用逐 步缩小搜索范围的方式可以减少搜索的复杂度。
运 动 估 计
位平面匹配法BPM-位平面匹配：
得到的位平面即可用于图像匹配。同时，我们引入两帧图像的位 平面匹配测度作为匹配准则。假设t-1时刻参考帧中待匹配的块大小 为M × N ，t时刻当前图像中搜索区域为(M+2p) × (N+2q)，选取 第k位平面进行匹配，分别表示为 bkt-1和 bkt，则两帧图像的位平面 匹配测度可由下式得到：
运 动 估 计
灰度投影法： 对于图像灰度分布简单，视频中只存在平移类 的抖动时，采用灰度投影算法来稳像是最合适的， 此时它稳像精度高且算法处理速度非常快。
运 动 估 计
块匹配法
图像块匹配法假设图像的任一子块中的像素的运动情况都是相 同的。假设水平和垂直的方向上，摄像机载体的振动的幅度范围为 （ ± dxmax , ± dymax)，参考帧中待匹配的图像块的大小为M× N， 那么当前帧中块匹配的搜索区域范围为（M+ 2dxmax , N+ 2dymax ） 在搜索区域内，按照－定的匹配准则进行搜索并计算出匹配块 的位臵，匹配块的初始位臵和最终 的位臵在水平和垂直方向上的差 就是相应的位移矢量。 一般传统的块匹配算法将图像分为 P× Q个子块， 分别对每个 子块进行块匹配，计算出每个子块的偏移量， 然后加权求和取平均， 结果就是整个图像帧的运动偏移量。
稳定视频
全局运动估计是 为全局运动建立 数学模型并估计 模型的参数。
抖动视频
运动估计
算 法 原 理
运动估计
算 法 原 理
全局运动参数计算：
一般采用六参数仿射模型对摄像机运动建模。当场 景中物体的相对深度变化和摄像机的焦距缩放都不太大 时，六参数仿射模型能够很好的描述摄像机的纯旋转、 摇镜头、平移运动，并且六参数仿射模型计算复杂度适 中、累积误差较小。六参数仿射运动模型和模型参数的 具体介绍如下：