电子稳像综述PPT培训课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
电子稳像综述
目录
·电子稳像背景 ·稳像算法介绍
背
摄像机有时必须安装在有震动的环境中，必然存
景 在机械震动，而且这些机械震动往往难以消除，机械
震动会引起视频图像的抖动，尤其是在使用高倍放大
的镜头情况下，轻微的机械震动都会引起图像的剧烈
抖动，从而严重影响对视频的观察监视。
公共安全 航空航天 军事领域
动 对差和准则（SAD）、最小平均绝对差值准则（MAD）、 最小均方差 准则（MSE）和归一化相关函数。
估 计
以上几个公式中, fk （s,t）和fk+1 （s+i,t+j）分别是参考帧图像和 当前帧图像的相应位置的像素灰度值。 第一个 NCCF 值取最大时，
为最优匹配。 后三个匹配准则的值最小时，为最优匹配。
在搜索区域内，按照－定的匹配准则进行搜索并计算出匹配块 的位置，匹配块的初始位置和最终 的位置在水平和垂直方向上的差 就是相应的位移矢量。
一般传统的块匹配算法将图像分为 P×Q个子块， 分别对每个
子块进行块匹配，计算出每个子块的偏移量， 然后加权求和取平均 ， 结果就是整个图像帧的运动偏移量。
运 块匹配法-匹配准则 目前块匹配的准则有很多种，其中最为典型的匹配准则有：最小绝
了较深入的研究；日本和韩国对家用摄录机的稳定技术
也进行了研究和开发。
国内对电子稳像技术的研究依然处于初级阶段，目
wenku.baidu.com
前为止，只有中国科学院长春光机所和北京理工大学等
单位在这个领域有一定的研究，总体来说，电子稳像技
术解决复杂抖动依然不够成熟。
背 稳像图示： 景
(a)参考帧
(b)当前帧
(c)参考帧
(d)稳像后
抖动视频 运动估计
运动滤波
运动补偿 稳定视频
β kalman
波为为滤条、均主滤 。 常波的基值要波
用、运于滤有方 滤的最动样波：法
算 运动估计 法
原 理
算 全局运动参数计算： 法 一般采用六参数仿射模型对摄像机运动建模。当场
景中物体的相对深度变化和摄像机的焦距缩放都不太大
原 时，六参数仿射模型能够很好的描述摄像机的纯旋转、 摇镜头、平移运动，并且六参数仿射模型计算复杂度适
背 技术要求： 景 （1）高精度
（2）快速计算
（3）减少视频信息的丢失
（4）去除局部运动，准确估计全局运动也是一个难
题。前景，背景
（5）利用图像信息区分摄像机的晃动量和摄像机的正 常扫描运动 。
背 稳像系统框图： 景
全局运动估计是 为全局运动建立 数学模型并估计 模型的参数。
运动补偿是指根据运 动估计及运动平滑获 得的抖动参数重构视 频图像，重新生成一 个只存在摄像机主观 运动的稳定视频序列
运 灰度投影法：
动
对于图像灰度分布简单，视频中只存在平移类
估 的抖动时，采用灰度投影算法来稳像是最合适的， 此时它稳像精度高且算法处理速度非常快。
计
运 块匹配法 动 估 计
图像块匹配法假设图像的任一子块中的像素的运动情况都是相 同的。假设水平和垂直的方向上，摄像机载体的振动的幅度范围为
（ ± dxmax , ±dymax)，参考帧中待匹配的图像块的大小为M×N ，那么当前帧中块匹配的搜索区域范围为（M+ 2dxmax , N+ 2dymax ）
运 灰度投影法： 动 估 计
图：参考帧图像列方向投影数据曲线
图：当前帧图像列方向投影数据曲线
图：当前帧和参考帧的列相关曲线
对于一段视频，如果序列图像之间存在水平或者垂直方向上的 平移，其实反映在这两个曲线上的变化也是曲线的左移或者右移。 这样通过对当前帧的灰度投影曲线和参考帧的灰度投影曲线进行互 相关运算就可以计算出两帧图像间水平和垂直方向上发生的偏移量
背
稳像：消除视频图像的各种抖动。
景
光学稳像 机械式稳像 电子稳像
背
电子稳像
景
EIS（Electronic Image Stabilization）
电子稳像技术是一种对随机运动或抖动的摄像机所
获取的动态图像序列进行平滑补偿,使其平稳输出的技术
。 EIS技术的研究已三十多年历史，美国、法国、
俄罗斯等国家对电子稳像技术应用于军事方面已经进行
特征匹配法
也有一些在经典算法基础上改进后的新算法。
运 灰度投影法： 动 估 计
尽管视频序列帧之间存在着一定的几何变化和光照亮度的变化，但相邻
帧之间必然存在很大的图像重合区域，这个区域里图像的像素灰度信息分布
规律基本是一样的。
灰度投影就是建立在这样的前提假设之下， 此算法将图像在水平和垂直
方向上分别对每行和每列的像素灰度值进行累加， 这样对于这幅图像就会产
生两条灰度投影曲线，分别代表着这幅图像水平和垂直方向上的灰度分布规
律。
C o lk(j) C u rk(i,j)
C o lT o tk C o lk(j) /N C
C o lP ro jk (j) C o lk (j) C o lT o tk
其中式Colk(j) 为第k 帧图像第j 列的灰度值;Curk(i.j)是第k 帧图像 上(i,j)位置处的像素的值; N C 是列数; ColProjk(j)是第k 帧图像 第j 列修正后的投影值。
理 中、累积误差较小。六参数仿射运动模型和模型参数的 具体介绍如下：
式中：（a1,a2,a3,a4,a5,a6）为摄像机的全局运动参数；其中（ a1，a5）为缩放参数， （a2，a4）为旋转参数，（a3,a6）为平 移参数： （x,y）为参考帧的像素坐标： （x ’，y ’）为抖动视频当 前帧对应的像素坐标。
运
当前运动估计算法有：
动
灰度投影算法PA ( projection algorithm )
估
块匹配法BMA（Block Matching Algorithm
计
）
位平面匹配法BPM ( Bit plane matching )
代表点法RPM(Representative point matching)
算 参考帧的选取：
法
分为固定参考帧模式和相邻参考帧模式。
原
理
不需要实时更新参考帧图 像，这种参考帧选取方式 计算量小。不会带来累积 误差，算法的鲁棒性好。
缺点：随着摄像机的运动 ，图像也会发生变化，图 像的重叠区域慢慢减小。
最大程度地利用了图像的特 征信息，减少稳定帧的无定 义区域。
缺点：相邻参考帧棋式占 用很大的存储空间，计算 量增大，容易出现累积错 误。
目录
·电子稳像背景 ·稳像算法介绍
背
摄像机有时必须安装在有震动的环境中，必然存
景 在机械震动，而且这些机械震动往往难以消除，机械
震动会引起视频图像的抖动，尤其是在使用高倍放大
的镜头情况下，轻微的机械震动都会引起图像的剧烈
抖动，从而严重影响对视频的观察监视。
公共安全 航空航天 军事领域
动 对差和准则（SAD）、最小平均绝对差值准则（MAD）、 最小均方差 准则（MSE）和归一化相关函数。
估 计
以上几个公式中, fk （s,t）和fk+1 （s+i,t+j）分别是参考帧图像和 当前帧图像的相应位置的像素灰度值。 第一个 NCCF 值取最大时，
为最优匹配。 后三个匹配准则的值最小时，为最优匹配。
在搜索区域内，按照－定的匹配准则进行搜索并计算出匹配块 的位置，匹配块的初始位置和最终 的位置在水平和垂直方向上的差 就是相应的位移矢量。
一般传统的块匹配算法将图像分为 P×Q个子块， 分别对每个
子块进行块匹配，计算出每个子块的偏移量， 然后加权求和取平均 ， 结果就是整个图像帧的运动偏移量。
运 块匹配法-匹配准则 目前块匹配的准则有很多种，其中最为典型的匹配准则有：最小绝
了较深入的研究；日本和韩国对家用摄录机的稳定技术
也进行了研究和开发。
国内对电子稳像技术的研究依然处于初级阶段，目
wenku.baidu.com
前为止，只有中国科学院长春光机所和北京理工大学等
单位在这个领域有一定的研究，总体来说，电子稳像技
术解决复杂抖动依然不够成熟。
背 稳像图示： 景
(a)参考帧
(b)当前帧
(c)参考帧
(d)稳像后
抖动视频 运动估计
运动滤波
运动补偿 稳定视频
β kalman
波为为滤条、均主滤 。 常波的基值要波
用、运于滤有方 滤的最动样波：法
算 运动估计 法
原 理
算 全局运动参数计算： 法 一般采用六参数仿射模型对摄像机运动建模。当场
景中物体的相对深度变化和摄像机的焦距缩放都不太大
原 时，六参数仿射模型能够很好的描述摄像机的纯旋转、 摇镜头、平移运动，并且六参数仿射模型计算复杂度适
背 技术要求： 景 （1）高精度
（2）快速计算
（3）减少视频信息的丢失
（4）去除局部运动，准确估计全局运动也是一个难
题。前景，背景
（5）利用图像信息区分摄像机的晃动量和摄像机的正 常扫描运动 。
背 稳像系统框图： 景
全局运动估计是 为全局运动建立 数学模型并估计 模型的参数。
运动补偿是指根据运 动估计及运动平滑获 得的抖动参数重构视 频图像，重新生成一 个只存在摄像机主观 运动的稳定视频序列
运 灰度投影法：
动
对于图像灰度分布简单，视频中只存在平移类
估 的抖动时，采用灰度投影算法来稳像是最合适的， 此时它稳像精度高且算法处理速度非常快。
计
运 块匹配法 动 估 计
图像块匹配法假设图像的任一子块中的像素的运动情况都是相 同的。假设水平和垂直的方向上，摄像机载体的振动的幅度范围为
（ ± dxmax , ±dymax)，参考帧中待匹配的图像块的大小为M×N ，那么当前帧中块匹配的搜索区域范围为（M+ 2dxmax , N+ 2dymax ）
运 灰度投影法： 动 估 计
图：参考帧图像列方向投影数据曲线
图：当前帧图像列方向投影数据曲线
图：当前帧和参考帧的列相关曲线
对于一段视频，如果序列图像之间存在水平或者垂直方向上的 平移，其实反映在这两个曲线上的变化也是曲线的左移或者右移。 这样通过对当前帧的灰度投影曲线和参考帧的灰度投影曲线进行互 相关运算就可以计算出两帧图像间水平和垂直方向上发生的偏移量
背
稳像：消除视频图像的各种抖动。
景
光学稳像 机械式稳像 电子稳像
背
电子稳像
景
EIS（Electronic Image Stabilization）
电子稳像技术是一种对随机运动或抖动的摄像机所
获取的动态图像序列进行平滑补偿,使其平稳输出的技术
。 EIS技术的研究已三十多年历史，美国、法国、
俄罗斯等国家对电子稳像技术应用于军事方面已经进行
特征匹配法
也有一些在经典算法基础上改进后的新算法。
运 灰度投影法： 动 估 计
尽管视频序列帧之间存在着一定的几何变化和光照亮度的变化，但相邻
帧之间必然存在很大的图像重合区域，这个区域里图像的像素灰度信息分布
规律基本是一样的。
灰度投影就是建立在这样的前提假设之下， 此算法将图像在水平和垂直
方向上分别对每行和每列的像素灰度值进行累加， 这样对于这幅图像就会产
生两条灰度投影曲线，分别代表着这幅图像水平和垂直方向上的灰度分布规
律。
C o lk(j) C u rk(i,j)
C o lT o tk C o lk(j) /N C
C o lP ro jk (j) C o lk (j) C o lT o tk
其中式Colk(j) 为第k 帧图像第j 列的灰度值;Curk(i.j)是第k 帧图像 上(i,j)位置处的像素的值; N C 是列数; ColProjk(j)是第k 帧图像 第j 列修正后的投影值。
理 中、累积误差较小。六参数仿射运动模型和模型参数的 具体介绍如下：
式中：（a1,a2,a3,a4,a5,a6）为摄像机的全局运动参数；其中（ a1，a5）为缩放参数， （a2，a4）为旋转参数，（a3,a6）为平 移参数： （x,y）为参考帧的像素坐标： （x ’，y ’）为抖动视频当 前帧对应的像素坐标。
运
当前运动估计算法有：
动
灰度投影算法PA ( projection algorithm )
估
块匹配法BMA（Block Matching Algorithm
计
）
位平面匹配法BPM ( Bit plane matching )
代表点法RPM(Representative point matching)
算 参考帧的选取：
法
分为固定参考帧模式和相邻参考帧模式。
原
理
不需要实时更新参考帧图 像，这种参考帧选取方式 计算量小。不会带来累积 误差，算法的鲁棒性好。
缺点：随着摄像机的运动 ，图像也会发生变化，图 像的重叠区域慢慢减小。
最大程度地利用了图像的特 征信息，减少稳定帧的无定 义区域。
缺点：相邻参考帧棋式占 用很大的存储空间，计算 量增大，容易出现累积错 误。