视频图像抖动消除技术的研究与实现

图 2 图 像抖动及消除抖动位移
对于不同的帧绝对运动位移( AMV), 具体 的平移区域 如 表 1 所示。 表 1 消 除抖动位移的区域范围
AM V. X> 0
AM V. X< 0
AMV. X X: 0, Width- A MV. X X: - AMV. X, Width
>0
Y: 0, Height- mv. y Y: 0, Height- AMV. Y
关键词 视频图像 抖动消除 运 动估计
在一些需要对视频图像进行 动态分析和显示的 应用设备 上, 如监控系统、航海显示设备 、及个人摄 像机中, 经 常会因为 镜头 的抖动而影 响图像的 质量, 如 何消除 这些抖 动即图 像稳 定化变得越来越重要。过去曾经 采用一些物理设备 如速度传 感器, 滤镜等硬件设备进行图抖动的消除, 但这种方 法消除效 率低, 应用 环境有限; 现在逐 渐采用软 件方法 (主 要利用 图像 处理技术) 代替硬件设备进行消除图像抖动[ 1, 2] 。
纠正和补偿后, 得到 的才是比较稳定的视频图像。
图 1 一帧中的各宏块的块运动位移 求 帧 绝 对 运 动 位 移 ( AMV ) 的 过 程 是 由 块 运 动 位 移
二、数据分析:
求解运动 估计( BMV) 曾 在视频图像 编、解 码中有大量 的 应用。目前, 比较常用的块运动估计匹配算法有 全搜索运动估 计( FS ) 、两步 搜索 运动 估 计( TWSS ) 、三 步运 动估 计( TSS ) 、
AMV. X X: 0, Width- AMV. X X: - AMV. X, Width
< 0 Y: - AM V. Y, Height Y: - AM V. Y, Height
图 2( C) 为视频图像在抖动 位移消除后的示意 图, 由于图 像平 移, 在边界出现了“无图信息区域 ”, 如图中黑色区域。为 了保 证图像的质量, 又因为所有帧的 帧绝对运动位移( AMV) 都为 相对于 第一帧的 绝对运 动位移 (AMV) 都为 相对于 第一帧 的 绝对运 动位移量, 所以可 以将上一帧 相对区 域的图 像信息 作 为这一帧这一区域的图像信息。视频 抖动图像经过这一 步的
1. 000
DS 34. 1311
0. 195
28. 7503
0. 221
TF F 32. 6701
0. 131
26. 0119
0. 157
(b) 图 5 视频图像在处理前、后的运动位移矢量 为了更好的比较和分析几种 基于运动估计的视 频图像抖 动 算法 的 性能, 在 相同 试 验平 台 下 又加 入 了对 比 较常 用 的 Ship 视频( 如图 4) 消除 抖动的 处理, 同时也 采用基 于两步 搜
ຫໍສະໝຸດ Baidu
1[ fi-
fi- 1 ] 2
fi, fi- 1分别表示第 i 和第( i+ 1) 帧的像 素值
原 Announcer 抖动视 频和 Ship 视频 在处 理前和 经过 基
于不同运动估 计的算法处理后各 自的 PSNR 变化情况 如图 6
所示产, 其中( a) 和( b) 分别 为 Announcer 视频 和 Ship 视频 在
索运动估计( T WSSS) 、三步运动估计 ( TSS ) 、Diamond 运 动估
计 ( DS ) 的 消除图 像抖动 算法对 上述 两种视 频进 行处理 。用
PSNR 的值来评价消除抖动的效果, 其中 P SNR 定义是:
PSNR= Log10 255 MSE
N
∑ 其中 MSE=
1 N i=
和 Diamond 运动估计( DS) [。5] 本文 将上述四 种运动估计 匹配 方法应用到视频图像抖动消除 中, 并对消 除前、后的 视频图像 进行了比较和分析。
图 3 Announcer 视频 图 4 Ship 视频 我们 在 PC 机 上对 视频图 像抖 动消 除算法 进行 了实现, 实 现的平 台如 下: 操 作系 统: Windows XP ; 内存: 128M ; CP U 主频: 800M。首先采用基于全搜索运动估 计( F S) 的 抖动消除 算法 对比较常用的 Announcer 视 频( 如图 3) 进行消除图 像抖 动的处理。Announcer 视频帧数为 20, 块运动估计匹配块大小 为 8* 8, 搜索区域为 15X15。原抖动视频和处理以后的视频分 别在 X 方向和 Y 方向的 运动 位移矢 量如 图 5 所 示, 其中 ( a) 表 示原始 图像与 抖动消 除后 X 方 向的运 动位 移矢 量, ( b) 为 原始图像与抖动消除后 Y 方向的运动位移矢量。从图中可以 看出视频图像抖动位移矢量绝对 值在处理后比处理 前有明显 减少, 这说明视频图像中的抖动有明 显的改进。计算得知, 在 处理前 抖动位移 X 方 向的平均 值为 2, 在 抖动消除后 X 方向 的平 均值为 0. 25, Y 方向在 处理前 的平均值 为 2. 45, 在 处理 后的平均值为 0. 5。
( a)
好。上述两视频在经过消除抖动后的平均 P SNR 和消除 抖动
时间可见表 2:
表 2 视频图像在不同算法处理后的平均 P SNR 和处理时间
Announcer Video
Ship Video
算法 平均 P SNR 相对编码时间 平均 PSNR 相对编码时间
FS 34. 5617
1. 000
30. 4576
参考文献
[ 1] 飞 思 科 技产 品 研 发 中 心. Java T CP/ IP 应 用 开 发 详 解 [ M ] . 北京: 电子工业出版社, 2002.
[ 2] [ 美] Ivor Hor ton. Java 2 编程指南( SDK 1. 4 版) [ M] . 李 昭智, 王哲 明, 王红广等译. 北京: 电子工业出版社, 2003.
处理前和处理后 PSNR 的变化情况。
( a ) Announcer 视频在处理前、后的 PSNR
图 6 ( b) Ship 视频在处理前、后的 PSNR
从上图中可以看出基于全搜索运 动估计的抖动消除 算法
的 PSNR 值最高, 原视频图像的 PSNR 值最低, 这说明视频图
像在 基于 全搜索 运动 的抖动 消除 算法 处理 后的 视频 质量 最
图像, 使之回还原到 原稳定位置, 如图 2( C) 所示。
一、视频图像抖动消除算法:
视频 图像抖动消 除的过 程可分 为三个 步骤: 求解块 运动 估计( BMV) , 求帧绝对 运动位 移( AMV) , 及消除 干扰位 移和 补偿过程[ 2] 。
求解块运动估计的过程是视 频图像一帧中某一 宏块在相 邻帧中寻找最优匹配块的过程。在求解过程中, 块运动估计匹 配方法因具有运算简单, 运算次数少等优点而被广泛应用。在 块 运动 估计 匹配 算法 中, 把每 帧图 像分 成 M * M 大 小的 宏 块, 并假定每个宏块内的像素都相同的位移运动, 当前帧的 M * M 块在上一帧对应的宏块领域窗口搜索到与之最匹配的宏 块, 当前块与 匹配块的 相对位移就 是这个 宏块的 相对运 动矢 量, 即块运动位 移( BMV) 。图 1 表 示了一帧 图像中各个 宏块 的运动位移情况。
Micr ocom puter Applications Vol. 20, No. 12, 2004 技术交流 微型电脑应用 2004 年第 20 卷第 12 期
视频图像抖动消除技术的研究与实现
朱 磊 ¹ 夏雨人º
摘 要 本文详细说明了基 于块运动估计匹配 算法的视 频图 像抖动消除 原理, 并对基于不 同运动 估计的 视频图 像抖 动消除算法进行了研究和实现。
……
四、服务器的运行
我们在 对应的 工程下 设置一 个带有 网页文件 的 html 目 录。编译好各 类后, 在 命令行中 输入: java webserver , 启动 服 务器, 然后 在浏览器的地址栏 输入 http: / / webnam e: por t/ 浏 览访问我们预置的网页。
五、结束语
( BMV) 计算帧全局运动 位移( GM V) , 而后得到帧绝对运动位 移( AMV) 的过程。这里的块运动位移( BMV) , 是相邻两帧帧 中某一宠 块的相对运动位移, 帧全局运动 位移(GMV)是 相邻 两帧的帧 相对位移, 帧 全局运动位移( GMV) 作为某一帧 相对 与第一 帧的绝对位 移量, 可以作为参 数进行 下步消 除干扰 位 移和补偿的操作。
…… public static void main ( St ring[ ] args) thr ows IOException { Server Socket server = new ServerSocket ( 8888) ; / * 创建一个监听 8888 端口听服务器套接字* / while ( tr ue ) { Socket client = server. accept ( ) ; / * 等待一 个连接, 如果 该连接 未被创 建, 本 方法阻 塞当 前线程。返 回值是一个 Socket 对象, 服务器 程序利用这 个对 象与连接的客户通信。
WebSer ver WebSer ve = new WebServer ( client ) ; / * 创 建一个 WebSer ver 类的 对象* /
ReT hr ead r eThead = new ReT hr ead ( Webser ver ) ; / * 建立新线程* /
r ethread. star t ( ) ; / * 新线程启动* / } } }
消除干扰位移和补偿的过程进根 据上一步求得帧绝 对运
动位移( AMV) 平移图像并进行补偿的过程。图 2( a) 为视频图 像的前一帧, ( b)为后一帧, 从(b)中可 以看出后一帧相对 于前 一 帧有“右上”方向 的抖动 位移( AMV. x > 0 且 AM V. y< 0。 消除干扰移动即根据帧绝对运动位移 的相反方向平移后 一帧
在这个设计 中, 利用了 java 网络编 程和 java 多线程的 特 性开发 了 HTT P 服 务器原 型, 并且利 用了 线程 的重用 性, 提 高了运行效率。为了增强服务器的可维护性和可扩展性, 本文 把 HTT P 协议 的分析 过程分 解到 不同的 流中 以及把 对请 求 处理分配给不同的支持类来完成。在实际运行时状态稳定、良 好。对于这个设计, 很容易在它的基础上进行扩 展并构建成功 能强大的服务器。而 Java 语言也必将进一步融 入到因特网应 用的方方面面。
T WSS 30. 7295
0. 126
23. 7659
0. 143
从 表 2 中可知, 采用基 于不同的 运动估 计的算 法在消 除
图像抖动质量方面差别不是很大, 例如对 Announcer 视频, 分
别 经 过 四 种 方 法 处 理 后 的 平 均 P SNR 值 分 别 为 34. 5617
¹ 朱 磊 上海交通大学软件学院 硕士研究生 上海 200240 º 夏雨人 上海交通大学软件学院 教授 博士生导师 上海 200240
·38·
Micr ocom puter Applications Vol. 20, No. 12, 2004 技术交流 微型电脑应用 2004 年第 20 卷第 12 期
( F S) ,
( 下转第 55 页)
·39·
Micr ocom puter Applications Vol. 20, No. 12, 2004 技术交流 微型电脑应用 2004 年第 20 卷第 12 期
WebF ile 该类实现了 WebPr ocessor 接口, 用于处理静态 文件资源 的 get 和 head 请求。 Web CG I 该类实现了 WebPr ocessor 接口, 用于处理 CGI 程 序。 WebExcept ion 该类 是 IOException 的 子类, 它 用于把 HTTP 错误返 回 到客户机。他实现 WebException 接口, 因此当在响 应客户机 请求而被 抛出时, 他 能够发送一个 适当的 HT TP 错误信 息到 客户机。 下面是这个设计的部分代码: