利用H_264中运动矢量实现运动目标检测
H.264总结
帧内预测:原理:用周围邻近的像素值来预测当前的像素值,然后对预测误差进行编码。
优点:对I帧的编码是通过利用空间相关性而非时间相关性实现的,这样可以极大提高压缩效率。
帧间预测:特点:同样是使用运动估计和运动补偿来消除时间冗余,但具有5个不同特点:1.预测时所用块的大小可变;解释:由于基于块的运动模型假设块内的所有像素都做了相同的平移,在运动比较剧烈或者运动物体的边缘处这一假设会与实际输入较大,导致较大的预测误差,这时,采用减小块的大小可以使假设在小的块中依然成立(因为造成的预测误差较小)。
H.264可以采用7中方式对一个较大的宏块进行分割,每种分割方式得到的小块的大小和形状都不同,如此,使得编码器可以根据图像的运动情况选择较好的预测模式(即灵活选择分割方式)。
使码率节约15%。
(具体有哪7中?如16X16)2.更精细的预测精度;解释:在H.264中,Luma分量的运动矢量(MV)使用1/4像素精度。
Chroma分量的MV由Luma MV导出,由于chroma分辨率是Luma的一半,所有它的精度为1/8.使码率节约20%。
3.多参考帧(multiple reference frames);解释:H.264支持多参考帧,即1~5个的当前帧之前解码的帧可以作为参考帧产生对当前帧的预测。
这样做,改善了运动估计(ME)的性能,提交了错误恢复能力。
特别适用于含有周期性运动的情况。
使码率节约5~10%。
4.Deblocking Filter(抗块效应滤波器);解释:作用是消除经反量化和反变换后重建图像中由于预测误差产生的块效应(即块边缘处的像素值跳变),另外可以减少预测误差。
H.264中的Deblocking Filter还能根据图像内容做出判断,支对块效应产生的像素值跳变进行平滑,而对图像中物体边缘处的像素值不连续给与保留,以免造成边缘模糊。
不同之处:经过滤波后的图像将根据需要放在缓存中用于帧间预测。
5.SP Slice;整数变换H.264对帧内或帧间预测的残差(residual)进行DCT变换编码。
一种抗重压缩视频水印算法
116收稿日期:2018-10-29*基金项目:国家自然科学基金资助项目;湖北省自然科学基金项目。
作者简介:李聪颖(1994—),男,湖北武汉人,硕士,研究方向:多媒体信息安全。
1 算法概述随着多媒体技术和网络技术的发展,视频越来越容易被伪造和更改,在很多安全领域,不正当使用视频可能会造成严重影响。
因此,如何正确的认证视频和有效的保护视频版权成为了研究的热点,因此视频水印技术的应用也得到了广泛的关注[11]。
由于视频的数据量比较大,而为了方便传输与存储,需要对视频进行压缩编码处理。
常见的视频编码方式有MPEG-2,MPEG-4和H.264/AVC等。
其中,H.264/AVC的压缩率和编码效率比前两种的要有所提高,所以应用较为广泛[1]。
因此,基于H.264/AVC的压缩域视频水印算法也是研究较多的一个热点[16],而本文中介绍的方法也是基于H.264/AVC编码技术的。
在H.264/AVC规则下的视频水印算法一般分为三大类,第一类就是在DCT系数中嵌入水印,如文献[4]中,通过结合H.264/AVC 的帧内预测模式,在DCT系数中嵌入水印,这样一来,嵌入水印之后的作为预测块的像素是不变的,因此算法具有良好的性能。
文献[5]中通过不同宏块之间DCT系数残差值和预测值之和的能量保持关系来取得特征,再通过修改DCT系数符号特征来实现水印的嵌入,实验表明此方案可以抵抗多种攻击。
文献[10]中,提出一种基于I帧色度量化残差系数的视频水印算法,根据4*4子块中的非零量化DCT 残差系数选择合适的子块,水印嵌入位置则是色度子块,水印嵌入的方法是结合Arnold置乱后的水印,通过调制其中一个非零量化DCT残差系数来改变相邻位置系数的大小关系来进行嵌入水印操作,具有稳定的抗重压缩能力。
第二类是在运动矢量中嵌入水印,如文献[6]中,在P 帧和B 帧中的运动矢量残差(Mo ti on V ec to r Difference, MVD)的最低有效位上,结合运动补偿技术,进行水印嵌入。
H.264视频压缩快速运动估计算法--DCS算法
H.264视频压缩快速运动估计算法--DCS算法
H.264 是现有最重要数据压缩编码国际标准之一。
快速运动估计算法一直是视频压缩中的研究热点。
本文针对一些快速估计算法过早确定了搜索方向,容易陷入局部最小点,损失了搜索精度的情况,在原有基础上,运用菱形十字搜索算法(DCS)与阈值估计相结合的方法提高了运动
估计的性能。
实验结果表明,该算法可以用较小的搜索代价取得与全搜索(FS) 相当的效果,并且在搜索速度方面优于钻石法DS)。
0 引言
H.264 采用了减少视频1 运动估计算法分析
1.1 钻石搜索(DS)算法
DS 算法即钻石搜索算法,被MPEG-4 国际标准采用并收入验证模型
VM(Verification Model)中,是MPEG-4 建议采用的快速运动估计算法。
DS 算法采用了两种搜索模板,分别是有9 个检测点的大模板和有5 个检测点的小模板。
搜索时先用大模板LDSP 在搜索区域中心及周围8 个点处进行匹配计算,当最小块误差出现在中心点处时,将大模板LDSP 换为SDSP,再进行匹配计算,这时5 个点中的MBD(Minimum Block Distortion)即为最优匹配点;否则,改变中心位置,仍用LDSP 重复计算。
1.2 菱形十字搜索(DCS)算法
菱形十字搜索算法(DCS)算法是在DS 算法基础上改进而来,DCS 的匹配模板是建立在两种不同的搜索模板之上的,即大菱形十字型(LDCSP)和小菱形十字型(SDCSP),如DCS 算法在进行运动估计匹配运算时,有三种可能的情况:
(1)若MBD 点位于LDCSP 中心位置,说明(2)若MBD 点位于LDCSP 小。
基于运动检测与H.264的智能监控系统设计与实现
( )开始 编码 3
s t t no e X 6 一 aa — p r cio t t i i cd ( 2 4 p rm t aa l p ac n E m, —
t ot 。 p)
对需 要 的参 数进 行 初 始化 后 , 造一 个 图像 帧 构 的初 始化 空 间 , 入 f 循 环 , 进 0 r 开始循 环编码 J 。
13 网络 传 输 方 案 .
摄 像 机 .
\
小 型
机 网络 设 备 客户 端 主 机
/ \
目
由于视 频 数据 要 求较 高 的实 时性 , 因此 本 系统 的视频数 据传 输 选 用 运行 在 U P协 议 之 上 的 R P D T 协 议来 完 成 。实 时 传 输 协 议 R P R a—m rn— T ( elieTas t prPo c1是专 门为 多媒 体 数据 的实 时传 输 而设 ot rt o) o 计 的传输 协议 , 具备 配 套 的 R C T P传 输 控 制 协 议 提 供 控制 与 Q S服务 。 o 服务 器 端 收 到客 户端 发送 的视 频请 求 后 , 对视 频 帧进 行 X 6 24编 码后 , X 6 将 24码 流 送 人 R P库 , T R P库将 其复 用到 R P分组 中 , T T 每个 分 组均 被 赋 予
端 主机 发送 编码后 的视 频 流 , 户端 主机 对接 收到 客
的视频 流进行 存 储 、 码 、 动检 测 标 识 、 时播 放 解 运 实
个连续 的编号 (e un en m e) 这 些 R P分 组 sq e c u b r , T
与 回放 等 , 图 2所示 。 如
l l 设备上电与初始化 山 客户端与服务器端建立通信
H.264视频编码标准分析和算法优化
H.264编码标准的分析和算法优化一、研究背景:随着社会的不断进步和多媒体信息技术的发展,人们对信息的需求越来越丰富,方便、快捷、灵活地通过语音、数据、图像与视频等方式进行多媒体通信已成不可或缺的工具。
其中视觉信息给人们直观、生动的形象,因此图像与视频的传输更受到广泛的关注。
然而,视频数据具有庞大的数据量,以普通的25帧每秒,CIF格式(分辨率为352×288)的视频图像为例,一秒钟的原始视频数据速率高达3.8M字节。
不对视频信号进行压缩根本无法实时传输如此庞大的数据量,因此,视频压缩技术成为研究热点。
随着近几年来视频图像传输领域的不断扩展,以往的标准己经难于适应不同信道的传输特征及新兴的应用环境。
为此,ISO/IEC&ITU-T共同开发了最新视频编码标准H.264/AVC。
相对以前的视频编码标准,H.264集成了许多新的视频压缩技术,具有更高的压缩效率和图像质量。
在同等的图像质量条件下,H.264的数据压缩比是应用于当前DVD系统MPEG-2的2~3倍,比MPEG-4高1.5~2倍,并且具有更好的网络友好性。
但是H.264高压缩比的代价是编码器计算复杂度大幅度地提高。
因此在保持编码效率几乎不变的同时尽可能提高编码速度是H.264/AVC视频编码标准能否得到广泛应用的关键。
在上述研究背景下,本文深入探讨了H.264/AVC标准,分析了编码器主要耗时模块的工作原理,提出三种降低H.264/AVC高计算复杂度的优化算法――快速帧内预测模式选择算法、快速帧间预测模式选择算法以及快速运动估计算法。
实验结果表明:本文所提快速算法都可大幅度地降低H.264编码器的计算复杂度,并且保持基本不变的编码效率。
二、新一代视频编码标准H.264简介:编码标准演进过程:H.261 MPEG-1 MPEG-2 H.263 MPEG-4从视频编码标准的发展历程来看,视频编码标准都有一个不断追求的目标:在尽可能低的码率(或存储容量)下获得尽可能好的图像质量。
从h.264压缩码流提取运动对象的一种方法
l 概述
视频对象分割是从视频序列帧 中分离出具有一定意义 的 实体 。近年来随着智能视频监 控系统、 目标识别 、视频数据
MR F的后验概率标记出属于运动对象的块 , 但这种 方法只局
限于静态背景 的序列 。
2 算法概 述
本文提 出的 h2 4压缩域内的运动视频对象 分割算法无 .6
第3 卷 第 1 期 6 9
VL o 36
・
计
算
机
工
程
21 0 0年 1 O月
Oc o r 2 0 t be 01
No1 .9
Co u e g n e i g mp t rEn i e rn
多媒体技术及应用 ・
文 编 l 3 8 0 )_ 2 — 2 文 标 : 章 号: o 4 ( l 1 _ 3 0 0 22 o9 0 2 献 A
s g n e l wih u e o i g v d o c mp e s d s e m. e me t d we l t o td c d n i e o r s e t a r
| y r s o rse o i; vn bete mett n moinvco cmua o Ke d ]c mpesdd ma mo igojcsg na o ; t etr cu lin wo n i o a t
在压缩域中,研究视频对象分割的方法 不是很多 。基于 压缩域的分割方法 ,由于基于 的不是像 素而是对象宏块,因 此在很大程度 上能够减少计算 的复杂度 ,提高分割对象 的实
时速度,但 是同时也降低 了分割的精度。在 MP G压缩域可 E
பைடு நூலகம்圈 1 系统算法框 图
3 运 动 向量处理
H.264整像素运动向量搜索算法的FPGA实现
堡呈曼鲤复夔量鲤鲠…
文 章编 号 :0 2 8 9 (0 7S — 0 6 0 10 — 6 2 2 0 )1算法的 F G 6 P A实现 ・ ・ 论 文
陈 镇 ,葛 军 ,周 起 勃
( 国科 学院 上 海技 术 物 理 研 究所 ,上 海 2 0 8 ) 中 0 0 3
【 摘 要 】 通 过 比较 几 种 常 用 的整 像 素 向 量 搜 索算 法 , E Z 以 P S算 法 为基 础 , 入 一 种 适 合 硬 件 实 现 的 H. 4 整 像 素 向量 搜 索 算 引 2 6
C E hn E Jn HO ib H N Z e,G u ,Z U Q- o
(hnh iIstt o eh ia P yi ,C ieeAcd m cecs h g a 0 0 3 hn ) S ag a ntue f Tc ncl hs s hns ae y o S ine,S a h 2 0 8 ,C ia i c f n i
u e l o t ms T e ag r h i ma n y b s d o P S F rt , s a c a tr s a e s lc e r m P S a tr c n i e n h i s d a g r h . h l o t m s i i i l a e n E Z . i l sy e r h p t n r e e td f e o E Z f o s r g t er e di me r n i ei e r q i me t S c n l, te s l t n u e o a y t — e r d co , a d a r n e h m n o d r b h i mo y a d p p l e u r n e n. e o dy h o ui s s s me e s - o g t p e i tr o s n ra g s t e i r e y t er c reai n wi u e tmoi n v c o .T e d sg s i lme td o P o l t t c r n t e t r h e in i mp e n e n F GA 2 0 0 o l x a d s l e h r b e o a d o h o XC V3 0 f Xi n n ov s te p o lm f h r — i w r i n h c s g n r t d b i ei e d ly h e e p r n a r s l r v h ti c n g i i l r P NR a d b t r t o a e wat g w i h i e ea e y p p l ea .T x e me t l e u t p o e t a t a an smi S n i ae c n— i n i s a —
基于H.264压缩域的运动目标检测算法
基 于 H 24压 缩域 的运 动 目标 检 测 算 法 :首 先 ,从 压 缩码 流 中提 取 原 始 运 动 矢 量 场 ,采 用 中值 滤 波 法滤 _6
除运 动场 中 由噪 声 引起 的运 动 矢量 ;再利 用从 压 缩码 流 中提 取 的宏 块 分 割 类 型 初 步排 除 一 些 分 块 较 大的 伪 运 动 块 ;然
Ke wo d moigo jc d t t n:H. 6 :cmpesdd man y rs vn bet ee i co 2 4 o rse o i
运 动 目标 检测 、提取技 术是 随着数字 视频 技术 的 发展 而产生 的一种新 的研究领 域 ,通 过对视 频流 中运 动 目标 的检测及 提取 ,进而达 到视频 检索 、智 能视频
w t d pi rsod Fn l ,teac rt vn bet s e onzdu igtefaueo emakdmoigr— i a a t et eh l. ietr fh re vn h v h y e n h t e
近年来对压缩 域 的运动 目标 检澳 算法 尚处 于研究 0
发展 阶 段 ,针 对 运 动 矢 量 ( MV) 和 离 散余 弦 变 换 ¨
( i rt C s eTas r D s e oi rnf m,D T 系数 c e n o C) 。运动矢量
F rty, moin fed n co lc att ntp r xrce rm h o rse ie isl to lsa d ma rb o k p rio y ea ee ta td fo te c mp e sd vd o, i ih t en iey s i i n whc h os e ・ tr r e v d b d a i e , a d s mefk vn lc r x ld d. T e o sa er mo e y me in f tr n o a emo i gb o k a ee cu e l h n, t emo i gr go r r e h vn e insa emak d
基于H_264压缩域的运动目标检测算法
图 1 H all- m on itor序列检测结
5
图像 编码与软件
武智霞, 等: 基于 H 264压缩 域的运动目标检测算法
精确度反映运动目标检测的准确程度, 精确度越高,
检测出 的 运 动 目 标 越 准 确, 反 之 亦 然。 式 ( 6 ) 中
R ecall表示分 割率, MBl 表 示检测中 丢失的 运动块。 分割率反映检测区域包含运动目标的程度, 分割率越
高, 检测 区域 中包 含对象 的程 度越 高, 反之 亦然。
4
武智霞, 等: 基于 H 缩域的运动目标检测算法
图像 编码与软件
针对 H 264压缩域 码流的特点, 除利用了运动 矢量外, 将宏块分割类型考虑进去, 提出一种简单、 易于实现的运动目标检测算法, 适用于智能监控, 视 频处理等领域。
1 中值滤波
由于 H 264标准对宏块的分割采 用了 7种不同
对经过宏块分割类型预提取的运动宏块, 提出自 适应阈值运动矢量检测方法。当然, 由于检测单位小, 在背景上具有相对复杂纹理的区域或者经中值滤波后 未被滤除的运动矢量也将被检测出来。针对这一点, 进一步对检测出的运动矢量进行分析。发现运动目标 的运动矢量相对集中且模值较大, 而背景上的运动矢 量分散且模值较小。由此, 设定自适应门限, 再次对 检测出的运动矢量进行搜索, 最终提取出运动目标。
实验中, 只对 P 帧的宏块进行分析, 检测过程如下: ( 1) 以归一化的 4 4 子块为单位, 求运动矢量 的模值
H.264块匹配运动估计中UMHexagonS算法的优化
UMHexagonS 算法中,阈值的确定依据两个因素:当前的量化
参数(QP)和先前块的运动编码代价(MCOST)信息,而在 ET
设计中,ET 操作被用于不同的搜索步骤后:(1)所有搜索点预
测之后;(2)非对称十字菱形之后;(3)5×5 的正方形搜索之后;
(4)非均匀多层次六边形格点搜索之后。当一个 ET 条件被满
进 。因此在 UMHexagonS 算法中,根据文献[8]提出的运动象
限分布区域(图 2),将多层次六边形网格搜索模板(图 3)划分
YE Wenlong,YUAN Youwei,WANG Shiyu,et al.Optimization of UMHexagonS on block matching motion estimation algorithms in puter Engineering and Applications,2011,47(25):133-136.
基金项目:国家自然科学基金(the National Natural Science Foundation of China under Grant No.60871007);浙江省自然科学基金(No.Y6090312)。 作者简介:叶文龙(1983—),男,硕士研究生,研究方向为视频技术处理;袁友伟(1964—),男,教授;汪世瑜(1986—),女,硕士研究生;周成武
般取 A=0.9,B=0.3。
3.2 运动矢量象限搜索的加入
UMHexagonS 算法中主要部分是使用了六边形搜索算
法,包括非均匀多层次六边形网格搜索模板和扩展的六边形
搜索,非均匀多层次的六边形网格搜索点的数目为 N=16×4=
64,扩展的六边形的搜索数目为 M=7+3×n+4。此处的多层次
H.264JM模型中运动估计算法及改进方案
第12卷 第10期2007年10月中国图象图形学报Journal of I m age and GraphicsVol .12,No .10Oct .,2007收稿日期:2007207205;改回日期:2007207225第一作者简介:郑振东(1984~ ),男。
上海师范大学通信与信息系统专业硕士研究生。
主要研究方向为H.264编解码实现和运动估计。
已获专利一项。
E 2mail:dongdongt oyou@H .264JM 模型中运动估计算法及改进方案郑振东王 沛应 骏(上海师范大学,上海 200234)摘 要 J M 模型是JVT (j oint video tea m )发布的H.264标准测试模型,对算法学习和研究有着重要的意义。
根据J M 测试模型的参数设定,其中的运动估计算法有3种可选模式。
本文结合J M10.2的源代码对UMHexagonS 算法进行了分析,并对该算法进行改进,能够在保证视频序列各分量信噪比的情况下缩短运动估计的耗时。
本文利用UMHexagonS 算法的准确预测以及运动估计代价的相关性来设置阈值达到提前结束搜索的目的。
在J M10.2的测试模型上进行了算法验证。
实验结果表明,利用块与块之间运动估计代价的相关性,在保证编码性能的同时,可以减少运动估计所需时间的10%以上。
关键词 H.264 运动估计 UMHexagonS 算法 J M 测试模型中图法分类号:TP37 文献标识码:A 文章编号:100628961(2007)1021798204H .264M oti on Esti m a ti on A lgor ith m i n J M M odel andIts I m prove m en t ProgramZHENG Zhen 2dong,WANG Pei,YING Jun(Shanghai N or m al U niversity,Shanghai 200234)Abstract J M is the standard test model published by j oint video tea m (JVT ),which has great significance in algorith m learning and research .I n J M ,there are three op ti onal modes by setting para meters differently .Based on the study of the p rinci p le of the UMHexagonS algorith m,an i m p r oved method is p r oposed t o reduce the ti m e of moti on esti m ati on with m ini m al l oss in bitrate and reconstructed quality compared with those of the original UMHexagonS algorith m.Correlati on bet w een adjacent bl ocks is used t o end the search .I n J M10.2,results show that the i m p r oved UMHexagonS algorith m can reduce the ti m e of moti on esti m ati on with the original perf or mance of the original UMHexagonS algorith m.Keywords H.264,moti on esti m ati on,UMHexagonS algorith m,J M test mode1 引 言在H.264的三大开源编码器中,J M (j ointmodel )是JVT (j oint video tea m )的官方测试源代码[1],J M 实现了H.264所有的特性,由于是官方的测试源码,所以学术研究的算法都是在J M 基础上实现并和J M 进行了比较[2]。
复杂背景下H.264压缩域运动目标检测算法
F rt , t er v dtemo ig v co s( isl i rt e e h vn e t r MV)a d teitrp e it n mo e fie t a y i n h ne-r dci d so ni l4×4 px l lc n Pfa s o d c iesb o k i me r a detbih sGa sinmitr d l GMM)o ep a eo n s l e u s xuemo e ( a s a ft h s f h MVsa a k r u d a dte rae r o a d m sab c g o n , n nce tdMak vrn o h
A src: o e up s f bt cn vn bet f m .6 /V ise m drcl a vn bet dtc o b tat F rh roe sat gmo igojcs r H 24A C btt a i t . igojc eet n t p oa r i o r e y mo s i
rb sl o lxe vrn n n ep e iina drc lh s mpo e 0 a d35 b o tat t et dt n l o u t i c mpe n io me t dt rcs e al a r v d2 % n .% yc nrs ht a io a yn a h o n i wi h r i
第 3 卷第 3 2 期通 Nhomakorabea信
学
报
V 1 2 O . N o3 3 .
M a c O1 rh2 l
J r a n Co m u ia i n ou n l m o nc t s o
复杂背景下 H.6 2 4压缩域 运动 目标检 测算法
H.264编码原理
H.264通信1012 严亮 1020119208 一.原理H.264是一种高性能的视频编解码技术。
目前国际上制定视频编解码技术的组织有两个,一个是“国际电联(ITU-T)”,它制定的标准有H.261、H.263、H.263+等,另一个是“国际标准化组织(ISO)”它制定的标准有MPEG-1、MPEG-2、MPEG-4等。
而H.264则是由两个组织联合组建的联合视频组(JVT)共同制定的新数字视频编码标准,所以它既是ITU-T的H.264,又是ISO/IEC的MPEG-4高级视频编码(Advanced Video Coding,AVC),而且它将成为MPEG-4标准的第10部分。
因此,不论是MPEG-4 AVC、MPEG-4 Part 10,还是ISO/IEC 14496-10,都是指H.264。
H.264最大的优势是具有很高的数据压缩比率,在同等图像质量的条件下,H.264的压缩比是MPEG-2的2倍以上,是MPEG-4的1.5~2倍。
举个例子,原始文件的大小如果为88GB,采用MPEG-2压缩标准压缩后变成3.5GB,压缩比为25∶1,而采用H.264压缩标准压缩后变为879MB,从88GB到879MB,H.264的压缩比达到惊人的102∶1!H.264为什么有那么高的压缩比?低码率(Low Bit Rate)起了重要的作用,和MPEG-2和MPEG-4 ASP等压缩技术相比,H.264压缩技术将大大节省用户的下载时间和数据流量收费。
尤其值得一提的是,H.264在具有高压缩比的同时还拥有高质量流畅的图像,正因为如此,经过H.264压缩的视频数据,在网络传输过程中所需要的带宽更少,也更加经济。
H.264和以前的标准一样,也是DPCM加变换编码的混合编码模式。
但它采用“回归基本”的简洁设计,不用众多的选项,获得比H.263++好得多的压缩性能;加强了对各种信道的适应能力,采用“网络友好”的结构和语法,有利于对误码和丢包的处理;应用目标范围较宽,以满足不同速率、不同解析度以及不同传输(存储)场合的需求。
华为VME+H.264 HP双核处理技术白皮书1.1
HUAWEI VideoConference WhitePaperVME+H.264HP : 为您提供“双核”视频体验1.概述高清视频通信的广泛应用及其背后的巨大市场前景,积极推动视频压缩、传输技术的发展。
从标清到高清,从高清到低带宽高清,华为依托强大的研发能力及技术优势,长期专注的视讯发展定位,持续为客户提供最优体验,最具性价比的视讯解决方案。
目前视频通信业界普遍采用H.264 Baseline Profile编码,主要基于其算法简单,硬件实现成本低,但在现有的网络环境中,使用H.264 BP构造高清(HD)视频会议系统所需要的带宽及网络适应性也一直为客户所关注。
H.264 HP(High Profile)编码标准可以有效解决上述问题,华为从未停止对H.264 HP的产品化研究,一直致力于为客户提供最具性价比的H.264 HP解决方案,并最终推动整个视频通信领域发展。
在未来的视频会议场景中,每个屏幕上的图像分辨率至少为1920×1080,假设帧频为30帧/秒,采用4:2:0格式,未经压缩前的码率可以达到746Mbit/s,如果直接在现有的信道中传输,需要有相当大的带宽,为了能在较低带宽下达到使用效果,且不丢帧,则必须对图像进行高度压缩,必然会带来图像的高损伤。
后处理增强技术就是为了消除在高损伤视频压缩下图像的负面效果,采用自适应滤波及清晰化的方法,来改善画面质量、提升观赏质量和视觉效果。
本白皮书概括性的阐述华为视频H.264 HP解决方案,及配套华为自主知识产权的创新性视频处理技术VME(Video Motion Enhance)。
1.1.H.264 High Profile编码H.264是ITU-T的VCEG(DS视频编码专家组)和ISO/IEC的MPEG(活动图像编码专家组)的联合视频组(JVT:joint video team)开发的一个新的数字视频编码标准。
H.264有四种画质级别,分别是BP、EP、MP、HP:1)BP-Baseline Profile:基本画质。
基于H.264视频压缩域运动矢量的目标跟踪
中图分类号:TP391.41
文献标识码:A
文章编号:1673-1131(2016)09-0021-02
视频目标跟踪在视频分析、视频检索、行为理解等方面的 应用日益广泛。根据操作域的不同,目标跟踪分为像素域跟 踪算法和压缩域跟踪算法。常用的像素域跟踪算法有均值漂 移算法、粒子滤波、卡尔曼滤波、光流法等。像素域内没有直 接的运动信息,而且像素域算法需要将视频完全解码,所以这 类算法计算量大,难以实时。压缩域算法对视频码流部分解 码可得到运动矢量(MV)和 DCT 系数,都包含运动信息,使得 压缩域算法更有优势。例如,Liu 和 Sun 等[1]在 H.264 压缩域 中根据 DCT 系数和 MV 得到每个宏块的运动轨迹,然后在空 域将所有宏块的轨迹合并得到目标的运动轨迹。Yokoyama 等[2] 在检测出每帧运动目标的基础上,将相邻两帧的目标通过 MV 对应起来,得到运动轨迹。Dong P 等[3]用 DCT 系数、预测模式 和 MV 分割出目标,然后在当前帧分割出一个或多个目标的 情况下,与上一帧的目标进行匹配从而完成跟踪。
2016 年第 9 期 (总第 165 期)
信息通信
INFORMATION & COMMUNICATIONS
2016 (Sum. No 165)
基于 H.264 视频压缩域运动矢量的目标跟踪
郭楚瑜 (中南民族大学 电子信息工程学院,湖北 武汉 430074)
摘要:目前,目标跟踪算法大多在像素域进行,即先将视频解码成图像,再用像素域的方法计算,但像素域算法复杂度高、
么 BmK 与 K 帧中目标块的重叠面积 Sall 的计算见式(1)。
(1)Leabharlann Sall 的范围为 [0,16]。需设置阈值 t 来判断 K+1 帧中的块
利用H_264中运动矢量实现运动目标检测
2 运动速度估计与双阈值目标切换
在景深可忽略的场景中, 知道了拍摄高度, 可 视角以及运动目标的运动矢量, 就可估算目标运
动速度. 估算原理如公式 ( 5)所示:
W = 2D tan( /2)
Jiang Zhe
( Schoo l of E lectron ics and In form ation Eng ineering, Beij ing U n iversity of A eron aut ics and A s tronau tics, B eijing 100191, Ch ina)
1帧内 (m, n )位置像素点的亮度值; ( i, j )为偏移
量; M 和 N 为块的水平和垂直像素数; 为残差块
的绝对值.
当式 ( 3)中左边取值最 小时, 表示两个子块 匹配, 此时的 ( i, j)被认为是该块的位移值也即运 动矢量 [ 9- 11] .
H. 264帧间编码过程中计算所得的运动矢量
1 运动信息
对视频图像而言, 运动信息包含在帧与帧之 间的像素变化中. 由于摄像头运动、目标运动、光 源变化等因素, 帧间像素会发生相应的位置变化. 在许多连续非跳变的场景中, 两帧间的相关性非 常强, 对应像素间的位移很小.
运动信息可以通过运动估计来获得. 用 d ( x, y, t1, t2 )来描述视频帧 I ( x, y, t1 )与 I ( x, y, t2 )间 某一对应 像 素区 域的 位移, 根 据 公式 ( 1 ) 可将 I^( x, y, t1, t2 ) 视为由 I(x, y, t1 )变形后得到的 I( x, y, t2 )的近似.
第 2期
丁文锐等: 利 用 H. 264中运动矢量实现运动目标检测
H.264中运动矢量特征分类的快速运动估计算法
H.264中运动矢量特征分类的快速运动估计算法
张鹏;郭宝龙
【期刊名称】《计算机工程》
【年(卷),期】2006(032)019
【摘要】提出了一种应用在H.264中的快速运动估计算法(TAMV).该算法根据运动矢量自身特性,将宏块分为3种运动类型:大运动快,中等运动块和小运动块.对每类宏块自适应地选择一种或者几种编码模式进行预测,有效地减少了由7种宏块(亚宏块)模式所引起的计算量;同时选用精确而且快速的方向性菱形模板,对不同的模式采用不同的搜索策略.实验分析表明,该算法搜索精度接近于全搜索算法,而搜索时间只为全搜索算法的5.4%~10.5%.
【总页数】3页(P230-232)
【作者】张鹏;郭宝龙
【作者单位】西安电子科技大学机电工程学院,西安,710071;西安电子科技大学机电工程学院,西安,710071
【正文语种】中文
【中图分类】TP37
【相关文献】
1.一种利用预测运动矢量改进的H.264快速运动估计算法 [J], 郭继昌;邱琳耀;张雪
2.H.264中快速运动估计算法及其架构 [J], 李国玉
3.一种H.264/AVC中的快速运动估计算法 [J], 段青青;宋学瑞
4.H.264中快速运动估计算法的一种改进方案 [J], 蔡自兴;蒋冬冬;谭平;安基程
5.H.264/AVC中快速运动估计算法研究 [J], 付金良;张佳申
因版权原因,仅展示原文概要,查看原文内容请购买。
H.264编码器中亚像素运动估计的硬件实现
H.264编码器中亚像素运动估计的硬件实现引言运动估计就是在帧间预测时设法找到当前帧的像素(或一般在实际应用中,运动估计普遍采用分级搜索算法:首先在搜索区内找到最佳整像素运动矢量,再在整像素最佳匹配点下寻找最佳1/2 匹配点,得到半像素精度的运动矢量,接着在该半像素精度最佳匹配点周围进行1/4 像素点搜索,得到1/4 像素精度最佳匹配点以及相应的运动矢量。
由于分像素运动估计运算量大,很多学者对分像素运动估计从算法上进行优化,提出了很多快速搜索算法,减少搜索点数目以达到降低运算复杂度的目的。
本文就是基于这个目的,在块匹配算法的基础上,提出了一种1/4 像素精度的亚像素运动估计的硬件实现方法。
在整像素运动估计的基础上用10 乘以10 整像素阵列实现半像素精度和1/4 像素精度的最佳匹配点搜索,在空间上具有更高的并行度,硬件实现简洁有效。
FME 的运动矢量帧间编码宏块中的每个块或亚宏块分割区域都是根据参考帧中同尺寸的区域预测得到的,它们之间的关系用运动矢量来表示。
H.264 对亮度成分和色度成分进行亚像素搜索时,两者之间的运动矢量是有差异的,对亮度成分采用1/4 像素精度,色度成分采用1/8 像素精度。
假定点H 是在整像素运动估计中找到的最佳匹配点,在此基础上再进行1/2 像素点的搜索,如点(bb,aa 等),如果MV 的垂直和水平分量为整数,参考块相应像素实际存在;如果其中一个或两个为分数,则参考块相应的亮度和色度像素并不存在,需利用邻近已编码点进行内插而得。
内插像素生成的步骤如下:首先生成参考b=round((E-5F=20G+20H-5I+J)/32) (1)类似的,h 由A、C、G、M、R、T 滤波得出。
一旦邻近(垂直或水平方向)整像素点的所有像素都计算出来,剩余的半像素点便可通过对6 个垂直或水平方向的半像素点滤波得到。
例如,j 由cc、dd、h、m、ee、ff 滤波得出。
半像素点计算出来后,在此基础上,1/4 像素点可通过线性内插得出,如1/4 像素点(如a、c、i、k、d、f、n、q)由邻近像素内插而得,如a=round((G+b)/2) (2)剩余1/4 像素点(p,r)由一对对角半像素点线性内插得出,如e 由b 和h 获得。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
对视频图像而言, 运动信息包含在帧与帧之 间的像素变化中. 由于摄像头运动、目标运动、光 源变化等因素, 帧间像素会发生相应的位置变化. 在许多连续非跳变的场景中, 两帧间的相关性非 常强, 对应像素间的位移很小.
运动信息可以通过运动估计来获得. 用 d ( x, y, t1, t2 )来描述视频帧 I ( x, y, t1 )与 I ( x, y, t2 )间 某一对应 像 素区 域的 位移, 根 据 公式 ( 1 ) 可将 I^( x, y, t1, t2 ) 视为由 I(x, y, t1 )变形后得到的 I( x, y, t2 )的近似.
中运动矢量包含的图像运动信息并分析运动估计原理, 提出了一种利用视频压缩中的运动矢
量信息实现运动目标检测的方法, 确立了 H. 264编码流中运动矢量与场景中物体运动状态的
对应关系. 将运动目标从背景中分离是检测算法的核心. 对于双门限值的设置, 可分离不同运
动速度的目标; 同时, 算法排除了背景运动的干扰, 因而可应用于摄像机运动的场合; 由于检测
1帧内 (m, n )位置像素点的亮度值; ( i, j )为偏移
量; M 和 N 为块的水平和垂直像素数; 为残差块
的绝对值.
当式 ( 3)中左边取值最 小时, 表示两个子块 匹配, 此时的 ( i, j)被认为是该块的位移值也即运 动矢量 [ 9- 11] .
H. 264帧间编码过程中计算所得的运动矢量
Key w ords: im age com pression; v ideo signa l processing; m ov ing ob ject recogn ition; tracking
收稿日期: 2009-01-14 基金项目: 航空基金资助项目 ( 2008ZC51029 ) 作者简介: 丁文锐 ( 1971- ) , 女, 辽宁鞍山人, 高级工程师, d ing@ bu aa. edu. cn.
现了像素块由相对摄像头运动到相对背景运动的
转化, 排除了摄像头的运动干扰. 利用二阶公式在
将阈值一维化的同时, 提高了对速度变化的敏感
度, 为阈值分割检测创造了条件. 以 C IF 格式图像
为例, 图 1为 M ( n )取值曲面, 其中公式 ( 4) 中的
dm = 0, x 与 y 输入为运动矢量 d ( n )两分量, 均取 正值.
Abstrac:t Considering the applicat ions of joint realization o f video com pression and m ov ing ob ject tracking, by studying the m ov ing info rm ation included in the m ot ion vector of the H. 264 v ideo coding internat iona l standard and ana lyzing mo tion estim ation principle, a mo tion vecto r based on m ov ing ob ject detecting techn ique w as proposed, and the relat ionship betw een the m otion vecto r and the m ov ing object w as set up. The key part of detect ing algorithm is to d iv ide m ov ing ob ject from background. By setting two threshes properly, the detected objects could be changed accord ing to the ir mov ing ve loc ity. As the d isturbance of background m ov ing e lim inated by the algorithm, it can be used in som e cases when the cam era ism oving. For mo tion vectors com e from H. 264 cod ing progress directly, the calcu lation com p lex ity is reduced, so it is easy to realize by hardw are.
D ing W enru i
( R esearch In stitute of U nm anned A erial V eh icle, B eijing U nivers ity of A eronau tics and A stronau tics, Bei jing 100191, C hina)
Jiang Zhe
( Schoo l of E lectron ics and In form ation Eng ineering, Beij ing U n iversity of A eron aut ics and A s tronau tics, B eijing 100191, Ch ina)
第 2期
丁文锐等: 利 用 H. 264中运动矢量实现运动目标检测
203
视频监控或跟踪系统可分为传感器、前端处 理、场景分析、摄像机控制、信息匹配与提取、压缩 与传输控制、显示及存储 7大功能模块. 在目标侦 察和监控领域, 传输视频之前实现运动目标检测 与视频压缩是系统的核心功能 [ 1] .
通常运动目标检测是各种后续处理的基础, 如跟踪、目标分类等. 目前应用的算法主要有帧间 差法、背景差法和光流场法等. 帧间差法适用于静 态背景场合, 摄像机运动时难以实现目标检测; 背 景差法实现简单但易受光照和前景运动影响; 光 流场法计算复杂, 硬件实现难度很大. 另一方面, H. 264视频编码标准采用了许多先进技术以提升 压缩效能, 其中运动估计部分包含了大量运动信 息可以为目标检测所利用 [ 2- 4] .
运动目标像素块与背景像素块的分离:
M ( n ) = ( d( n ) - dm ) 2
( 4)
其中, n 为第 n 个像素块; d ( n )为该像素块运动矢
量; dm 为帧内所有像素块运动矢量平均值. dm 引 入了运动矢量的统计信息, 它包含了背景相对于
摄像机的运动信息, 通过与各像素块做矢量差, 实
2 运动速度估计与双阈值目标切换
在景深可忽略的场景中, 知道了拍摄高度, 可 视角以及运动目标的运动矢量, 就可估算目标运
动速度. 估算原理如公式 ( 5)所示:
W = 2D tan( /2)
L iu Chunhui
( R esearch In stitute of U nm anned A erial V eh icle, B eijing U nivers ity of A eronau tics and A stronau tics, Bei jing 100191, C hina)
由图 1可知, M ( n)的最大可能取值在 2 105
以上, 方便了阈值的设置, 保证了在多阈值分割时
的准确性.
20 4
北京 航 空 航 天 大 学 学 报
20 10 年
图 1 M (n)取值曲面比较图
估算出门限值, 再由观察效果进行必要的调整. 满 足 T 2 > M ( n ) > T 1条件的像素块作为检测出的运 动目标的组成块被记录下来, 利用循环完成对所 有运动矢量的检测, 也就获得了运动目标所在的 图像块范围. 最后根据图像块的相邻关系进行边 界融合即可得到运动目标的大致轮廓. 图 3 是为 验证算法所制作的 C IF视频序列中的连续两帧图 像, 亮度阈值为 T 1 = 25, T 2 = 10 000.
Y ang H ua
( Schoo l of E lectron ics and In form ation Eng ineering, Beij ing U n iversity of A eron aut ics and A s tronau tics, B eijing 100191, Ch ina)
( 2)
对于两帧间摄像头旋转等情况, 二阶参数模
型的 8个系数能够很好地表征平面变化. 而对于
两帧间图像微变的情况, 将二阶方程降为一阶, 仍 能很好地估算像素区域位移 [ 5- 8] . 事实上 H. 264
帧间编码的运动估计正是基于这一原理. H. 264
采用了 7种分块模式, 将图像分割为最小至 4 4
算法所用的运动矢量直接来源于 H. 264编码过程, 而大大降低了计算复杂度, 利于硬件实现.
关 键 词: 图像压缩; 视频信号处理; 运动目标识别; 目标跟踪
中图分类号: TN 911. 65( 2010) 02-0202-04
Moving object detecting technique based on motion vector in H. 264 cod ing
实际上反应了场景中各部分相对于摄像机的运动
状态. 对于远距离或可平面化的场景环境, 运动矢
量包含了各像素块相对于背景的运动与摄像机相
对于背景的运动两部分运动信息, 而场景中的运
动目标有不同于背景的运动规律, 如果能检测出
构成运动目标的各个像素块, 就能实现运动目标
的检测. 公式 ( 4) 引入运动矢量统计信息, 实现了
( 北京航空航天大学 无人驾驶飞行器设计研究所, 北京 100191)
杨桦
( 北京航空航天大学 电子信息工程学院, 北京 100191 )
刘春辉
( 北京航空航天大学 无人驾驶飞行器设计研究所, 北京 100191)
姜哲
( 北京航空航天大学 电子信息工程学院, 北京 100191 )