多描述图像与视频编码.

多描述图像与视频编码
陈婧
12
1、基本思想


当前的信源编码基本上都是采用递进编码，并通过可控 制丢失分组重传的TCP协议传输。而传输机制是假设接 收端需要所有的分组，增加的分组只有在前面分组都接 收到的情况下才有用。 问题： – 我们是否需要所有分组？ – 为了提高一点点的图像质量而等待重传是否必要？ – 如何尽量让接收到的分组发挥作用，从严格的分组顺 序和分组重传机制的制约中解脱出来呢？
多描述图像与视频编码
陈婧
13
2、多描述体系结构
解码器 1 源信号 S1 MDC 编码器 S2 信道1 信道2 解码器 0 来自S1的 解码信号 来自S1和S2 的解码信号
解码器 2 MDC解码器
来自S2的 解码信号
– 将一个信源分成多个码流（描述），经不同的信道传输。 – 每个描述的重要性一致。 – MDC编码器：产生多个描述，每一个描述既包含自身的重要信 息，又包含其他描述的保护信息。 – 接收到所有的描述时：信号可以获得高质量的重建效果。 – 只接收到一部分的描述时：信号仍可获得一定的重建效果。
多描述图像与视频编码
陈婧
10
我们的选择

多描述编码 如何实现？
编码效率
引入冗余量，对信息进行一定程度的保护
重建质量

多描述编码技术研究现状 – 国际上主要从1999年开始研究，目前尚处于初步阶段。 – 国内目前只有极少数关于多描述视频编码的研究成果。
多描述图像与视频编码
陈婧
11
二、多描述编码技术简介
多描述图像与视频编码
陈婧
9
4、基于编解码交互控制的差错控制


利用解码器到编码器的后向信道，让发送端和接收端协同工作，进 行差错控制。 – 参考帧选择性编码 – 信源编码器根据解码器反馈的信息修改编码参数（如量化步长， 编码模式，插入同步标志的频率等），使码率适应信道带宽及 传输速率等网络状态。 着眼点不是出现误码如何解救，而是侧重如何使后继的视频能正确 接收并解码。
多描述图像与视频编码
Байду номын сангаас
陈婧
8
3、基于解码端的差错隐藏


错误隐藏（Error Concealment）：尽管传输时的数据可能被损 坏或丢失，但解码器可根据到达比特流中的冗余信息进行错误隐藏。 在解码器中以一定程度的编码效率和复杂度为代价，抑制差错的影 响。 错误隐藏一般采用时间插值和空间插值两种基本方法。 – 时间插值：用先前帧的数据来重构丢失数据，适用于帧间编码。 – 空间插值：用相邻空间的信息来重构，适用于帧内编码。 – 频率域插值 – 最大平滑恢复 – 基于模型的恢复 – 基于语法的恢复
多描述图像与视频编码
陈婧
2
纲

要
视频编码技术的回顾 问题的提出 现有的传输差错控制技术 多描述编码技术简介 多描述图像编码方案 多描述视频编码方案
多描述图像与视频编码
陈婧
3
视频编码技术回顾




衡量视频编解码器好坏的标准 – 压缩效率 – 计算复杂度 – 抗误码的能力 基本的编码思路 – 通过帧间预测编码减少时间冗余 – 通过帧内变换编码减少空间冗余 视频编码国际标准 – ISO/IEC：MPEG-1，MPEG-2，MPEG-4，MPEG-7 – ITU-T：H.261，H.263，H.264 我国的音视频编码标准 – AVS
多描述图像与视频编码 陈婧
14
3、多描述评价机制

速率失真函数：反映了图像质量随着码率大小而变化的情况。 多描述冗余率失真函数 基本速率

r R( D0 )
多描述图像与视频编码
陈婧
4
问题的提出
1. 2.
人们对图像和视频实时传输的需求日益增大。 然而，互联网和无线通信网络的传输信道并不可靠。
信道干扰 网络拥塞 路由选择延迟
数据错误 分组丢失 图像或视频重建 质量严重下降
3. 4.
解决方案：研究具有差错控制特性的图像、视频编解码方案。 如何实现？
多描述图像与视频编码
多描述图像与视频编码
陈婧
7
2、基于信源的差错恢复编码

错误恢复（Error Resilient）：在信源端采用对传输误码具有健 壮性的比特流信源编码，引入冗余量，增加编码器输出的比特数， 使在比特流传输错误时提高信号的重建质量。 1. 通过周期性地插入重同步标记和数据分割进行错误隔离，把错 误的影响隔离在一个有限的区域内； 2. 直接修改二进制编码方法，如可逆变长编码（RVLC）或差错 恢复熵编码（EREC），以使比特流更具健壮性； 3. 通过插入帧内块或帧，建立分段预测，减轻由于时间预测引起 的传输差错； 4. 设计具有不平等差错保护的分层编码方法（LC）； 5. 设计多描述编码（MDC）方案； 6. 联合信源和信道编码（JSCC）。
陈婧
5
一、现有的传输差错控制技术
多描述图像与视频编码
陈婧
6
1、基于传输层的差错控制



自动重复请求ARQ(Automatic Repeat Request) – 重新发送丢失的分组，因此发送器需要知道丢失分组的序号 – 不适合实时和多点传送的应用 前向差错修正FEC(Forward Error Correction) – 基于奇偶校验码 (parity code)，发送器只需知道分组丢失的 概率而不必知道它们的序号。 – 运用残余的相关信息进行重建的性能受所接收信息数量的影响， 不能用于独立等密度分布的无记忆信源。 混合FEC / ARQ技术和不平等差错保护 – 不平等差错保护是根据比特流中二进制比特的非同等重要性， 对重要比特进行重点保护以降低其误码率的一种传输层控制方 法。
专题讲座
自适应网络传输的多描述编码技术简介
多描述图像与视频编码
陈婧
1
相关课题


在研： – 侨办课题：高效的多视点视频编码容错技术的研究。 已结题： – 国家自然科学基金项目(60772164)：网络自适应多描述视频 编码的研究 – 国家自然科学基金项目(60472106)：基于系数结构一致性的 多描述视频分层编码 – 福建省自然科学基金项目(A0710009 )：网络自适应多描述视 频编码 – 福建省自然科学基金项目(A0410018)：基于系数结构一致性 的多描述视频编码 – 华侨大学自然科学基金项目(06HZR27):多描述3D提升小波视 频编码