视频流的分组传输技术报告

视频流的分组传输技术报告在传统的通信系统中，连续的媒体信息（模拟或者数字的语音和电视信号）是通过电路交换的网络传输的，数据则通过分组交换的网路传输。

而在当前的通信系统中，分组交换的网络，特别是IP网，将在多媒体通信中占据主导的地位。

以语音数据分组传输为基础的IP电话已经得到越来越广泛的应用，视频分组传输的应用也在不断的发展中。

1、视频分组传输中的关键技术视频分组传输中首先遇到的问题就是视频编码率，其有两种方式，一种是变比特编码，一种是恒定比特编码。

编码器所产生的码流数据率一般是变化的，为了适应恒定速率信道的要求，在编码器和信道之间需要设置一个缓存器，并且应考虑缓冲区大小，保证不空不溢。

当数据过分剧烈变化时要跳帧。

这样就形成了恒定码率编码器（CBR）。

同理，变速率编码器，则不需要缓冲区，当数据超出容限时，根据网络情况改变编码中参数调整压缩比，这样的优点是不用缓冲，减少延时。

VBR与CBR的编码算法除了在速度控制部分以为，都是一样的。

在CBR编码中，重建图像的信噪比是随着图像活动性的变化而变化的，而在VBR中则是恒定的。

从速率-失真函数的角度表示出CBR和VBR编码的不同之处在于CBR编码中，由于速率保持为固定值，失真随着图像特性的变化在一定范围内变化；而在VBR编码中，由于失真固定，速率则随着图像的活动性的变化而在一定的范围内变化。

在使用相同的编码算法和让CBR恒定速率等于VBR编码的平均速率时，CBR编码的重建图像的平均信噪比要低于VBR重建图像的信噪比，而且重建图像质量的主观评价也较差。

另一方面，若当CBR和VBR 编码给出相似的重建图像质量时，VBR编码给出较低的平均码率和较少的数据总量。

这些表明，VBR编码无论对于视频数据的传输，还是存储都具有优越性。

此外，在分组网络中，VBR编码的码流可以获得更高的统计复用增益。

在VBR编码器中省去了用于速率平滑的缓存器，从而降低了编码的延时，也就降低了端到端的传输延时，这对于实时多媒体应用是有利的。

在视频分组传输的研究中，QoS保障技术是十分重要的。

QoS保障不只是涉及传输网络的问题，而且是一个端到端的问题。

完整的QoS保障机制应该包括QoS规范和QoS机制两大部分。

QoS规范申明应用所需要的服务质量，而如何在运行过程中达到所要求的质量则由QoS机制来完成。

QoS协商就是QoS预制机制中重要部分。

在通信建立时，处理要将用户提出的QoS参数映射到系统的各个层次之外，通信路径上的各个部分之间还需要对QoS参数惊醒协商，以达到各自的资源都允许接受统一的QoS参数值。

协商一般是双方的，可分为呼叫者和被呼叫者之间和服务用户和服务提供者之间的两种协议，分别被称为对等型协商和层间协商。

协商方式有7种，分别为双向对等，双向层间，单向协商（接受，不接受）、混合协商、三方协商、限定目标三方协商、寻求契约值的三方协商。

图1双向对等协商图2 三方协商此外，如果在通信过程中，由于某种原因使QoS下降，而且通过QoS维护机制也无法将其调整到所要求的水平，则向用户发出一个指示，让用户选择是通过重新协商转到较低的服务级别等级上，还是自适应地转到系统当前的QoS上继续通信。

这种在通信过程中QoS动态地变更称为QoS缩放。

实现QoS缩放的方法主要有：（１）重新协商。

重新协商意味着从端到端的系统的各部分都需要进行资源的再分配。

当发送端提出重新协商的要求之后，发送端的资源管理器必须首先检查本地可利用的资源是否满足要求，例如用户要求图像帧率从３０帧／秒降低到１０帧／秒时，则必须看本地的编码器是否可以提供１０帧／秒的输出，然后通过有关的资源管理协议检查网络资源的情况，并根据要求进行网络资源预留和分配。

如果重新协商是由接收端提出的，接收端１５３ＩＰ网络视频会议的QoS技术工程硕士学位论文资源管理器检查并预留本地资源，然后通过资源管理协议通知发送者，执行上述与由发动者启动时相同的过程。

最后通知接收端改变本地的资源配置。

在许多的媒体应用中，发送端需要向具有不同的QoS要求的多个用户提供同一种服务，此时，如何有效地向这些用户提供不同质量的视频码流是十分重要的问题。

首先，由于视频在一个异构的网络环境中，即某部分子网的速度高，某部分子网的速度低。

发送端很可能同时向两个接入速率不同的终端传送同一节目，这种情况下，服务器必须提供多种质量的视频流才能满足用户的要求。

除了网络条件不同之外，造成接收端QoS要求不同的原因还有终端处理能力和显示能力的不同，以及应用的需求不同和愿意承担的通信费用不同等。

提供多种质量的视频流的一种解决方法是对视频序列进行可伸缩性编码。

可伸缩性编码有三种基本类型：时域可伸缩性，空域可伸缩性和SNR 可伸缩性。

其中SNR 可伸缩性又称为质量可伸缩性，因为视频质量通常用峰值信噪比（PSNR）来衡量。

这三种可伸缩性分别对应了视频的帧率、分辨率、PSNR 等几个基本参数，它们都能在基本层外提供一个或几个增强层，实现初步的可伸缩性。

其中空域可伸缩性是通过为视频中每帧图像都提供多个分辨率表示来实现。

其做法是先对原始视频中的每帧图像进行下采样得到低分辨率图像，编码得到空域基本层码流；然后编码原始图像和低分辨率图像上采样恢复图像的差值信息，生成空域增强层码流。

空域可伸缩性主要是应用于接收端设备显示屏幕分辨率不同的情况下。

作为一个视频流服务器，其发送视频信息的目标可能是不同种类的设备，可能是WLAN 中的一台台式机或一部能接收视频的手机。

对每种设备都单独编码显然是非常浪费资源也不合理，所以由视频流服务器提供统一的具有可伸缩性的视频码流顺理成章的成为此问题的解决方案。

图3 分层编码系统图4 空间分辨率不同的图像图5 空间域可伸缩性编码原理方框图视频在传输的过程中，往往会碰到同步的问题。

影响多媒体同步的因素包括时延抖动、时钟偏差、数据丢失和网络条件变化等。

收、发时钟之间如果存在固定的时间偏差是不会对多媒体同步造成破坏的。

如果二者之间存在频率偏差，则会产生媒体播放不连续的现象。

一个多媒体系统所能容忍的收发时钟频率偏差由具体应用而定。

在收发时钟频率偏差不能忽略的情况下，可以设计一个合适的起始时刻偏移量和缓存器容量，以避免出现数据尚未到达或者缓存溢出的情况。

同时，缓存器的存在能够减少延时抖动所造成的不良影响。

在需要收发时钟频率精确同步的时候，锁相是一种通常采用的方法，它能够消除收发时钟之间的频率偏差和频率漂移。

锁相的基本过程是将发送端时钟频率与接收端本地时钟频率在相位比较器中进行相位比较，两端时钟频率的偏差将反映为相位之差；相位比较器的输出参量经环路滤波器滤除高频分量以后，控制VCO的振荡频率，使之与输入频率相等。

锁相环路可以是模拟的，也可以是数字的，数字锁相环路简称为D-PLL。

在分组传输中，接收端可能获得发送时钟信息的途径有两个：（1）包的到达频率；（2）包头携带率到达缓存器，而以接收时钟速率被取出，那么缓存器的充满程度就反映了收、发时钟的频率差异。

但是其他原因，如网络传输的延时抖动和包丢失等也会影响缓存器的充满程度，从而干扰锁相环的工作。

比较好的获得发送时钟信息的途径是检测时间戳。

基于时间戳的锁相环路如图所示：图6 基于时间戳的时钟同步时间戳检测模块检测所接收的数据包中的PCR，然后计算PCR与本地时钟计数值之间的差值，如果收发时钟频率没有偏差，该差值为一常数；如果有偏差，该差值经滤波后控制本地时钟频率，使本地时钟达到与发送端时钟频率的一致。

传输层的差错控制由于是在通信子网对差错控制的基础上的最后一道差错控制措施，面对的出错率相对较低。

特别是随着传输介质普遍采用抗干扰能力比较强的光纤以后，这种出错几率大幅下降，传输的可靠性明显提高。

所以传输层的差错控制编码一般采用比较简单的算法。

在传输层协议数据单元（TPDU）内留有专门的校验和字段，用于存放校验码。

传输层的差错控制技术分为一般通用的错误处理技术，它们在原理上并不依赖于所传送的数据的具体特征，因而这些技术可以应用于视频数据的分组传输。

主要包括：自动重传技术，一种基于反馈的差错控制。

在这种机制中，当接收端通过校验比特检测到数据段中有错误时，则请求重新发送该数据段。

ARQ是物理层和数据链路层经常采用的差错控制方法。

循环冗余码是一种广泛应用的检测码。

前向纠错码是基于特定数学的一个技术分支。

发送端在要传送的数据中加入一定的冗余数据生成特定的码；接收端收到这些码后，通过译码不但能够自动检测错误，而且能够纠正错误，这种码称为前向纠错码。

数据交错，是提高FEC纠正突发错误能力的一种方法。

除了以上的的通用技术以外，针对视频编码的特点，在编码层还存在一些专门的差错防护和补偿措施。

首先，压缩编码旨在消除信号中的冗余，但是冗余信息的减少将导致误码或者包丢失对图像质量的损伤增大。

因此，在传输条件不理想的情况下，可以在进行压缩编码时有意识地保留一些冗余信息，以降低已编码流对差错的敏感性。

这类压缩编码方式称为鲁棒编码，或者抗误码编码。

针对预测编码提出的抗误编码措施有：泄露预测，帧内编码刷新和区域受限的帧间预测；而针对变长编码提出的抗误码熵编码和可逆变长编码。

此外，编码单元的划分，以及对重要信息的冗余插入、分类和保护，这些措施也可以提高码流抵御错误的鲁棒性。

泄漏预测的方法就是增加一个预测因子对差分预测编码进行弱化，使差错扩散下降，减少影响面。

泄露因子的大小则根据所期望的差错衰减速度和编码效率之间的这种考虑来确定。

帧内编码刷新则是增加I帧（减少P、B帧）或p帧用帧内编码，使误差影响得到限制。

帧内编码刷新是阻止差错在时间上传播的基本手段。

如何选择刷新宏块的数量和它们的位置，以获得差错的鲁棒性和无差错情况下视频质量的最佳折中，是帧内编码刷新中主要考虑的问题。

之前提到的，FEC和数据交错只能在一定程度上纠正传输错误；无限制的自动重传虽然可以保证数据传输的可靠性，但是在实时性要求较高的多媒体应用中又不宜采用，因此，接收端接收到的码流仍存在错误。

所谓错误掩盖，就是在解码端采取一定措施部分的恢复被传输错误所破坏的图像，使其对人的视觉的影响减至最小。

在进行错误掩盖之前必须首先进行错误的检测和定位。

解码层错误检测和定位的主要依据是码流语法的合法性和语义的合理性。

在空域内进行错误掩盖最简单的方法是利用周围正确接收的宏块内插出丢失的块来。

另一种就是利用周围正确接收块的亮度和色度均值（或者中值）来代替丢失的块。

这可以直接在像素域内进行计算，也可以利用周围块DCT域的直流分量（或加上低频分量）的均值（或者中值）作为丢失块的对应DCT系数值来实现。

利用视频序列在时间上的相关性是进行错误掩盖的另一个途径。

假设图像受损宏块的运动矢量没有丢失、只丢失了纹理（运动补偿后的残差）部分，这种情况通常在编码端采用数据分割和不均衡保护的情况下发送，此时简单的将MV指向的前帧参考块补贴到受损宏块的位置上即可。