网络视频流

网络视频流

摘要：由于互联网的快速发展以及对多媒体信息的要求的增长，在学术上和工业上，网络视频流都引起了强烈的关注。实时视频传输主要包括带宽，延迟和loss requirements。但是，当前的全力传输方式对视频流不提供任何QoS保证。而且，对于视频的多点传输，同时达到效率和适应性是很困难的。因此，网络视频流面临很多挑战。对于这些挑战，我们已经展开了广泛的研究。这篇文章要阐述一下网络视频流的贡献。为了结合相关的背景和在这方面给大家提供一个完整地认识，文章包括了流的主要的六个关键的领域。特别的，文章讲述了视频压缩，应用层QoS控制，连续媒体发送服务，流服务，媒体同步机制以及流媒体协议。对于每一个方面，将详细讲述问题并且回顾主要的方法。同样，也要权衡以下各种方法并且指出未来研究的方向。

Ⅰ介绍

计算技术、压缩技术、高带宽存储设备以及高速网络的最新的成果已经使得提供实时多媒体服务成为可能。由它的名字，就可以知道实时多媒体要有时间的约束。例如，音频和视频数据必须连续播放。如果数据不能按时到达，那么播放过程将停止，这样对人的眼睛和耳朵是很大的挑战。

实时传播直播或非直播的视频是实时多媒体中主要的部分。在本文中，我们关心的是涉及到非直播视频实时传输的视频流。非直播视频流在网络上有两种传输的模式，即下载模式和流模式（例如，视频流）。在下载模式中，用户下载整个视频文件，然后再播放这个文件。但是，整个文件在下载模式下的传输通常需要很长的时间，很可能是不能忍受的。但与此相反，在流模式中，视频内容并不需要完全的下载，而是一面播放，一面接收和解码。由于它是实时的，视频流主要包括带宽，延迟和loss requirements。但是，当前的全力传输方式对视频流不提供任何QoS保证。而且，对于多点传送，当要满足大范围用户的QoS要求而提供适应性服务的同时，就很难有效的支持多点传送。

对于这些挑战，已经展开了广泛的研究。篇文章要阐述一下网络视频流的贡献。为了结合相关的背景和在这方面给大家提供一个完整地认识，文章包括了流的主要的六个关键的领域。特别的，文章讲述了视频压缩，应用层QoS控制，连续媒体发送服务，流服务，媒体同步机制以及流媒体协议。每一个方面都是建设流媒体体系结构的一个基础的块。这些块之间的关系如图1。

图1表示了视频流的一个体系结构。在图1中，原始视频和音频数据先通过视频和音频压缩法则进行预压缩并在存储设备保存。在客户端的请求下，流服务器从存储设备中找到压缩的视频/音频数据，之后应用层QoS控制模块根据网络的情况和QoS要求调整视频/音频的比特流。调整之后，传输协议将压缩的比特流打包后再把视频/音频的数据报发送到网络上。由于网络拥塞数据包可能被丢弃或是要经历很长时间的延迟。为了改善视频/音频传输的质量，在互联网上配置了连续媒体发送服务（例如，caching）。对于那些成功发送到接收端的数据包，他们首先通过传输层，并在应用层进行处理后被视频/音频解码器解码。为了在视频和音频之间达到同步，需要媒体同步机制。在图1中，可以看到六个方面紧密联系，是视频流体系结构的要素。下面，我们主要阐述一下这六个方面。

1)视频压缩：原始视频在传输之前必须压缩以提高效率。视频压缩可以分成两类：可升级

的和不可升级的视频译码。因为可升级的译码是可以根据互联网带宽的波动而gracefully coping，因而我们首先关心的是可升级视频译码技术。我们还要讨论在视频编码和解码中流的应用的必要条件。

2)应用层QoS控制：为了应付各种各样的网络的条件以及用户不同的质量要求，出现了很

多的应用层QoS控制技术的提议。应用层技术包括拥塞控制和差错控制。他们各自的功能如下所述。拥塞控制用来避免丢包和降低延迟。差错控制机制包括超前错误校正（FEC），重发，弹性差错编码和差错隐藏。

3)连续媒体发送服务：为了提供高质量的多媒体服务，适当的网络支持是至关重要的。这

是因为网络支持可以降低传输延迟和丢包率。由于是在互联网的最高层（IP协议），连续媒体发送服务能使在全力传输的网络中达到视频/音频流的QoS和效率。连续媒体发送服务包括网络过滤，应用级的多点传送和内容复制。

4)流服务器：流服务器在提供流服务中扮演了一个关键的角色。要提供有质量的流服务，

流服务器必须要在有时间约束的情况下处理多媒体数据，还要支持交互式的控制操作，例如暂停/重新开始，快进，快退等。此外，流服务器需要在同步方式下找到媒体成分。

一个典型的流服务器是由三个子系统组成，即一个交流者(例如，传输协议)，一个操作系统和一个存储系统。

5)媒体同步机制：媒体同步是区别多媒体应用软件与其它传统的数据应用软件的一个主要

的特征。应用了媒体同步机制，接受者端的应用软件将能呈现多种媒体流，好像实现已经处理好了似的。媒体同步的一个例子就是一个演讲者嘴唇的动作配合这播放的声音。

6)流媒体协议：制定和规范协议是为了客户端和流服务器端之间的通讯。流媒体的协议提

供了诸如网络寻址，传输和会议控制等服务。根据他们的功能性，协议可以分为三类：网络层协议，例如IP；传输层协议，例如UDP；会议控制协议，例如实时流协议RTSP。

文章下面的部分是来说明以上的六个方面的。Section II讨论了视频压缩技术，在Section III 中，我们将介绍视频流的应用层QoS控制机制。Section IV讲述了连续媒体发送服务。Section V中我们讨论了流服务器设计中的关键问题。Section VI介绍了各种的媒体同步机制。在Section VII中，大致了解一下视频流的关键协议。Section VIII总结本文并指出未来研究的方向。

Ⅱ视频压缩

由于原始视频占用大量的带宽，通常是运用压缩来达到传输的高效率。在这部分里，我们讨论在视频编码和解码中流的应用的必要条件。基本上，视频压缩可以分成两类：可升级的和不可升级的视频译码。为简单起见，这里只说明在intra-mode下仅使用离散余弦转换