多媒体

第1章多媒体技术的特征
1掌握多媒体的概念
多媒体：多媒体的英文单词Multimedia，它由media和multi两部分组成。

一般理解为“多种类型媒体的综合”。

重要的问题是：怎样“综合”以及“综合”后的效果是怎样的。

多媒体技术：是一种把文本、图形、图像、动画和声音等形式的信息结合在一起，并通过计算机进行综合处理和控制，能支持完成一系列交互操作的信息技术。

多媒体技术：是以数字化为基础，能够对多种媒体信息进行采集、编码、存储、处理和表现，使之成为有逻辑联系的整体，并具有良好交互性的技术
多媒体所涉及的信号是数字化的，而不是模拟的
2掌握多媒体技术的主要特点
⏹多媒体信息的多样性:指计算机能处理多种信息媒体，也就是能对输入的信息经过变
换、组合和加工，输出为新的信息形式
这种信息空间的多维化，使得思想的表达有了充分的余地。

⏹集成性:多种信息媒体的集成，处理这些媒体的设备与设施的集成
⏹交互性:指多媒体计算机利用图形交互界面、窗口技术以及屏幕触摸等方式，使人们
能通过十分友好的人机交互界面来操纵，控制多媒体信息的处理和显示。

多媒体技
可以为用户提供视觉、听觉和触觉等多种交互手段
3了解多媒体产生的技术背景
图像压缩编码技术的成熟：图像压缩编码技术使得活动图像数据能够在计算机总线上传输，从而成为计算机可以处理的数据类型之一。

大规模集成电路技术的发展
大容量数字存储技术的发展
4掌握多媒体通信系统的概念、类型、特点及相关业务
多媒体通信系统是能够完成多媒体通信业务的系统，将计算机的交互性、通信的分布性和电视的真实性完美地结合在一起，向人们提供全新的信息服务
到目前为止，已经出现的多媒体系统及其相关的业务可以概括为5大类
⏹独立商亭式系统：以一台多媒体计算机为核心，以提供信息服务为目的的应用系统
主要技术是多媒体制作软件
提供多媒体输入、输出设备的接口
提供建立媒体数据之间的空间布局和播放时间顺序手段
技术发展方向是提供友好的人——机接口，构成更人性化的多媒体交互环境
主要应用于家庭教育、娱乐、医院、饭店、商场、房地产、旅游等方面
⏹多媒体信息检索与查询：主要方法和技术：超媒体方法，万维网技术，基于内容及
语义的检索
⏹多媒体会议与协同工作：会议电视，多媒体会议电视系统，多媒体协同工作MMC
⏹多媒体即时通信：出席与即时消息系统（Present and instant messaging system, IM）；
允许用户间了解各自状态及改变，传递即时短消息。

两种基本服务：出席服务；即
时消息服务
⏹点播电视：问题：系统复杂；通信网络限制；系统开放性差
发展：服务器的吞吐能力能够模块化地扩展；能够从多种信源向系统输入信号；具备层次化存储结构；与多媒体信息检索与查询业务融合；对不同终端的兼容性
5三网融合问题、IP多媒体子系统、三重服务
1、网络的融合
计算机网络、通信网络、广播电视网络融合
⏹ATM ——设计先进、性能理想，与现有通信系统区别大
⏹IP网络——通信网和计算机网融合中网络层的标准
⏹基于IP网的多媒体业务进展
⏹增加核心网和接入网带宽
⏹设计有效的资源分配和管理机制
⏹核心网络技术发展为网络融合提供了条件
⏹软交换、通用多协议标记交换（GMPLS）
⏹接入网络技术已能支持各种多媒体业务
⏹ADSL、移动3G、WLAN、WiMAX
2、IP多媒体子系统（IMS）
⏹IP Multimedia Sub system
⏹由3G PP标准组织提出，是在基于IP的网络上提供多媒体业务的通用网络架构，是
下一代网络框架的核心
⏹IMS特性
⏹业务、控制、承载完全分离的水平架构，
⏹集中的用户属性
⏹接入无关
⏹一方面解决了用户移动性支持、标准开放的业务接口、灵活的IP多媒体业务提供等
问题；另一方面，其接入无关性，也使得IMS成为固定和移动网络融合演进的基础
⏹由于业务层、控制层和连接层的分离，不同类型的传输技术和接入技术可以统一在
一个框架下；
⏹各种业务均建立在IP之上，通过IMS进行控制，构成一个能够提供各种多媒体业务
的统一平台，实现“在任何时间、任意地方、通过任何形式的终端接受任何类型服务”
3、三重服务（Tripe play）
在统一的网络框架上由一个运营商就可以向用户提供电话、电视、宽带数据及其他多媒体业务
第2章彩色图像和彩色电视信号
1人眼的视觉特性
视觉的对比度灵敏度特性
人眼区分图像亮度差别的灵敏度与他附近区域的背景亮度有关，背景亮度越高，对比度灵敏度越低；背景亮度变化越剧烈，对比度灵敏度越低。

视觉的空间频率响应：视觉对不同空间频率的正弦光栅响应不同，当空间频率在3~4周/度时，视觉的对比度灵敏度最高，即人眼对这些空间频
率的分辨能力最强。

对于空间频率高于50~60周/度的正弦光栅，人眼就很难分辨
视觉的时间域响应：视觉惰性与闪烁；人眼在高亮度下对闪烁的敏感程度高于在低亮度的情况；时间域的掩蔽效应
2电视扫描的有关概念、电视信号带宽
当沿着横向水平扫描画面时，图像就可以表示成许多直线的集合。

如果直线足够密，这个直线集合就能代表二维图像。

将这些直线按顺序连成一条线，就得到了一维信号。

沿水平线扫描的过程称为扫描。

扫描实际上就是空间频率与时间频率的转换
扫描有隔行扫描(interlaced scanning)和非隔行扫描之分。

非隔行扫描也称逐行扫描。

黑白电视和彩色电视都用隔行扫描，而计算机显示图像时一般都采用非隔行扫描。

⏹ 每秒钟扫描多少行称为行频f h
⏹ 每秒钟扫描多少场称为场频f v
⏹ 每秒扫描多少帧称帧频f f
电视图像信号的上限频率
由于视频信号的下限频率为0，所以上限频率在数值上等于视频信号的带宽
3彩色电视制式及兼容特性
⏹ NTSC 制
⏹ PAL 制
⏹ SECAM 制
⏹ NTSC 制、PAL 制和SECAM 制都是兼容制式。

这里说的“兼容”有两层意思：
一是指黑白电视机能接收彩色电视广播，显示的是黑白图像，另一层意思是彩色电视机能接收黑白电视广播，显示的也是黑白图像，这叫逆兼容性。

4掌握电视图像数字化中的几种采样格式
4:4:4 这种采样格式不是子采样格式，它是指在每条扫描线上每4个连续的采样点取4个亮度Y 样本、4个红色差Cr 样本和4个蓝色差Cb 样本，这就相当于每个像素用3个样本表示。

hf x t W f f =22121
n αKf k k f f =W/H =α
(2) 4:2:2这种子采样格式是指在每条扫描线上每4个连续的采样点取4个亮度Y样本、2个红色差Cr样本和2个蓝色差Cb样本，平均每个像素用2个样本表示。

(3) 4:1:1 这种子采样格式是指在每条扫描线上每4个连续的采样点取4个亮度Y 样本、1个红色差Cr样本和1个蓝色差Cb样本，平均每个像素用1.5个样本表示。

(4) 4:2:0这种子采样格式是指在水平和垂直方向上每2个连续的采样点上取2个亮度Y样本、1个红色差Cr样本和1个蓝色差Cb样本，平均每个像素用1.5个样本表示。

第3章多媒体数据压缩基本技术
1不同媒体类型数据量的计算方法
⏹声音
⏹图像：静态图像
2有关冗余度的概念
⏹概念：信息存在的各种性质的多余度。

常见的冗余类别：空间冗余
时间冗余
结构冗余
知识冗余
视觉冗余/听觉冗余
3音视频数据压缩的基本原因
视频图像或音频信号等原始信源数据存在着很大的冗余度——有多余数据的存在。

人的生理特性决定，人的视觉对亮度信息很敏感，而对边缘的急剧变化不敏感，对亮度信息的变化不敏感。

听觉也是这样。

4各压缩方法的基本原理（如统计编码、预测编码、子带编码），尤其是统计编码中行程编码、哈夫曼编码、算术编码的计算方法
（1）行程编码：检测重复的比特或字符序列，并用它们的出现次数取而代之
⏹该方法有两大模式：
•一是消零(消空白)将数字中连续的“0”或文本中连续的空白用一个标识符(或特殊字符)后跟数字N(连续“0”的个数)来代替。

•二是行(游)程(run length)编码。

任何重复的字符序列可被一个短格式取代。

该算法适合于任何重复的字符。

一组n 个连续的字符c 将被c 和
一个特殊的字符取代。

当然，若给定字符仅重复两次就不要用此
方法。

任何重复4次或4次以上的字符由“该字符＋记号(M)＋重复
次数”代替。

（2）统计编码：统计编码是根据消息出现概率的分布特性而进行的压缩编码。

这种编码的宗旨在于，在消息和码字之间找到明确的一一对应关系，以便于在恢复时能准确无误地再现出来，或者至少是极相似地找到相当的对应关系，并把这种失真或不对应概率限制到可容忍的范围内。

（3）哈夫曼编码：对给定的数据流，计算其每个字节的出现频率。

根据频率表，运用哈夫曼算法可确定分配各字符的最小位数，然后给出一个最优的编码。

代码字存入代码表中。

这种码具有即时性和唯一可译性。

Huffman编码过程如下：①将信源符号按概率递减顺序排列。

②把二个最小的概率加起来，作为新符号的概率。

③重复步骤①、②，直到概率和达到1为止。

④在每次合并消息时，将被合并的消息分别赋以1和0，或0和1。

⑤寻找从每一信源符号到概率为1处的路径，记录下路径上的1和0。

⑥对每一符号写出“1”、“0”序列（从码树的根到信源符号终节点）
（4）算术编码
算术编码把一个信源集合表示为实数线上的0到1之间的一个区间。

这个集合中的每个元素都要用来缩短这个区间。

信源集合的元素越多，所得到的区间就越小，当区间变小时，就需要一些更多的数位来表示这个区间，这就是区间作为代码的原理。

算术编码首先假设一个信源的概率模型，然后用这些概率来缩小表示信源集的区间。

新子区间的起始位置＝
前子区间的起始位置＋当前符号的区间左端×前子区间长度
新子区间的长度＝
前子区间的长度×当前符号的概率（等价于范围长度）
最后得到的子区间的长度决定了表示该区域内的某一个数所需的位数。

LZW编码算法的原理是:编码和解码器在文本传输过程中动态的构造字典的内容,编码器发送的是通过字典中的每个字对应的索引
（5）预测编码(Prediction Coding)
预测编码是指利用前面的一个或多个信号对下一个信号进行预测，然后对实际值和预测值的差进行编码。

DPCM与ADPCM是两种典型的预测编码
（6）变换编码(Transformation Coding)
在变换编码时，初始数据要从初始空间或时间域进行数学变换，变换为一个更适于压缩的抽象域。

该过程是可逆的；即使用反变换可恢复原始数据。

(7)子带编码SBC ( Subband Coding)
•与变换编码一样，是一种在频率域中进行数据压缩的方法
•原理
•利用带通滤波器组把信号频带分割成若干子频带，然后分别处理
•将各子带信号经过频率搬移转变成基带信号，再以奈奎斯特速率对各子带输出取样，并对取样值进行通常的数字编码
•恢复时，将各子带信号解码并重新调制回其原始位置，再将所有子带输出相加就可得到接近于原始信号的恢复波形•它的复杂度与变换编码差不多，但客观质量高、主观效果好
第4章音频与视频压缩编码
1掌握听觉系统掩蔽效应
⏹时域掩蔽
⏹人耳听到一个强音后，会经过一个短暂的延时才能听到较弱的声音
⏹频域掩蔽
⏹当音频信号中存在多个信号时，强信号会降低人耳对他频率附近其
他信号的敏感度
2掌握音频信号数字化的步骤和采样频率、量化位数的概念；
模拟音频信号音频信号采样采样信号的量化
采样频率：采样频率与声音的质量关系最为紧密。

采样频率越高，声音质量越接近原始声音，所需的存储量便越多。

标准的采样频率有三个：11.025KHZ、22.05KHZ、44.1KHZ
采样精度：存放一个采样点所需的比特数。

一般的采样位数为8位或16位，即把声音采集为256等份或65536等分
3掌握奈奎斯特采样理论；
4掌握静态图像压缩技术标准JPEG的原理和过程
●“多灰度静止图象的数据压缩编码”
●用于连续色调灰度级或彩色图象的压缩
●采用离散余弦变换、量化、行程与哈夫曼编码等技术
●支持无损（压缩比2:1）和有损（压缩比20:1和25:1且没有明显的品质
退化）
⏹JPEG编码的基本处理过程包括：图像准备，图像处理，量化，和熵编码
5掌握视频压缩技术标准MPEG1、MPEG2、MPEG4的特点及相关原理
⏹MPEG－1:用于数字存储媒体运动图像及其伴音速率为1.5Mbps的压缩编
码,主要用于能够提供录像质量视频节目的光盘存储系统,还用于数字电话网络上的视频传输,MPEG-I视频压缩技术是以两个基本技术为基础
⏹基于16×16子块的运动补偿，以减少帧序列的时域冗余
⏹基于DCT的压缩技术，减少空域冗余度
⏹MPEG -2压缩标准:运动图像及其伴音的通用编码国际标准。

它利用网络
提供的3～100Mbps的数据传输率来支持具有更高分辨率图像的压缩和更高的图像质量.
•MPEG-2视频的重要特色:范畴和级别:5个档次（范畴）简单型（Simple）基本型（Main）信噪比可调型（SNR Scalable）空间可调型（Spatial Scalable）增强型（High）4个等级:低级（Low）基本级（Main）高1440级（High-1440）高级（High）11种规范数据结构:数据结构是分层的比特流结构•MPEG-4压缩标准:针对低速率下的视频、音频编码，更加注重多媒体系统的交互性和灵活性。

以内容为中心的描述方法。

采用基于内容的压缩编码。

当视频对象定义为场景中截取的不同物体时，视频对象通过运动信息、形状信息和纹理信息来描述MPEG-4就是针对这三类信息进行编码的
•具有高速压缩、基于内容交互和基于内容分级扩展等特点，并且具有基于内容方式表示的视频数据
第5章多媒体传输网络
1.多媒体数据流的特点
比特率可变性
时间依赖性
信道对称性
2.支持多媒体数据传输的重要条件
吞吐量延时延时抖动错误率多媒体信息传输对多点通信需求:多媒体传输网络必须是双向的多媒体信息传输对服务质量的要求
3.各种网络类别的特点
⏹单播、多播和广播概念
单播：点到点之间的通信
多播：一点对网上多点传送信息
广播：一点向网上所有其它点送信息
⏹电路交换和分组交换特点
电路交换网络特点
在整个会话（Session）过程中独享固定的比特率
传输延时由传播延时和所经过的中间设备的延时之和决定。

传输延时一般是几毫秒到几十毫秒的量级，比较小
传输延时是恒定的。

（仅存在物理延时抖动）
不支持多播。

分组交换网络优点
网络资源可以得到合理和有效的利用
不足是
网络性能的不确定性，延时抖动大
电路交换网是面向连接的
分组交换的网络分为面向连接和无连接两种
⏹??CCITT对分组交换的特点：
(1)所有报文必须划分为分组。

每个分组的大小一般有一定的限制(如
1000bits左右)；
(2)分组必须附加目的地址、分组编号及校验码等控制信息，且有标准格
式；
(3)按存储—转发方式传递分组，由于分组长度较短，利用高速传输实时
性较好；
(4)各分组可通过不同的传输途径先后到达目的地。

⏹资源预留、资源分配、资源独享和尽力而为性网络特征
资源预留，网络规划出一部分给某个特定的通信，只是预留而不是物理的给
予
资源分配，网络把一部分资源实际分配给某个特定的通信过程，但可动态调
整
资源独享，网络在建立通信过程时，把一部分资源物理地划归该通信过程，
结束之前不会重新分配
尽力而为性网络：
4.IP网络特点及对多媒体信息支持（QoS保障机制，如综合服务和区分服务特点及区
别）
①综合服务模型和资源预留协议
⏹综合服务模型（Integrated Service Model，IntServ）基本思想是通过资源预留来实现
QoS保障
RSVP的主要特征是：
接收端驱动，即接收端启动和维护资源的保留
优点:
•能够提供绝对保证的QoS
•RSVP协议能够支持组播环境，这对保证多媒体实时业务（如可视会议、远程实时教学等）提供了资源共享手段
缺点:
•状态信息数与流的个数成正比，这就需要在路由器中占有很大的存储空间；
•对路由器的要求高，所有路由器必须实现RSVP、接纳控制、MF分类和分组调度；•该服务不适合于短生存期的数据流，因为对短生存期的数据流来说，资源预留所占的开销太大，降低了网络利用率。

②区分服务
由于RSVP实现起来比较复杂，IETF建议另一种QoS的保障机制即区分服务DS (Differentiated Services)
⏹与综合服务相比，有如下变化
主要处理过程从网络核心转移到网络边缘
将针对每条数据流的服务改变为针对每种类型的服务
⏹③多协议标识交换：多协议标识交换(MPLS)是一种新的QoS保障机制，它是在标签
交换技术上发展的一种包传递机制
优点:
⏹伸缩性较好。

DS字段只是规定了有限数量的业务级别，状态信息的数量正比于业务
级别，而不是流的数量。

⏹便于实现。

只在网络的边界上才需要复杂的分类、标记、管制和整形操作。

ISP核
心路由器只需要实现行为聚集（BA）的分类，因此实现和部署区别型业务都比较容易。

缺点:
DiffServ无法依靠自己来提供端到端的QoS结构. 它需要大量网络单元的协同动作，才能向用户提供端到端的服务质量
5.ATM广域网络特点及对多媒体信息支持
ATM是一种将异步时分交换与统计复用融为一体的新的信息转移方式
ATM可实现虚通路(VP)和虚信道(VC) 两级交换方式
ATM是一种面向连接且分组长度固定的分组交换方式
ATM可以提供多种服务类型
ATM具有在高层进行差错控制和流量控制
⏹ATM技术使客户端能够为每个特定的连接请求特定的服务质量
⏹如果在某个时刻,太多的用户涌入网络,超过通常的带宽,网络可能会拥塞
⏹ATM网络提供了处理拥塞的机制
⏹可以采用应急措施(通常丢弃数据包),
⏹也可以将广播拥塞的消息返回至客户端, 以便他们能够持续减少对资源的
占用,或者重新路由,避开拥塞的设备。

6.无线局域网的特点及对多媒体信息支持
无线局域网（Wireless Local Area Network, WLAN）是计算机网络与无线通信技术相结合的产物，它以无线多址信道作为传输媒介，利用电磁波完成数据交互，实现传统局域网的功能
⏹基本介质接入控制方式CSMA/CA（载波侦听多址访问/冲突避免）CSMA和RTS/CTS
握手机制构成了WLAN的基本接入方式，称为分布式协调功能DCF
⏹先进的介质接入控制方式PCF（point coordination function）EDCF (enhanced DCF)HCF
7.下一代网络特点及描述
⏹是一个包交换的网络
⏹具有QoS机制
⏹与业务有关的功能独立于底层与传输有关的技术
⏹能够让用户自由地通过有线和无线宽带网络接入他们想要的业务
⏹支持固定和移动的终端，为用户提供无处不在的一致服务
第6章多媒体通信终端与系统
⏹掌握QoS管理概念
QoS管理，是指计算机和网络系统采用一定的方法，满足用户应用的服务请求，并保证QoS的过程。

在这一过程中计算机和网络系统将用户应用的服务请求映射成一些预先定义的QoS参数，进而与系统和网络的资源对应起来，通过资源的分配和调度，满足用户的服务请求。

资源的分配和调度可以选用资源的静态管理和动态管理去完成。

⏹了解QoS机制包括的内容（动态管理、静态管理内容和方法）
QoS管理机制分为静态和动态两大类
静态管理是指在通信建立时，以及在进行端到端的QoS的重新协商时资源的管理，也被称为QoS预备机制
动态管理是指在业务流传送过程中对资源的管理，又分为
QoS控制机制：对业务流传送进行实时控制
QoS管理机制：根据在一段较长时间内对数据传送的检测结果进行
的资源调整
⏹多媒体通信终端与系统的标准（如基本框架描述、主要的标准等）
N-ISDN视听业务标准（H.320）ATM视听业务标准（H.310/H.321）局域网视听业务标准H.322/H.323公用电话网视听业务标准（H.324）视听系统的复接/分接标准视听系统的通信控制协议。