第2章多媒体信息处理的必要性和可行性

第2章 多媒体信息处理的必要性和可行性
但对于动态视频的压缩与解压缩， 速度问题是至 关重要的。 动态视频为保证帧间动作变化的连贯要求， 必须有较高的帧速。 对于大多数情况来说动态视频至 少为15帧/s， 而全动态视频则要求有25帧/s或30帧/s。 因此， 压缩和解压缩速度的快慢直接影响实时图像通 信的完成。
第2章 多媒体信息处理的必要性和可行性
6． 视觉冗余 在多媒体技术的应用领域中， 人的眼睛是图像信息 的接收端。 而人类的视觉系统并不能对图像画面的任何 变化都能感觉到， 视觉系统对于图像场的注意是非均匀 和非线性的， 即注意主要部分质量， 同时取画面的整体 效果， 不拘泥每一个细节。 例如， 人的视觉对于图像边缘的急剧变化不敏感， 对图像的亮度信息敏感， 对颜色的分辨率较弱等。 因此， 如果图像经压缩或量化发生的变化（或称引入了噪声）不 能被视觉所感觉， 则认为图像质量是完好的或是够好的， 即图像压缩并恢复后仍有满意的主观图像质量。
16 kb/s（15∶1
），
CD音频可以压缩到64 kb/s（22∶1的压缩比）。
第2章 多媒体信息处理的必要性和可行性
显然， 对于多媒体处理系统所要求的语音与音频、 图 像、 视频、 文本、 数据的结合， 信号进行有效的存 储和传输之前， 必须进行处理， 而最关键的处理方法 是进行数据压缩。 多媒体信息压缩技术的对象主要是 视频、 音频和文本信息这三大类。 例如， 现代数字压 缩技术可以对多数图像实现大于100∶1的压缩比， 而 质量没有重大损失。
（Entropy
熵就是平均信息量。 通常， 信息熵
的数学表达式为
k 1
H Pi IbPi
i0
（2.3-2）
第2章 多媒体信息处理的必要性和可行性
式中， Pi为任意一个数i的概率， k为数据类数或 码元的个数。 设单位数据量d为
k 1
d Pib( yi )
i0
（2.3-3）
第2章 多媒体信息处理的必要性和可行性
P
F1
P
F2
T
图2.3-2 时间冗余
第2章 多媒体信息处理的必要性和可行性
3． 信息熵冗余（编码冗余）
所谓信息熵， 是指数据所带的信息量。 信息量是
指从N个相等可能事件中选出一个事件所需要的信息度 量或含量， 即在N个事件中辨识一个特定事件的过程 中需要提问“是”或“否”的最少次数。 将信源所有
可能事件的信息量进行平均， 就得到信息的“熵”
从以上两个例子以及表2.2-1可以看出： 未进行任
何形式编码和压缩的窄带语音信号需要128 kb/s的速率，
即两倍于普通电话的速率。 信号未被压缩的宽带话音
需要256 kb/s的速率， 未压缩的双声道立体声CD音频
需要1.41 Mb/s的速率。 在保持原始信号质量的前提下，
窄带语音可以压缩到4 kb/s（30∶1的压缩比）， 宽带
第2章 多媒体信息处理的必要性和可行性
在数字图像或语音信息中普遍存在着程度不同的 冗余度， 在保证一定质量的前提下， 尽可能地除去这 些冗余度， 这就是信息压缩技术的目的。 例如， 在可 视电话中将原本为36 Mb/s 的视频和音频信号压缩到64 kb/s以下， 使它能在一个数字话路上传输。
按照压缩前后信息量的变化来分， 压缩技术可分 为信息保持型压缩和信息非保持型压缩两大类。 信息 保持型压缩编码（又称为无失真编码）是指解码以后 的信息量和原信息量严格相同； 而信息非保持型压缩 的方法则会给解码信息带来一定的失真， 但一般来说 压缩比要远远大于保持型压缩的压缩比。
第2章 多媒体信息处理的必要性和可行性
表2.4-1 图像主观评价性能表
主观评价分 5 4 3 2 1
质量尺度 非常好 好 一般 差 非常差
妨碍观看尺度 丝毫看不出图像质量变坏 能看出图像质量变化，但不妨碍观看 清楚地看出图像质量变坏，对观看稍有妨碍 对观看有妨碍 非常严重地妨碍观看
第2章 多媒体信息处理的必要性和可行性
第2章 多媒体信息处理的必要性和可行性
7． 其他冗余 多媒体数据除了具有上面所说的各种冗余外， 还存 在一些其他的冗余类型。 例如， 图像的空间非定常特性 所带来的冗余等。 空间冗余和时间冗余是将图像信号看作为随机信号 时所反映出的统计特征， 因此有时把这两种冗余称为统 计冗余。 它们也是多媒体图像数据处理中两种最主要的 数据冗余。
图2.3-3 结构冗余示意图
第2章 多媒体信息处理的必要性和可行性
5． 知识冗余 人们通过认识世界而得到某些图像所具有的先验 知识和背景知识， 由此带来的冗余称为知识冗余。 例 如， 人脸的图像有固定的结构， 嘴的上方有鼻子， 鼻 子的上方有眼睛， 鼻子位于正脸图像的中线上等等。 这类规律的结构可由先验知识和背景知识得到， 因此 这类信息对一般人来说是冗余信息。
对空间冗余的压缩方法就是把这种集合块当作一 个整体， 用极少的数据量来表示它， 从而节省了存 储空间。 这种压缩方法叫空间压缩或帧内压缩， 它 的基本点就在于减少邻近像素之间的空间（或空域） 相关性。
第2章 多媒体信息处理的必要性和可行性
2． 时间冗余 时间冗余是活动图像和语音数据中经常包含的冗 余。 活动图像中的两幅相邻的图像有较大的相关性， 这反映为时间冗余。 同理， 在语音中， 由于人在说话 时其发出的音频是一个连续和渐变的过程， 而不是一 个完全的时间上独立的过程, 因而存在着时间冗余。 图 2.3-2 F1帧中有一辆汽车和一个路标P， 在经过时 间T后的图像区域， 它们形成了一个性质相同的集合块，
即它们之间具有空间（或空域）上的强相关性， 在图像
中就表现为空间冗余。 例如， 图2.3-1
，
图中央的黑色是一块表面均匀的积木块， 在图中， 黑
色区域所有点的光强和色彩以及饱和度都是相同的， 因
而黑色区域的数据表达有很大的冗余。
第2章 多媒体信息处理的必要性和可行性
而客观尺度通常有以下几种：
均方误差：
En
1 n
i
^
(x(i) x(i))2
信噪比：
峰值信噪比：
SNR(dB)
10lg
2 x
2 r
PSNR(dB)
10lg
xm2 ax
2 r
第2章 多媒体信息处理的必要性和可行性
3． 压缩和解压缩的速度 压缩与解压缩的速度是两项单独的性能度量。 有 些应用中， 压缩与解压缩都需要实时进行， 这称为对 称压缩， 如电视会议的图像传输； 在有些应用中， 压 缩可以用非实时压缩， 而只要解压缩是实时的， 这种 压缩称为非对称压缩， 如多媒体CD-ROM的节目制作。 从目前开发的压缩技术看， 一般压缩的计算量比解压 缩要大。 在静止图像中， 压缩速度没有解压缩速度要 求严格。
2． 重现质量 重现质量是指比较重现时的图像、 声音信号与原 始图像、 声音之间有多少失真， 这与压缩的类型有关。 压缩方法可以分为无损压缩和有损压缩。 无损压缩是 指压缩和解压缩过程中没有损失原始图像或声音的信 息， 所以对无损系统不必担心重现质量。 有损压缩虽然可获得较大的压缩比， 但压缩比过 高， 还原后的图像、 声音质量就可能降低。 图像和声 音质量的评估常采用客观评估和主观评估两种方法。 以图像信息压缩为例。 图像的主观评价采用5分制， 其分值在1～5分情况下的主观评价如表2.4-1所示。
第2章 多媒体信息处理的必要性和可行性
只是小车向前行驶了一段路程。 此时， F1和F2是时间 相关的， 后一幅图像F2在参照图像F1的基础上只需很 少数据量即可表示出来， 从而减少了存储空间， 实现 了数据压缩。 这种压缩对运动图像往往能得到很高的 压缩比， 这也称为时间压缩或帧间压缩。
第2章 多媒体信息处理的必要性和可行性
3.4 kHz×2×8=54.4 kbit 在上述采样条件下讲一分钟话的数据量约为400 kbit。
表2.2-1列出了支持语音、 图像、 视频等多媒体信号 高质量存储和传输所必需的未压缩速率以及信号特性。
第2章 多媒体信息处理的必要性和可行性
表2.2-1 各种信号的特性和未压缩速率
第2章 多媒体信息处理的必要性和可行性
以一般彩色电视信号为例， 设代表光强、 色彩和 色饱和度的YIQ空间中各分量的带宽分别为4 MHz、 1.3 MHz和0.5 MHz。 根据采样定理， 仅当采样频率大 于或等于2倍的原始信号的频率时， 才能保证采样后的 信号可被保真地恢复为原始信号。
第2章 多媒体信息处理的必要性和可行性
再设各样点均被数字化为8 bit， 从而1秒钟的电视 信号的数据量为
第2章 多媒体信息处理的必要性和可行性
2.4 数据压缩技术的性能指标
1． 压缩比 压缩性能常常用压缩比来定义， 也就是压缩过程 中输入数据量和输出数据量之比。 压缩比越大， 说明 数据压缩的程度越高。 在实际应用中， 压缩比可以定 义为比特流中每个样点所需要的比特数。
第2章 多媒体信息处理的必要性和可行性
此外， 还要考虑软件和硬件的开销。 有些数据的 压缩和解压缩可以在标准的PC硬件上用软件实现， 有 些则因为算法太复杂或者质量要求太高而必须采用专 门的硬件。 这就需要在占用PC上的计算资源或者另外 使用专门硬件的问题上做出选择。
第2章 多媒体信息处理的必要性和可行性
练习与思考题
1．结合某种多媒体通信的应用说明多媒体信息 的特点。
第2章 多媒体信息处理的必要性和可行性
2.1 多媒体信息的特点
要对多媒体信息进行处理就必须了解多媒体信息 的基本特征。 多媒体信息主要有三个特征：
（1） 数据量庞大： 和文本信息相比， 语音、 图像 的信息量就显得十分庞大。 例如， 用生动的语音表达 和文本文字相同的一段内容， 语音所需要的数据量要 比文本大10倍以上。 若要用图像来大体表示同样的意 思， 则图像所需要的数据量又不知道要大多少倍了。
（4＋1.3＋0.5）× 2 × 8 bit = 92.8 Mbit 因而一张640 MB容量的CD[CD*2]ROM能够存放 的原始电视数据（每字节附有2位校验位）为 640×8／［92.8×(1+0.25)］=44 s 也就是说， 一张普通光盘只能存放44 s的原始数据。
第2章 多媒体信息处理的必要性和可行性
很显然， 电视信号数字化后直接保存的方法是难以 令人接受的， 因而必须采取某些措施进行保存， 例如， 对图像数据进行压缩后再保存。
我们再来看看语音信号的数据量， 人在正常说话时 的音频一般在200 Hz～3.4 kHz， 即人类语音的带宽为3.4 kHz。 同样依据采样定理， 并设数字化精度为8 bit， 则 每秒的数据量为
面介绍的Huffman算法， 就可简单地将大约2 MB左右
的冗余数据寻找出来并压缩掉， 这样就可以节省出2
MB
。
第2章 多媒体信息处理的必要性和可行性
图2.3-1 空间冗余
第2章 多媒体信息处理的必要性和可行性
1． 空间冗余
空间冗余是在图像数据中经常存在的一种冗余。 在
任何一幅图像中， 均有许多灰度或颜色都相同的邻近像
第2章 多媒体信息处理的必要性和可行性
2.3 信息压缩的可行性
数据中通常包含很大的冗余， 数据的大小与所携 带的信息量的关系由下式给出：
I=D-r
(2.3-1)
其中， I、 D、 r分别为信息量、 数据量与冗余量。
以存储一本200万字的中文百科全书为例， 每个汉字以
2字节计算， 该书的数据量为4 MB。 我们只要使用后
（3） 复合性信息多， 同步性、 实时性要求高： 多 媒体通信系统中传输的往往是两种或两种以上媒体的 复合信息， 各类信息之间存在着很强的关联， 因此， 对信息传输的同步性及实时性的要求也就相当高了。
第2章 多媒体信息处理的必要性和可行性
2.2 信息压缩的必要性
多媒体信息的压缩技术是多媒体通信领域中的关 键技术之一， 不能对多媒体数据进行有效的压缩， 就 难以保证通信的顺利进行。
第2章 多媒体信息处理的必要性和可行性
（2） 码率可变、 突发性强： 代表多媒体信息的数 据流其码率是随着不同的信息内容、 所处的不同时间 而不断变化的。 人们讲话时的停顿、 所传场景图像中 物体的运动等都会形成码流速率的波动， 而且这种波 动往往呈现出极强的突发性。 再加上采用了种种信息 压缩编码的方法， 就更加剧了这种变化。