多媒体技术考点

1、多媒体和超媒体多媒体Multimedia：the combined use of several media, such as movies, slides, music, and lighting, especially for the purpose of education or entertainment。

多媒体是多种媒体信息的综合处理，是计算机技术。

超媒体（Hypermedia）：随着多媒体应用的出现和发展，文本这种组织管理信息的方式自然被引入到对多媒体信息的管理中。

这种系统就被称为超媒体系统。

2、真彩色：组成一幅真彩色彩色图像的每个像素值有R、G、B三个基色分量，每个基色分量直接决定显示设备的基色强度。

伪彩色：像素值作为彩色查找表(color look-up table，CLUT)的索引，去查找一个显示图像时使用的R，G，B值，并据此产生相应的彩色。

3、相加混色，直接由光源发出的光线，没有遇到物体反射；典型的就是RGB，混合red, green 与blue 光组成各种颜色。

任两种基色混合得到辅助色：cyan, magenta, yellow。

三种基色混合得到白色。

主要用于电视及计算机屏幕显示。

相减混色CMY(K)，主要用于染料、印刷、打印中。

为什么要有K？实际使用中需要单独增加黑色（Black），也就是CMYK(cyan magenta yellow black)中的K。

理论上将CMY三原色混合后可以将RGB光全部吸收而得到黑色，但是颜料的光线吸收与反射特性不够完美，混合后还是会有部分光线反射出来，呈现暗灰色或深褐色。

除黑色外，许多暗色系的颜色也很难混合得到。

所以为改善打印质量而增加了颜色分量K。

4、电视系统使用YUV/YIQ/YCbCr。

是为了更有效地压缩图像的数据量，利用人对色度的敏感程度低于对亮度的敏感程度人的视觉系统特性，把最大的带宽分配给表示亮度的Y信号，充分利用传输通道的带宽，节省存储空间。

另外，与黑白电视信号兼容的需要，黑白电视机中就只使用Y信号。

5、三种彩色视频信号类型复合视频信号(composite video signal)称为全电视信号（分离伴音），包含亮度信号、色差信号和所有定时信号的单一信号，一般只有水平240线的分辨率分量视频信号(component video signal)每个基色分量作为独立的电视信号，RGB或亮度-色差表示，如YIQ与YUV分离视频信号S-Video(Separated video）亮度和色差分离。

6、亚采样（Subsampling）：对色差信号使用的采样频率比对亮度信号使用的采样频率低。

亚采样利用人的视觉系统特性：人眼对色度信号的敏感程度比对亮度信号的敏感程度低，人眼对图像细节的分辨能力有一定的限度。

节省存储空间。

常见采样格式,记为a:b:c（a是亮度分量，b是奇数线色度分量，c是偶数线色度分量）YCbCr编码中，Y为亮度分量，CbCr用来表示色度分量，a:b:c表示Y分量：奇数线上的CbCr分量：偶数线上的CbCr分量。

7、声音数字化实际上就是采样和量化。

采样（sampling）－时间。

量化（quantization）－幅度。

两个关键参数：采样频率与量化精度。

采样频率：每秒钟需要采集多少个声音样本。

量化精度：反映度量声音波形幅度的精度，一般用每个声音样本的位数(bit per sample，bps)表示。

8、线性量化（均匀量化）均匀量化间隔。

E=Y-X称为量化误差或量化噪声。

为了适应幅度大的输入信号，同时又要满足精度要求，就需要增加样本的位数。

非线性量化（对数量化、非均匀量化）、非均匀量化间隔。

可以在满足精度要求的情况下用较少的位数表示输入信号幅度和量化输出两种对应关系：μ律算法与A律算法。

9、合成声音的两种方法：FM调频法，波表法。

10、MIDI和波形的区别：MIDI是用于在音乐合成器、乐器和计算机之间交换音乐信息的一种标准协议，是一套指令(即命令的约定)，它指示乐器即MIDI 设备要做什么，怎么做，如演奏音符、加大音量、生成音响效果等。

MIDI文件存储的是命令，而不是声音波形。

11、差分脉冲编码调制(DPCM)：利用样本与样本之间存在的信息冗余度来进行编码的一种数据压缩技术。

思路：根据过去的样本去估算(estimate)下一个样本信号的幅度大小，称为预测值，然后对实际信号值与预测值之差进行量化编码，由于差值的取值的动态范围小了很多，因此就减少了表示每个样本信号的位数。

ADPCM核心思想：（1）利用自适应的思想改变量化阶的大小，即使用小的量化阶去编码小的差值，使用大的量化阶去编码大的差值（2）使用过去的样本值估算下一个输入样本的预测值，使实际样本值和预测值之间的差值总是最小。

12、线性预测编码（LPC）：基本思想：LPC是通过分析话音波形来产生声道激励和转移函数的参数，对声音波形的编码实际就转化为对这些参数的编码，这就使声音的数据量大大减少。

13、信息熵。

信源S的熵定义为14、游程编码：AAAABB => 4A2B15、仙农-法诺编码：采用从上到下的方法进行编码，首先按照符号出现的频度或概率排序，然后使用递归方法分成两个部分，每一部分具有近似相同的次数。

霍夫曼编码：从下到上的编码方法。

编码步骤：根据符号概率的大小由大到小顺序对符号进行排序，放入一个OPEN队列。

由概率最小的两个符号创建一个父节点，以两者概率的和作为该结点的概率，插入OPEN队列；两个分支分别赋值0和1，然后从OPEN队列中删除子节点。

重复前一步骤，直到OPEN中仅有一个节点。

需要看懂课件中实际的编码例子。

16、算数编码（看懂课件中的例子）编码算法：low = 0.0;high = 1.0;while ( ( c = getc( input ) ) != EOF ) {range = high - low;high = low + range * high_range( c );low = low + range * low_range( c );}output ( low );解码算法：number = input_code();for ( ; ; ) {symbol= find_symbol_straddling_this_range(number);putc( symbol );range = high_range( symbol )- low_range( symbol );number = number - low_range( symbol );number = number / range;}17、字典编码LZW算法（看懂课件中的例子）编码算法：1：开始时的词典包含所有单字符，当前前缀P为空2：当前字符C:=字符流中的下一个字符；3：判断缀-符串P+C是否在词典中(1) 是：P:= P+C；//用C扩展P(2) 否:①把代表当前前缀P的码字输出到码字流;②把缀-符串P+C添加到词典;③令P:= C；//现在的P仅包含一个字符C4：判断码字流中是否还有码字要译(1) 是，就返回到步骤2；(2) 否①把代表当前前缀P的码字输出到码字流;②结束。

解码算法：1：在开始译码时词典包含所有单字符2：cW:=码字流中的第一个码字,输出到码字流。

3：先前码字pW:=当前码字cW，4：当前码字cW:=码字流中的下一个码字。

5：判断pW是否在词典中(1) 是，则：①pW输出到字符流，P:=pW，C:=cW的第一个字符。

②把P+C添加到词典。

(2) 否，则：①P:=pW，C:=cW的第一个字符。

②输出P+C到字符流，然后把它添加到词典中。

6：判断码字流中是否还有码字要译(1) 是，就返回到步骤3。

(2) 否, 结束。

18、无损JPEG（书上有，课件上没有）19、JPEG的主要步骤（课件）：预处理，DC编码，AC编码（书）：把RGB转换为YIQ或YUV，并且二次采样。

对图像块进行DCT 变换。

进行量化。

进行Z编序和游程编码。

进行熵编码。

JPEG常用的模式：顺序模式，渐进模式，分级模式，无损模式。

20、运动估计：在下一帧中寻找足球运动员的位置的策略。

运动补偿：为了最大程度上将球员从图像中减去，来回移动帧的位置。

21、I、P、B编码过程I帧：实际帧，P帧：前向预测帧，B帧：双向预测帧。

显示顺序：IBBPBBPBBP 编码和传输顺序：IPBBPBBPBB22、前向预测：用以前的帧作为参考帧进行预测双向预测：同时用以前和以后的帧作为参考帧进行预测搜索窗口：由于运动向量的搜索计算十分复杂，所以搜索经常限制在一个较小的相邻区域内，该限制区域就是搜索窗口。

23、顺序搜索：顺序搜索参考帧中整个（2p+1）*（2p+1）大小的窗口，将该窗口中的每一个宏块逐个像素地与目标帧中的宏块进行比较，得到它们各自的MAD（平均绝对误差），MAD最小的向量即为目标帧中宏块的运动向量。

书P20224、MPEG1：运动图像和相关音频的编码速率高达1.5Mbit/s，由五部分组成：Systems，Video，Audio，Conformance testing，Software simulation。

输入格式仅支持非隔行视频。

NTSC制为352像素×240行/帧×30帧/秒。

PAL制为352像素×288行/帧×25帧/秒。

压缩的输出速率定义在1.5 Mbit/s以下。

25、MPEG2：7种规格（profile）：Simple、Main、SNR scalable、Spatial scalable、High、Multi-view 、4:2:2。

4个等级（level）：High、High 1440、Main、Low，不是所有规格都有4个等级。

MPEG2支持如下的可伸缩性：SNR可伸缩性、空间可伸缩性、时间可伸缩性、混合可伸缩性、数据划分。

26、MPEG4是基于对象（object）的编码。

MPEG7与MPEG4的一个共同之处在于它们关注的都是视听对象。

MPEG7的一个主要目的是满足像数字图书馆这类应用中对于基于视听内容的检索的需要。

这种信息检索没有限制。

27、MPEG的层（书P282）MPEG音频压缩算法。

编码器解码器经罗行三指导，补充的内容：28、抖动：基本策略是以亮度分辨率换取空间分辨率。

用一个n*n的矩阵表示一个像素点的图像的值，这样可以表现（n的平方+1）级亮度分辨率。

但同时增加了图像的输出大小。

这就降低了局部的清晰度，从而降低图像的空间分辨率。

29、MPEG音频压缩主要要求大家掌握两个掩蔽现象掩蔽效应（Masking）：一种频率的声音阻碍听觉系统感受另一种频率的声音的现象称为掩蔽效应掩蔽声音(masking tone)，被掩蔽声音(masked tone)。