多媒体复习指南及答案

多媒体复习指南及答案1.多媒体通信概述（1）.举例论述对“Multimedia=Variety+Integration+Interaction”的理解。

要点：Variety：多种媒体（声、像、图、文）Integration:将多种不同类型媒体集成为一体Interactivity:用户与系统之间交互、通信比如：数字电视这种多媒体系统，将电视节目、电影、文字信息等多种信息（Variety），通过MPEG-2流的方式整合（Integration），利用DVB网络与用户交互（Interaction）。

（2）分析多媒体通信中的“Synchronization”和“Networkofferings”特征。

Networkofferings：网络承载Synchronization：同步承载层起到承上启下的作用，对它的基本要求是：按照业务层的要求把每个业务信息流从源端引导到目的端；按照每种业务的属性要求调度网络资源确保业务的功能和性能；实现多媒体业务对通信形态的特殊要求；它将适应各种类型数据流的非固定速率特性，并提供统计复用功能；通过在承载层组建不同的承载VPN，可以为不同类型和性质的通信提供其所需要的QoS保证和网络安全保证。

多媒体信息本身具有一定的时效性，因此在通信过程中,终端显示的多媒体信息必须问步、且能与其它媒体同步,这也是多媒体通信的一个重要特点。

2.多媒体数据压缩国际标准（3）爱迪生的留声机、磁带录音机、CD-DA、MP3对声音进行记录和存储的方式有何区别，试分析音频存储技术变化的趋势。

1、爱迪生的留声机用机械刻纹的方式记录，以音槽形式存储模拟声音信号。

磁带录音机，利用磁记录原理直接记录和存储模拟声音信号。

CD-DA（CompactDisc-DigitalAudio）采用数字方式记录声音信息，通过对模拟声音信号进行采样、量化、编码，将声音信息以0、1数字信号的形式通过激光刻录存储在光盘上。

MP3（MovingPictureExpertsGroupAudioLayerIII）除了对模拟音频信号做AD转换外，根据声音信号的时间冗余和人耳的听觉特点还对转换后的数字音频信号进行压缩、编码，从而既降低了存储成本，又保证了声音质量。

2、以数字技术主导的现代信息技术中，对声音的记录和存储方式由模拟到数字方式转变推动了音频信息技术的发展。

随着多媒体技术和互联网技术的普及，人们对声音的记录、存储、传输变得频繁。

高质量、小体积是音频存储技术的发展目标。

实现的技术从单纯的对音频数据去除本身的冗余，到重视人们的听觉特点和体验，音频数据的压缩方式变得更加综合。

（4）JPEG压缩标准中为何选择DCT变换？MP3压缩中为何选择MDCT变换？因为JPEG压缩对象为静止图像，而图像是空间信号，采用2D-DCT变换能够很好地去除空间信号的相关性，从而去除图像的空间冗余；其次DCT变换具有快速算法来实现，借此可以得到较高的算法效率；MP3压缩对象为音频信号，即一维时间信号。

在MP3压缩算法中，由于心理声学模型的引入，当一段语音信号的连续两帧波动差别较大时，波动较小的帧将被当做噪声，而对之选用较大的量化步长，进而造成严重失真。

MDCT变换通过对相邻两帧的语音信号进行加窗，然后做DCT变换，起到了平滑作用，可以很好地解决这个问题。

（5）JPEG系列的各图像压缩标准（JPEG、JPEG-LS、JPEG2000、JPEGXR）实现压缩的技术手段中各自体现了哪些思想？JPEG：1、色彩空间由RGB转换到YUV，通过选取不同的缩减采样方式可以对图像做不同压缩程度的压缩，该方法利用了人眼对亮度差异的敏感度高于色彩变化的视觉特点。

2、通过对图像作DCT变换，该方法去除了图像的空间冗余。

3、通过对DCT变换系数做有区别的量化，降低了数据量又保证了图像的视觉效果，该方法利用了人眼对高频亮度变动的分辨较弱的特点。

4、Z字形扫描DCT系数，采用熵编码方式对图像编码，该方法结合了DCT系数在空间上的分布特点。

JPEG-LS:利用图像在空间上的相关性，采用了适应预测、上下文建模和Colomb编码的方法来压缩冗余。

JPEG2000:基于小波变换、标量量化、上下文建模、算术编码以及后压缩率配置；不会产生基于DCT变换的JPEG标准产生的块状模糊问题。

JPEGXR:使用可逆的色彩空间变换、可逆的重叠双正交变换，非算数熵编码机制，从而可以高效地保存高频率的图像数据，在高压缩率的情况下保持很好的图像质量。

（6）采用滤波的方法能否滤出量化噪声？为什么？不能。

因为量化噪声实际上是量化误差，并不是真正的噪声；量化处理将输入归总到与其相近的输出级别，该过程必然带来信息的丢失，从而产生量化误差（量化噪声），而且该过程不可逆，采用滤波方法是无法滤出量化噪声的。

（7）采用分块方式的变换编码存在哪些缺点？说明在MP3中如何克服该问题。

分块方式的变换编码会存在块效应现象，在MP3中使用MDCT代替DCT，MDCT 连续帧之间使用“时域交叠取样”技术，可以很好地消除不同帧由于量化差异造成的块效应现象。

（8）K-L变换为何被称为最佳变换？为何它在数据压缩领域没有得到广泛应用？K-L变换是建立在统计特性基础上的一种变换，实质上是作坐标系的转换，尽量让向量落在最少的坐标轴上或其范围，从而只用较少的变换系数就可以恢复出质量不错的图像，压缩效率比较高，均方误差小。

K-L变换是均方误差意义下的最优变换。

但是一旦图像变化后，就要重新找到一个变换的坐标系才能使其投影最稀疏，即变换核矩阵要重新计算，计算过程比较复杂，所以在数据压缩领域没有得到广泛应用。

（9）采用Wavelet、Ridgelet、Curvelet、Contourlets等不同变换有何差异？Wavelet即小波变换，对于一维信号中的点奇异特征具有优良的表示能力；Ridgelet即脊波变换，能够更有效地表征信号内具有方向性的奇异特征；Curvelet是对脊波变换的改进，能够较好地表现曲线的奇异特征；Contourlet即轮廓波变换，也可以较好地表现曲线的奇异特征，其方法与Curvelet不同。

（10）什么是压缩感知？其要素有哪些？压缩感知通过开发信号的稀疏特性，在远小于Nyquist采样率的条件下，用随机采样获取信号的离散样本，然后通过非线性重建算法完美的重建信号。

信号的稀疏性是压缩感知理论的一个重要前提，并且直接影响着信号感知的效率。

压缩感知的关键是观测矩阵的构造。

非线性优化是CS重建信号的手段,也是从低分辨观测中恢复出高分辨信号所必须付出的软件代价。

（11）定性讨论采用DCT变换的时候，对变换前的样本做量化和对变换后的系数做量化所产生的结果有何差异。

DCT将原始样本转换成代表不同频率分量的系数集，对系数量化后的数据直流分量相对于交流分量来说要大，而且交流分量中含有大量的0。

这样便于对量化后的数据进行简化，从而提高压缩比。

而DCT变换前对样本的量化并不能减少频率成分，不能达到较高的压缩比。

量化会带来原始数据的部分丢失，精度下降。

在DCT变换之前对样本做量化，会将两个量化级内的数据变换成相同的，之后将该样本数据变换到频域后就会影响数据频域特性，造成误差累积到频域中，进一步降低数据精度。

（12）相比于MPEG2，H.264引入了哪些措施提高压缩比？①运动补偿（减少时间冗余）：14像素精度的运动估计、7种大小不同的块匹配、前向与后向多个参考帧。

②帧内预测（减少空间冗余）：9种4×4亮度块、4种16×16亮度块和4种色度块的预测模式。

去除相邻块之间的相关性。

③熵编码的改进CAVLC/CABAC④空间域到频率域的变换：DCT→4×4整数变换；52级步长的量化器，量化步长以12.5%递增。

（13）定性讨论视频质量可伸缩性可以通过哪些措施实现。

采用层结构:基本层和增强层，一个基本层，一个或多个增强层。

增强层可以通过三种方式实现可伸缩性：spatialscalability、temporalscalability、qualityscalability。

有时候，也可以采用感兴趣区域的伸缩和基于实物的伸缩。

不同的伸缩方法可以再同一码流中结合使用。

（14）ITU-RBT.656并行/串行传输模式的信号格式，与模拟电视扫描信号结构有何联系？ITU-RBT.656通过定义的定时基准信号（SAV、EAV）实现一行图像的开始和结束，模拟电视扫描信号结构是逐行扫描或隔行扫描的。

这里一次定时基准信号的出现标志着一行图像传送结束，是类似于模拟电视信号的一行扫描完成的，不论是前者还是后者都是先将一行信号串行发送在并行重组实现接收显示。

（15）HDMI中视频数据周期、数据岛周期、控制周期的定义与模拟电视扫描信号结构有何联系？模拟电视扫描信号结构进行逐行扫描时从左向右开始扫描，扫描一行完成后进行回扫及行消隐操作，同时在此过程中传送语音信号。

在HDMI规程中，视频数据周期主要完成视频像素的传送操作，是类似于逐行扫描操作的，数据岛周期完成语音信号和辅助信号的操作，类似于模拟电视信号的语音传送部分，而控制周期控制个视频块的扫描周期，类似于模拟电视信号中一行数据扫描结束和下一行数据扫描开始的控制功能。

（16）根据数码相机的组成结构分析影响最终照片质量的因素。

数码相机是通过光学系统将影像聚焦在成像元件CCD/CMOS上，通过A/D转换器将每个像素上光电信号转变成数码信号，再经DSP处理成数码图像，存储到存储介质当中。

影响最终照片成像质量的因素包括成像器件的像素水平（分辨率水平），其他条件一致情况下，像素水平越高，图像质量越高；色彩位数，数码相机的色彩位数指标反映了数码相机能正确记录的色调有多少，色彩位数越高，相应的图像细节越真实；A/D转换精度，该精度直接影响数码图像的颜色表现；镜头性能，主要性能包括镜头的分辨率和明锐度，一般镜头口径和相对孔径大，成像效果好；感光度，数码相机上感光度通过调整CCD 电荷输出时的增益实现的，感光度对于图像的质量有很大影响；图像压缩格式（图像处理算法）等等。

3.多媒体同步机制（17）DAB和DVB系统中除了音频或视频之外需要存储/传输的额外信息包括哪些？各采用什么方式予以解决。

DAB：1、额外存储/传输的信息：同步信息，发射机标识信息，时间频率TFPR，CRC校验信息等；2、解决方式：利用帧开头的部分传递同步信息、发射机标识信息、时间频率，crc校验信息，利用帧后面的PAD与X-PAD等附加区域，传递附加信息，实质上是修改帧的对应区域。

DVB：1、额外存储/传输的信息：节目特殊信息PSI，服务信息SI，同步、PID信息；2、解决方式：将PSI、PMT与SI等附加信息放进188字节的TS包进行传递。