多媒体技术 核心考点

多媒体

多媒体是指以数字化为基础，能够对多种媒体信息进行采集、编码、存储、传输、处理和表现，综合处理多种媒体信息并使之建立起有机的逻辑联系，集成为一个系统并能具有良好交互性的技术。

多媒体技术(multimedia computing)特征

1多样性。适应了信息载体的多样性，信息载体的多样性是相对于计算机而言的，指的就是信息媒体的多样化，有人称之为信息多维化。2交互性。易于人和计算机的交互，交互可以增加对信息的注意力和理解力，延长信息保留的时间。3集成性。实现了信息处理的集成性，多媒体集成性主要包括在两个方面：多媒体信息媒体的集成，处理这些媒体的设备与设施的集成4实时性。声音、视频体香、动画等媒体是强实时的，多媒体系统提供了对这些时基媒体实时处理的能力。

媒体类型：视觉类媒体、听觉类媒体、触觉类媒体、其他感觉（嗅觉、味觉）类媒体。（第2章PPT）

多媒体元素：文本，图形，图像，视频，音频，动画。（第2章PPT）

各种媒体具有不同特点和性质：1媒体是有格式的，2不同媒体表达信息的特点和程度各不相同，3媒体之间可以相互转换，4媒体之间的关系也具有丰富的信息

媒体具有空间性质：1表现空间，2媒体按相互的空间关系进行组织，3视觉空间、听觉空间和触觉空间这3者既相互独立又需要相互结合。

媒体的时间性质：1表现需要时间，2媒体在时间坐标轴上的相互关系。

媒体的语义：1媒体的语义是有层次的，2抽象的程度不同，语义的重点也就不同。

媒体结合的影响：1、媒体结合是多层次的，2媒体结合有利于信息接受和理解。

隐喻：交互的概念模型，也称心智模型

音频的重要指标：振幅、周期、频率。

声音重要指标：频率、振幅、相位

声音的量纲：分为物理量纲和心里量纲

听觉特性：等响曲线，掩蔽，临界频带，相位，自然声音的时变现象，听觉空间，听觉的频谱特性，声音的心里模拟。

音频信号处理：人与计算机通信，计算机与人通信，人—计算机—人通信。1计算机接收音频信号。2也就是计算机输出音频。包括音乐合成、语音合成、声音的定位以及音频视频的同步。3人通过网络与异地的人进行语音通信，相关的音频处理有语音采集、音频的编码和解码、音频的存储、音频的传输、基于内容的检索等。

音频的数字化与再现：在计算机中所有的信息都以数字来表示，声音信号也是由一系列的数字来表示的，称为数字音频。数字音频的特点就是保真度好，动态范围大。数字音频是一个数列序列。它是由外界声音经过采样、量化和编码后得到的。对声音进行采样用奈奎斯特采样定理来决定采样的频率。只要采样频率高于信号中最高频率的两倍，就可以从采样中完全恢复原始信号的波形。（人耳20hz-20khz,一般采用44.1khz作为高质量声音的采样频率）

数字音频的重要特性：采样频率、采样位数（8位或16位）、声道数、数据量。

数据量=（采样频率×每点采样位数×声道数）/8 （字节/秒）

声音的符号化：也称为抽象化，两种类型：音乐、语音。

视觉特性：亮度、时间特性、色彩、注视点和视野范围。（亮度：人眼对光强度的感受，时间特性：建立视觉图像需要时间，图像是逐渐消退的，色彩：表示颜色需要考虑三种心理属性：色调、亮度和饱和度。视觉注视点主要集中在图像中黑白交界的部分，尤其是拐角处。人眼的视野左右视角约为180度，上下约为60度。但视力好的部位仅限于2到3度）

模拟视频原理：光栅扫描原理、色彩视频。

触觉媒体任务：选择、定位、定向、路径、数量、操作。

视觉媒体数字化：对计算机来说，无论是文字或图形，还是图像或视频，在计算机上进行处理首先要数字化。与音频信号相似，对所要处理的一幅画面，通过对每一个象素进行采样，并且按照颜色或者灰度进行量化，就可以得到图像的数字化结果。

位图图像与数字视频：数字化的结果放在显示缓存区中，与显示器上的点一一对应，这就是位图图像。对视频按照时间进行数字化所得到的图像序列，就构成了数字视频序列。它同样与频率和量化的比特数有关。频率必须足够高，以跟上模拟信号流；量化的比特数越多，量化的值就越多，所能表示的颜色或灰度级数就越多。

图形：一种抽象化的图像，是对图像依据某个标准进行分析而产生的结果。它不直接描述数据的每一点，而是描述产生这些点的过程及方法。因此被称之为矢量图形，一般直接称为图形。

符号与文字：符号媒体--某种抽象的结果。各种描述量、语言、数据、标识符、数值、字符等都是符号媒体。文字--由于符号具有明显的结构性，大脑可以识别这种结构，进而可识别出由这一组符号所代表的信息。

符号媒体特点：1符号媒体要知识的辅助才能使用，2符号媒体表达精度高3符号媒体存储量小。文本媒体特点：1文本是流结构形式2对文本的控制不影响媒体信息本来的表达3文本显示的改变只是属性的改变，并不影响文本本身的含义4对文本的处理应遵从文本内部的结构

多媒体处理的数据压缩和指标（第3章PPT）

数据压缩性能指标：1压缩比2图象质量3压缩和解压的速度。

数据压缩方法：无损压缩、有损压缩。1根据解码后数据与原始数据是否完全一致可以分为两大类：一类是熵编码、冗余压缩法，也称无损压缩法、无失真压缩法；二是熵压缩法，也称有损压缩法、有失真压缩法。2从信息语义角度分为“熵(平均信息量)编码”和“源编码”两种。

模拟图象质量的指标：信噪比、分辨率、颜色错

数据冗余类型：1空间冗余：在同一幅图像中，规则物体和规则背景的表面物理特性具有相关性，这些相关性的光成像结果在数字化图像中就表现为数据冗余。2时间冗余：时间冗余反映在图像序列中就是相邻帧图像之间有较大的相关性，一帧图像中的某物体或场景可以由其它帧图像中的物体或场景重构出来。3信息熵冗余。4视觉冗余：人类视觉的一般分辨能力为26灰度等级，而一般图像的量化采用的是28灰度等级，即存在着视觉冗余。5听觉冗余：人耳对不同频率的声音的敏感性是不同的，并不能察觉所有频率的变化，对某些频率不必特别关注，因此存在听觉冗余。6其它冗余：包括结构冗余、知识冗余等。

音频压缩的基本方法：1无失真压缩（Huffman编码、行程编码）、2有失真压缩（波形编码、参数编码、混合编码）