多媒体技术 核心考点

多媒体多媒体是指以数字化为基础，能够对多种媒体信息进行采集、编码、存储、传输、处理和表现，综合处理多种媒体信息并使之建立起有机的逻辑联系，集成为一个系统并能具有良好交互性的技术。

多媒体技术(multimedia computing)特征1多样性。

适应了信息载体的多样性，信息载体的多样性是相对于计算机而言的，指的就是信息媒体的多样化，有人称之为信息多维化。

2交互性。

易于人和计算机的交互，交互可以增加对信息的注意力和理解力，延长信息保留的时间。

3集成性。

实现了信息处理的集成性，多媒体集成性主要包括在两个方面：多媒体信息媒体的集成，处理这些媒体的设备与设施的集成4实时性。

声音、视频体香、动画等媒体是强实时的，多媒体系统提供了对这些时基媒体实时处理的能力。

媒体类型：视觉类媒体、听觉类媒体、触觉类媒体、其他感觉（嗅觉、味觉）类媒体。

（第2章PPT）多媒体元素：文本，图形，图像，视频，音频，动画。

（第2章PPT）各种媒体具有不同特点和性质：1媒体是有格式的，2不同媒体表达信息的特点和程度各不相同，3媒体之间可以相互转换，4媒体之间的关系也具有丰富的信息媒体具有空间性质：1表现空间，2媒体按相互的空间关系进行组织，3视觉空间、听觉空间和触觉空间这3者既相互独立又需要相互结合。

媒体的时间性质：1表现需要时间，2媒体在时间坐标轴上的相互关系。

媒体的语义：1媒体的语义是有层次的，2抽象的程度不同，语义的重点也就不同。

媒体结合的影响：1、媒体结合是多层次的，2媒体结合有利于信息接受和理解。

隐喻：交互的概念模型，也称心智模型音频的重要指标：振幅、周期、频率。

声音重要指标：频率、振幅、相位声音的量纲：分为物理量纲和心里量纲听觉特性：等响曲线，掩蔽，临界频带，相位，自然声音的时变现象，听觉空间，听觉的频谱特性，声音的心里模拟。

音频信号处理：人与计算机通信，计算机与人通信，人—计算机—人通信。

1计算机接收音频信号。

2也就是计算机输出音频。

包括音乐合成、语音合成、声音的定位以及音频视频的同步。

3人通过网络与异地的人进行语音通信，相关的音频处理有语音采集、音频的编码和解码、音频的存储、音频的传输、基于内容的检索等。

音频的数字化与再现：在计算机中所有的信息都以数字来表示，声音信号也是由一系列的数字来表示的，称为数字音频。

数字音频的特点就是保真度好，动态范围大。

数字音频是一个数列序列。

它是由外界声音经过采样、量化和编码后得到的。

对声音进行采样用奈奎斯特采样定理来决定采样的频率。

只要采样频率高于信号中最高频率的两倍，就可以从采样中完全恢复原始信号的波形。

（人耳20hz-20khz,一般采用44.1khz作为高质量声音的采样频率）数字音频的重要特性：采样频率、采样位数（8位或16位）、声道数、数据量。

数据量=（采样频率×每点采样位数×声道数）/8 （字节/秒）声音的符号化：也称为抽象化，两种类型：音乐、语音。

视觉特性：亮度、时间特性、色彩、注视点和视野范围。

（亮度：人眼对光强度的感受，时间特性：建立视觉图像需要时间，图像是逐渐消退的，色彩：表示颜色需要考虑三种心理属性：色调、亮度和饱和度。

视觉注视点主要集中在图像中黑白交界的部分，尤其是拐角处。

人眼的视野左右视角约为180度，上下约为60度。

但视力好的部位仅限于2到3度）模拟视频原理：光栅扫描原理、色彩视频。

触觉媒体任务：选择、定位、定向、路径、数量、操作。

视觉媒体数字化：对计算机来说，无论是文字或图形，还是图像或视频，在计算机上进行处理首先要数字化。

与音频信号相似，对所要处理的一幅画面，通过对每一个象素进行采样，并且按照颜色或者灰度进行量化，就可以得到图像的数字化结果。

位图图像与数字视频：数字化的结果放在显示缓存区中，与显示器上的点一一对应，这就是位图图像。

对视频按照时间进行数字化所得到的图像序列，就构成了数字视频序列。

它同样与频率和量化的比特数有关。

频率必须足够高，以跟上模拟信号流；量化的比特数越多，量化的值就越多，所能表示的颜色或灰度级数就越多。

图形：一种抽象化的图像，是对图像依据某个标准进行分析而产生的结果。

它不直接描述数据的每一点，而是描述产生这些点的过程及方法。

因此被称之为矢量图形，一般直接称为图形。

符号与文字：符号媒体--某种抽象的结果。

各种描述量、语言、数据、标识符、数值、字符等都是符号媒体。

文字--由于符号具有明显的结构性，大脑可以识别这种结构，进而可识别出由这一组符号所代表的信息。

符号媒体特点：1符号媒体要知识的辅助才能使用，2符号媒体表达精度高3符号媒体存储量小。

文本媒体特点：1文本是流结构形式2对文本的控制不影响媒体信息本来的表达3文本显示的改变只是属性的改变，并不影响文本本身的含义4对文本的处理应遵从文本内部的结构多媒体处理的数据压缩和指标（第3章PPT）数据压缩性能指标：1压缩比2图象质量3压缩和解压的速度。

数据压缩方法：无损压缩、有损压缩。

1根据解码后数据与原始数据是否完全一致可以分为两大类：一类是熵编码、冗余压缩法，也称无损压缩法、无失真压缩法；二是熵压缩法，也称有损压缩法、有失真压缩法。

2从信息语义角度分为“熵(平均信息量)编码”和“源编码”两种。

模拟图象质量的指标：信噪比、分辨率、颜色错数据冗余类型：1空间冗余：在同一幅图像中，规则物体和规则背景的表面物理特性具有相关性，这些相关性的光成像结果在数字化图像中就表现为数据冗余。

2时间冗余：时间冗余反映在图像序列中就是相邻帧图像之间有较大的相关性，一帧图像中的某物体或场景可以由其它帧图像中的物体或场景重构出来。

3信息熵冗余。

4视觉冗余：人类视觉的一般分辨能力为26灰度等级，而一般图像的量化采用的是28灰度等级，即存在着视觉冗余。

5听觉冗余：人耳对不同频率的声音的敏感性是不同的，并不能察觉所有频率的变化，对某些频率不必特别关注，因此存在听觉冗余。

6其它冗余：包括结构冗余、知识冗余等。

音频压缩的基本方法：1无失真压缩（Huffman编码、行程编码）、2有失真压缩（波形编码、参数编码、混合编码）语音压缩标准：G.711 /721/723 /728。

广播G.722图像和视频压缩方法：无失真压缩、有失真压缩（1、huffman编码、行程编码、算数编码、LZW编码。

2预测编码、变换编码、模型编码、基于重要性、混合编码）静止图像压缩标准：JPEG标准、JBIG标准、ITU-T的G3、G4标准JPEG压缩标准：1压缩比高，图像质量保真程度好；2算法能适应不同的数字图像参数、大小、图像内容、彩色空间、统计特性等，但不包括二值图像；3用户可以对压缩比、质量效果进行选择；4应该满足硬软件实现的计算需求；5支持多种操作方式。

）MPEG标准的目标是以约1.5Mbps的速率传输电视质量的视频信号，亮度信号的分辨率为360×240，色度信号的分辨率为180×120，每秒30帧。

MPEG-Ｉ标准包括：MPEG系统，MPEG视频，MPEG音频，测试验证，四大部分内容。

所以MPEG涉及的问题是视频压缩、音频压缩及多种压缩数据流的复合和同步问题。

MPEG-4是多媒体信息描述的最新标准，它所涉及的应用范畴包括有线、无线、移动通信和因特网等领域。

MPEG-Ⅳ是以内容为中心的描述方法，对信息元的描述更加符合人的心理，不仅可以获得比现有标准更为优越的性能，还提供了各种新的功能。

光存储设备类型、技术指标、基本格式（第4章PPT）光存储设备类型：只读型光存储系统（只读型光盘包括LV和CD-ROM等），一次写型光存储系统（一次写（WORM）光存储系统可一次写入，任意多次读出），可重写型光存储系统（可重写光盘（E-R/W，Rewritable或Erasable）像硬盘一样可任意读写数据--分为两种，磁光型（Magnetic Optical，简称MO），相变型（Phase Change，简称PC））技术指标：尺寸、容量、平均存取时间、数据传输率、误码率、平均无故障时间基本格式：CD-DA：为激光数字音频唱盘制定的规格。

CD标准的第一个文本，属于红皮书规格。

CD-ROM逻辑格式：黄皮书。

CD-G：遵循红皮书规格的光盘，主要用于存储静止画面。

CD-WORM：属于蓝皮书规格，实现了光盘的一次写多次读的功能。

CD-I：属于绿皮书规格。

在CD-ROM基础上补充了音频、视频和计算机程序方面的规定。

CD-V：红皮书标准的延伸，用于影碟机，其视频信号可以输出到电视机上。

CD-ROM XA：Philips、SONY和Microsoft 制定的CD-ROM扩展结构。

扩充了对数字音频信号的编码，目的是为了弥补推出CD—I规格带来的问题。

该规格也称为黄皮书的第二组标准。

CD-R（：橙皮书规格。

在黄皮书的基础上增加了可写入的多种CD格式标准。

Photo CD：像片光盘，允许多段追入记录，属于白皮书标准。

多媒体软件系统（第5章PPT）多媒体软件系统层次：按照功能分为5类4个层次：1多媒体驱动软件（多媒体软件中直接和硬件打交道的软件称为驱动程序，它完成设备的初始化、各种设各操作以及设备的打开、关闭、基于硬件的压缩解压、图像快速变换等基本径件功能调用等等）2支持多媒体的操作系统或操作环境（又称多媒体核心系统。

具有实时任务调度、多媒体数据转换和同步控制机制，对多媒体设备的驱动和控制，以及具有图形和声像功能的用户接口等。

一般是在已有操作系统基础上扩充和改造，或者重新设计）3多媒体数据准备软件（用于采集多种媒体数据的软件，如声音录制、编辑软件；图像扫描及预处理软件，全动态视频采集软件；动画生成编辑软件等。

从层次角度来看，多媒体数据准备软件不能单独算作一层，它实际上是创作软件中的一个工具类部分）4多媒体编辑创作软件（又称多媒体创作工具，是多媒体专业人员在多媒体操作系统之上开发的供特定应用领域的专业人员组织编排多媒体数据、并把它们联接成完整的多媒体应用的系统工具。

它可以提供不同的编辑、写作方式：基于脚本语言的写作工具，如Tool Book；基于流程图的写作工具，如Authorware；基于时序的写作工具，如Action；）5多媒体应用软件（在多媒体硬件平台上设计开发的面向应用的软件系统，由于与应用密不可分，有时也包括那些用软件创作工具开发出来的应用）多媒体制作工具：指能够集成处理和统一管理多媒体信息，使之能够根据用户的需要生成多媒体应用系统的工具软件。

多媒体著作工具的八个功能和特性1编程环境2超媒体功能和流程控制功能3支持多媒体的数据输入和输出4动画制作和演播5应用程序间的动态链接6制作片段的模块和面向对象化7界面友好8良好的扩充性多媒体设计过程（第5章PPT）1应用目标分析(确定应用目标、建立应用内容知识结构、使用的对象)2脚本编写(应用内容的文字脚本--按照应用过程的先后顺序，用于描述每一个环节的应用内容及其呈现方式的一种形式。