27108多媒体技术自考复习资料

27108多媒体技术自考复习资料
第1章导论
（一）多媒体与多媒体技术
1、识记
媒体有两重含义:一是指存储信息的实体，如纸张、磁带。

二是指传递信息的载体，如数字、文字
媒体：是指人们日常所接触信息的表示或传播的载体
多媒体计算技术定义：使用计算机综合处理文本、声音、图形、图像、动画、视频等多种不同类型媒体信息的技术。

实质是通过数字化采集、获取、压缩/解压缩、编辑、存储等加工处理，以单独或合成的形式表现出来的一体化信息处理技术。

多媒体计算技术是建立在计算机技术基础之上。

计算机及其相关技术的发展是其重要支持和保证。

（清华大学出版-《计算机科学技术百科全书》-1998年）
多媒体应用技术：利用计算机软件及相关技术将不同类型的媒体信息有机地组合在一起，并赋予人机交互功能，从而创造出集多种表现形式于一体的多媒体应用系统
多媒体应用技术的主要内容：
(1)多媒体素材的制作与处理。

{2)多媒体应用数据的集成技术与创作工具。

(3)多媒体应用系统的设计开发方法。

(4)多媒体应用系统的管理与维护技术。

2、领会
多媒体：融合了两种或两种以上媒体的交互式信息流和传播媒体。

多媒体技术：使用计算机或者其他由微处理器控制的终端设备综合处理文本、声音、图形、图像、动画、视频等各种类型媒体信息的技术。

其实质是通过进行数字化采集、获取、压缩/解压缩、编辑、存储等处理，再以单独或合成形式加以表现的一体化处理技术。

多媒体技术特性:信息载体的多样性、集成性、交互性。

多样性：信息载体多样性是相对于计算机而言的，是指信息媒体的多样化--信息多维化。

人类对于信息的接收和产生主要集中在5个感觉空间内。

多媒体的信息多样化不仅是指输人和输出的信息多样化，还是指输人和输出信息的转换和处理。

集成性：一方面是指把单一的、零散的媒体有效地集成在一起，即信息载体的集成，它使计算机信息空间相对地得到完善，并能充分得以利用;另一方面，集成性还充分表现在多媒体系统硬件和软件实体的集成上。

交互性：交互性将为用户提供更加有效、灵活的控制和使用信息的手段，也为多媒体技术的应用开辟了更为广阔的空间
多媒体计算技术中的关键技术：
(1)音频、图像、视频等媒体数据压缩/解压缩技术
(2)多媒体专用芯片技术（超大规模集成电路-VLSI）
(3)多媒体存储和检索技术
(4)多媒体输人输出技术
(5)多媒体系统软件技术
(6)多媒体网络及传输技术
多媒体应用没计中的关键技术：
(1)多媒体素材的采集、制作和处理
(2)多媒体数据集成技术
(3)多媒体应用系统开发中的软件技术
(4)界面设计与人机交互技术
(5)通讯应用技术
(6)虚拟现实技术（人机接口技术）
理解应用
虚拟现实技术：利用计算机所生成的一种模拟环境，通过多种传感设备使用户投入此环境，实现用户与这一环境直接进行自然交互的技术。

投入是虚拟现实的本质。

虚拟现实技术的重要特征：
1 多感知性（视觉-听觉-触觉。

）
2 临场感
3 交互性（可操作实时性）
4 自主性（虚拟物体根据物理规律动作的程度）
多媒体技术不包括触觉、味觉等感知，处理对象主要是二维的，而虚拟现实则发展了多媒体技术。

虚拟现实应用系统目前可分为3种:投入式、非投入式及混合式。

投入式：看到计算机图像，看不到真实世界
非投入式：看到真实世界和虚拟世界（系统简单价格适中）
混合式：虚拟世界图像叠加在真实世界的景像上，增强现实功能（飞行，航海模拟器）
虚拟现实目前的发展方向是X3D景物，增强现实，混合现实和3D交互。

（二）多媒体计算机系统组成
1.识记
音频卡(Audio Card )也称为声卡(Sound Card)，是MPC录制、处理和输出声音的专用功能卡
音频卡功能:录制声音/音频信号的编辑与合成处理/语音合成和识别/控制电子乐器/播放音频文件
音频卡性能：数据转换位数（8-16-32位）、采样频率（决定失真度44.1khz）、兼容性
视频卡是专门用于对视频信号进行实时处理的硬件没备，“视频信号处理器”，‘对来自录像机、摄像机、光盘的视频信号进行数字化转换、编辑和处理，最后形成数字化视频文件并加以保存。

视频卡的基本功能：视频输入（PAL+NTSC+SECAM），图像与视频混合，图像采集，画面处理
视频卡的分类：视频采集卡，视频转换卡，视频压缩卡，视频解压卡，视频合成卡
视频卡的性能：输人输出信号模式、画面分辨率、色彩模式、所支持的图像文件格式
显卡是工作在CPU和显示器之间的显示适配器(Display Adapter)接口的简称，显卡与显示器共同组成计算机显示系统。

显卡功能：接收CPU和存储器发来的信息，将其进行处理和转换后向显示器发送视频信号和同步信号。

显卡分类：一般显卡，图形加速卡，3D图形卡，TV集成显卡，显示/视频输出集成卡
多媒体操作系统：多媒体操作系统是多媒体系统的核心。

多媒体的各种软件都要运行于多媒体操作系统平台上。

多媒体操作系统综合使用各种媒体、灵活调度多媒体数据进行信息传输和处理控制各种媒体硬件设备和谐地工作，也就是将种类繁多的硬件有机地组织在一起，使用户灵活控制，并组织，操作。

多媒体操作系统是一个实时多任务系统，控制和管理所有设备和软件协调工作、处理输人输出方式和信息、提供软件维护工具等。

用户图形界面GUI，动态链接库DLL，动态数据交换DDE，嵌入OLE，接口API，媒体控制接口MCI
多媒体数据库：（关系型数据库不适合多媒体管理），需要从多媒体数据模型，压缩，解压格式，数据管理，存取方法及用户界面等几个方面研究。

多媒体数据对通讯带宽要求高，需要高速网络，要解决数据集成，查询，调度和共享的问题，及研究分布式数据库技术，将人工智能与数据库技术向结合的智能多媒体数据库，这是重要发展方向。

多媒体创作工具：媒体素材制作工具+多媒体应用系统创作工具
素材制作：图像，音频，视频，动画处理软件
多媒体应用系统创作工具：编辑生成特定领域的多媒体应用软件。

有脚本语言解释系统的，用基于图标导向的，基于时间导向的。

2.领会
多媒体系统：多媒体系统是指由多媒体终端设备、多媒体网络设备、多媒体服务系统、多媒体软件和多媒体数据等构成的有机整体。

多媒体系统构成：多媒体系统大致分为多媒体计算机系统和多媒体通信系统两大组成部分。

多媒体计算机系统负责多媒体信息的处理和加工，而多媒体通信系统则负责多媒体信息的传输。

多媒体计算机系统的基本组成目前仍可分为多媒体硬件系统和多媒体软件系统两大部分。

个人计算机=MPC
多媒体个人计算机最初是在原有的PC上增加多媒体套件升级为MPC（声卡光驱解压卡+驱动+软件）MPC主机的传统概念是由计算机中核心的主机板硬盘驱动器、CD-ROM驱动器及输人输出接口所构成的。

CPU(中央处理器)是计算机运算器和控制器的集成
主存也称为内存，除了CPU之外，决定计算机运行速度的主要因素就是主存
总线是MPC实现各部件的连接、传送各种多媒体信息的公共通道，即公用信号线。

近年出现了两种全新的接口，即USB与IEEE 1394
IEEE 1394原为Apple公司开发的计算机接口技术，被称为Fire Wire(火线)
多媒体功能板卡是根据多媒体系统获取、编辑音频或视频的需要而设计的插接在MPC主机扩展槽上以解决各种媒体数据的输人输出问题的接口卡。

（音-视-显3种卡）
MPC主机：MPC主机板、CPU、主存、总线与接口、音频卡、视频卡、显示卡
多媒体输人输出设备按其功能可分为以下4类：
(l)文本、图像、视频、音频输入设备(扫描仪、数字摄像机、数码相机、录像机或影碟机、传真机、手机等) (2)文本、图像、视频、音频输出设备(打印机、电视机、大屏幕投影仪、音响等)。

(3)既可输人也可输出的人机交互设备(键盘、鼠标、触摸屏、绘图板、光笔及手写输人设备等)。

(4)辅助存储设备(磁盘、光盘、可移动硬盘以及U盘等)。

输人是指把数据输人计算机系统的过程。

输人设备的工作方式有脱机、联机、自动(源数据自动化)和直接输人这4种
输出的任务是把计算机所处理的数据转换成用户需要的形式。

输出设备目前可分成三类:显示输出、硬拷贝输出，语音输出。

多媒体通信设备：主要是指网络通信设备，包括网洛交疾机、路由器、宽带上网适配器、智能手机、移动终端等通过传统通信线路或者利用现代宽带技术与网络连接的各类设备。

与MPC合为一体的有调制解调器、网卡/传真通信卡
调制解调器：利用模拟信号的传输线路传输数字信号。

网卡：将计算机作为终端设备接入局域网中
传真/通信卡：它集传真功能、通信技术和计算机技术于一体。

（三）媒体类型和媒体元素概述
识记
文本：Text指各种文字、符号，包括各种字体、字号、格式及色彩的文本。

是传递信息最自然、最主要的媒体类型
音频：计算机术语中的音频(Audio)信号就是通常所说的声音（模拟和数字音频）
图形：从点、线、面到三维空间的黑白或彩色几何图
静态图像：简称图像，又称为位图，是由描述图像的像素点数据来组成图的矩阵。

动画：与运动着的图像有关，是可以感觉到运动的相对时间、位置、方向和速度的动态媒体
视频：和动画一样由许多幅单一画面构成，也是连续的动态图像，动画由人工或计算机绘制，视频由录像机实时获取。

触觉和其他媒体：压力+运动可得到触觉媒体。

领会
国际电报电话咨询委员会CCITT制定媒体分类标准
共分5类：感觉媒体、表示媒体、表现媒体、存储媒体、传输媒体
感觉媒体：能直接作用于人的感官，使其产生感觉的媒体（计算机主要是视觉和听觉）
表示媒体：为计算机加工处理媒体数据，表现为数据格式，功能是定义信息表达特征--各种编码
表现媒体：感觉媒体与电信号之间的转换媒体，表达信息的物理工具（鼠标，打印机等）
存储媒体：保存数字化后媒体数据的物理介质，功能是记录-保存
传输媒体：媒体信息传送的物理载体，连续传输信息
感觉媒体详细划分：视觉+听觉+触觉+其他
视觉：文字（符号+语言）+图像（图形+图像，二维+三维，静态+动态）
听觉：实际媒体--声音（自然界声响，语音，音乐）
触觉：压力，运动，传感
其他：嗅觉，味觉
动画的本质是图像的变化，它利用人眼的“视觉滞留效应”产生运动错觉，形成连续影像。

1831年，法国人约瑟夫，转动圆盘图片，形成最原始的动画。

1909年，美国人winsor mccay，第一部动画短片
图形和静态图像特性和区分
1 数据记录和产生方式不同。

（图形是计算机运算绘制而成，图像是以一组描述点，线，面大小位置的指令形式存在。

图形通过专用软件生成。

绘图程序--draw。

图像是最直接化的原始信号，基本元素是像素点。

每个像素点用二进制来描述，位映射关系，故称为位图。

bit用来定义像素点的颜色和亮度。

黑白线条图，用1位二进制数表示。

2 描述的精确度不同（图形记录方式直接，比图像更有效精确，可以放大，图像不能改变精确度）
3 处理操作不同（矢量图形由运算关系支配，可以移动选择不失真。

图像放大缩小会失真）
4 显示速度不同（位图比矢量图形显示速度快，因为矢量图像运算复杂）
5 数据量不同（图形文件数据量小，图像文件数据量大，因为要描述每一个像素点的信息）
6 表现力不同（图形用于线形图，工程图设计，图像用于景观和人物等）
数字视频和模拟视频区别：数字视频可操作性（编辑合成）和可压缩性。

数字视频优点：无失真的无限次复制，模拟视频转录就会有误差，数字视频可以采用许多方法进行编辑
视频信号数字化：一定时间内以一定速度对单帧视频信号进行捕获，处理以及生成数字信息的过程。

（四）多媒体网络及应用
识记
宽带化：传输速率主要取决于接入网的速率。

基于电话线的有线接人双向64一384 Kbps的综合业务数字网ISDN。

双向1544Kbps高速数字用户环路---HDSL(下行10-30M的超高速数字用户环路VDSL）
下行2-8Mbps的非对称数字用户环路--ADSL
5类和6类双绞线双向10m-1G的以太网，3G和4G的无线传输
领会
多媒体网络：多媒体技术和通信技术相结合的综合技术。

1)语音:实时性。

对延时、抖动敏感。

对误码不敏感_
2)数据:实时性要求不高，严格的误码校验
3)图像:实时性要求不高，要求更高的带宽
4)视频:高的带宽，并对实时性和媒体的同步要求较严格，允许有误码
多媒体计算机网络特性:
1 业务等级即服务质量QOS保证
2 高带宽，也就是网络的宽带化
3 媒体之间的同步性与可靠性保证
4 双向交互的实时性
多媒体网络的典型应用:
1 交互式远程教学
3 交互式视频服务
4 多媒体通讯
多媒体通信是指在一次通信过程中能同时提供多种媒体信息的通信方式。

多媒体通讯特征：1同步性2集成性3交换性
多媒体通信的业务类型：1会话型2电子邮件型3检索型4分配型
多媒体计算机网络现存的问题：带宽、服务质量控制、可靠性和自愈能力、网络地址
带宽问题：多媒体网络瓶颈，增加带宽和传输率是网络技术首要问题。

服务质量QOS控制问题：目前硬件条件无法对所有应用提供高质量等级服务，只能按需提供不同质量服务。

网络可靠性和自愈能力：网络受干扰后，能自动检测，按策略寻找新线路，调整负载。

网络地址：IPv4地址资源有限，用IPv6代替
多媒体网络的发展趋势
高速信息传输网，光纤和高速数字交换设备构成高速宽带信息网，由骨干网和接入网组成，骨干用光纤+IPv6
特征如下：1双向传输2高精度、快速数字化传送3 宽带化4开放式系统5规模化6智能化7多层结构8新互联网协议---IPv6
（五）多媒体应用创作工具
1.领会：
多媒体创作工具：集成处理和统一管理文本、图形、视频、动画、声音等多种媒体信息的一个或一套编辑与制作工具，也称为多媒体开发平台。

多媒体应用创作工具的基本功能：
1 提供编程环境和对媒体数据流的控制能力
2 控制处理媒体数据及操作能力，协调时序和同步控制
3 构造和生成应用系统
4 应用程序连接运行和监控
5 生成媒体数据库，提供数据库管理功能。

6 具有预演、调试和独立播放的能力。

7 超级链接功能
多媒体应用创作工具的3个基本特点
(1)对各种媒体的集成和控制，实现随机性的交互式会话。

(2)支持多种数字信号输人设备，实现不同文件格式转换。

(3)易于实现标准化设计
CAD-辅助设计CAI--辅助教学
多媒体应用创作工具按其创作模式，可分为：
基于描述语言、基于流程图、基于时间序列的创作工具，多媒体演示工具，网络多媒体创作工具，可视化
基于描述语言：提供一套脚本描述语言或描述符号，脚本按page或card进行组织---基于卡片和页面的创作工具。

典型代表是Asymetrix公司的Multimedia ToolBook。

ToolBook是美国20世纪八九十年代最流行的创作工具之一
基于流程图的创作工具：多媒体元素和交互作用提示及数据流程控制都在同一个流程图中进行安排，即以流程图为主干构造结构化的框架或过程。

流程图中的流线(Line)是数据控制流程，流线上放置着不同类型的图标（lcon）这种编辑方式被称为Visual Authoring，即可视化创作。

20世纪80年代末美国Matrix公司推出的创作工具Layout，macromedia公司的authorware。

基于时间序列的创作工具：数据或事件是以时间顺序来组织的，即以看得见的时间线(Timeline)来描述、安排事件的顺序和对象演示的时段，表达相互之间的关系，从而把抽象的时间可视化。

Macromedia公司的Action和Director
多媒体演示工具：专门用于制作演示讲稿的工具最普及的是PowerPoint
网络多媒体创作工具：核心是网页制作，forntpage dreamwwaver homesite webburst hyperwriter
可视化编程环境:设计者既可以用传统语言撰写程序，发挥自己的特长，又可以借助于开发好的“文本”、“绘图”等工具箱，使这些工具箱内的编码(如绘图、按钮、窗体等)可直接取用，成为可重用编码，较为轻松地进行多媒体应用程序设计微软公司推出的Visual Studio . NET和Borland公司推出的JBuilder。

多媒体应用创作工具的发展方向
(1)集成化且功能强的编辑环境
(2)多种媒体数据输入能力
(3)功能强大、灵活多样的交互能力
(4)提供更开放的功能扩充能力
(5)提供更强大的调试工具
(6)提供构件库及构件组装功能
(7)与网络多媒体的融合
（六）多媒体技术的应用领域及其研究与发展
1.识记
多媒体技术的发展趋势：
(1)网络化发展
(2)多媒体终端智能化
(3)移动多媒体系统
(4)多媒体标准的制定
(5)虚拟现实技术的进一步研究
2.领会：
多媒体技术的应用领域：
1教育与培训
2桌面出版物与办公自动化
3多媒体电子出版物
4网络多媒体交互式通信与信息咨询
5商业广告与多媒体艺术品的创作
6过程模拟与仿真
第2章文字与音频素材的制作与处理
识记
文字信息的数据化：归结为编码和字库两大问题
文字信息数字化的方法：把语言中所有文字字形的信息、存放在字库文件中，为每个字形赋予一个代码，再将这些字形代码与文字输人设备之间建立一一对应的关系。

键盘输入相应的代码即将对应的文字调到屏幕显示。

因此，文字信息的数字化可以归结为建立、存储字形和对文字进行编码
汉字字形的存储
汉字字形的产生有两种模式，即母体字形与数字字形。

数字字形是非常适合计算机处理的字形，可以充分利用计算机存储技术和软件控制技术提高速度数字字形有点阵式和矢量式两种表现方式
点阵式字形采用图像式的点阵排列来呈现字符：16*16点阵的情况下：1个英文字符占8字节，一个汉字占32字节。

汉字点阵字形的集合称为汉字字形库，16*16点阵，7K汉字需要224KB空间。

采用汉字库压缩-还原技术（汉字字形数值化）的汉字字形库，一级汉字库3755个汉字只需16KB的空间Windows操作系统提供了矢量式字形，即图形方式显示的字形，显示速度慢。

汉字的编码：
西文字符通常采用128个ASCII代码表示，一个字节（8位）表示一个字符。

如A，二进制01100101，十六进制是65H，
GB2312 国标码=6763个汉字+682个非汉字图形字符
输入法：汉字编码方案输入计算机--编码转换（机内码）--调出对应字形
字体与字体的格式：
windows环境中有两种类型的字体:点阵字体和TrueTyye字体（点阵字放大旋转等会失真，true type是矢量字体，由机器指令绘制出来，支持无级缩放）
字体的格式(Style)有普通、粗体、斜体、底线、轮廓和阴影等多种。

艺术字的类型（？）及其处理软件（Photoshop、word）
文字信息的常规获取方法：键盘输入
新型输入技术：手写、扫描、语音识别输入
扫描输人的核心是光学字符识别(OCR)软件
2.领会：
文本文字与图像/图形文字的区别：
(1)产生文字的软件不同（wps--ps）
(2)文件的格式不同（txt-jpg）
(3)应用场合不同（书稿-艺术品）
(4)屏幕显示效果不同（不同电脑开启，文本格式会有区别，图片没有区别）
文本文字编辑与排版的内容：
1.字体与字体的格式
2.字的定位。

3.字体的选择
4.字的大小
5.字的颜色
6.文本中字、行及段间距
（二）音频素材的制作与处理
识记
声音在多媒体领域中通常称为音频(Audio)信号
声音：通过一定的介质(空气等)传播的一种连续振动的波，称为声波。

使用随时间连续变化的曲线来模拟表示，使用振幅和周期（频率）两个物理量来描述。

振幅：波形最高点(或最低点)与基线间的距离称为振幅，振幅表示声音的强弱。

周期：两个连续波峰间的时间长度称为周期，反映音调（频率是指一秒钟内出现的周期数-振动次数）
20-2万Hz之间，这个范围内的信号称为音频信号（振幅0-120dB）
次声波：频率小于20 Hz的信号
超声波：频率高于20 Hz的信号
声音的三要素是音调、响度和音色：
音调:判断声音高低的属性
响度:判断声音强弱的属性，与声音的振幅成正比
音色:也称为音品，区别具有同样响度和音调的两个声音之所以不同的属性（纯音+复音，复音中频率最低的基音和各种频率的谐音构成音色中的重要因素）
模拟音频：模拟电压的幅度表示声音强弱, 在时间上是连续
数字音频：通过采样和量化，把模拟音频信号转换成由许多二进制数1和0组成的数字音频信号，时间上断续
常用的音频编辑软件
(1)Gold Wave
(2)TC Native Reverb
(3)Adobe Audition
(4)VegasTM PRO
2.领会：
声音的数字化：采样、量化、编码
采样：采样过程就是模/数转换(A/D)按规则的时间间隔采集一段时间内的模拟信号，获得模拟信号的幅度值，间隔为采样周期T
量化：采样后所得采样值(振幅值)的表示形式是音频信号的量化编码（二进制表示，位数越多越好）
编码：数据编码必须经压缩后存储，最常用的压缩方法是自适应脉冲编码调制法，信噪比高
数字音频质量的三要素：采样频率、采样精度、通道数
采样频率就是每秒抽取声音波形振幅值的次数
采样精度即每次采样获得的数据所使用的二进制量化位数
通道数是指所使用的声音通道的个数，它表明一次采样的声音波形数。

数字音频分类
按用途分类：语音，音乐，声效
按来源：数字化声波（声卡转换而来），MIDI合成（电子乐器弹奏+合成器产生），声音素材库获取+版权许可
按数据文件格式分类：win环境标志数字音频文件.wav 数字乐器MIDI音频文件.mid,cd音频文件.cad和.vob,用于声卡的音频文件.voc和用于流媒体格式的.rm和压缩格式的.mp3
音频文件的压缩
音频文件数字化后会占用较大的存储空间,必须进行数字音频信号的压缩信号压缩，信号压缩往往是以信号失真、降低音质作为代价的。

数据压缩技术：就是用最少的数码来表示信号的技术。

好的数据压缩技术有3项重要指标：压缩比大算法简单恢复效果好
音频录制：将音频信号记录在媒质上的过程
制作特殊音效（反转、倒转、回声、自动听觉、淡入淡出）
Adobe Audition的“效果”菜单下有25组菜单，下面都有子菜单，可作出各种特殊音效
制作特殊音效是音频素材制作后期的主要工作,一些特殊音效只有计算机才能制作。

噪声处理及其方法:采样降噪法、滤波降噪法、噪声门限法等
1 采样降噪法:将噪声的样本特征提取出来(采样),然后将该噪声信号从原音频信号中去除，对原音的破坏很小
2 滤波降噪法:用滤波器将音频中噪声出现的频段阻隔掉，但与该噪声处于同一频段的可用音频也将被阻隔破坏，故对原音有一定的破坏作用。

3 噪声门限法：提供一个门限，将音频中低于该门限的噪声部分去除。

3.理解应用：
音频文件的格式及特性：
.wav 此为微软公司制定的波形数字音频文件格式。

win系统广泛应用，未压缩的格式，回放效果好，数据量大，一分钟占用10MB
.mid 乐器数字接口，乐器厂商建立的数字音乐国际标准，由符号指令描述而不是声音波形，体积小. MIDI有许多优点:文件小，可用于处理较长的音乐，编辑修改灵活。

.cda和.vob：激光唱盘CD和激光视盘音频文件，采样频率为44.1 kHz，用16位存储采样信息。