多媒体计算机技术_(复习资料+两套题)

多媒体计算机技术

第1章多媒体技术概述

多媒体的发展方向：从更深层次、从技术故障本身开始让技术在更基本的层面上接近普通人。

1.1 多媒体技术的基本概念

1.1.1媒体：一是指用以存储信息实体，如磁盘磁带半导体存储器等；二是指信息的载体，如数字、文字、声音、图形图像视频等。

CCITT给“媒体”的定义和分类：1.感觉媒体：直接作用与人的感官，使人产生直接的感觉的媒体；

2.表示媒体：为了加工处理和传输感觉媒体而人为的研究构造的媒体（编码方式）可分三类，按时间划分为离散媒体和连续媒体，按空间属性划分为一维、二维、三维媒体，按生成属性划分为自然媒体和合成媒体；

3.显示媒体：指感觉媒体用于通信的电信号之间转换的一类媒体（包括输入和输出显示媒体）、

4.存储媒体：用来存放媒体，以便计算机处理和调用（存储器）；

5.传输媒体：将媒体从一个地方传到另一个地方的物理载体（网线）

1.1.2多媒体：是指信息表示媒体的多样化。

多媒体的重要特征：1.多维化，指多媒体的多样化：2.集成性，指多媒体设备、信息、表现的集成；

3.交互性，是人们获取和使信息变被动为主动的最为重要的特征；

4.实时性，也为动态性指多媒体技术中涉及的媒体。

多媒体计算机的核心任务是获取、处理、转发或分发多媒体信息。

1.2 多媒体计算机技术的发展历史

Mac：1984 apple Mac Bitmap windows icon

CD-I：1986 PHILIPS and SONY

DV-I：1987 RCA

A VC：1989 IBM

MPC：1990 HHILIPS

MPC1组成：PC、CD-ROM、声卡、Windows 3.1、音箱或耳机及性能参数

1.3多媒体技术

多媒体技术：是利用计算机对文本、图形、图像、声音、动画、视频等多种信息综合处理、建立逻辑关系和人机交互作用的技术。

多媒体信息处理的最终目标：能跨越各种不同的网络和设备，透明的、强化的使用多样媒体资源。多媒体系统关键技术分为：多媒体涉及的处理、存储、传输和多媒体输入输出技术。

1.3.1多媒体软件和硬件平台：实现多媒体系统的物质基础

多媒体计算机软件和硬件系统组成：多媒体计算机硬件系统、多媒体核心系统软件、多媒体制作平台与工具、多媒体创作与编辑软件、多媒体应用系统

1.3.2专用芯片:一种是固定功能的芯片，一种是可编程的处理器。

处理音频和视频媒体：先要把音频和视频信号数字化，以数字信息的形式载入计算机存储器中，再对其编辑处理。

1.3.3数据压缩及编码技术

PCM脉冲编码调制：1984 Oliver

有效的压缩算法应考虑：媒体的种类、应用的对象、应用的要求以及采用的设备特性等因素。

1.3.4多媒体同步

多媒体数据进行综合处理时，不仅要考虑各种媒体相对的独立性，为了较好的信息表示效果，还要注意保持媒体之间在实践和空间上的相关性。为了定义不同媒体之间的相互关系，系统应准许用户规定不同

媒体之间如何实现彼此之间的复合同步。

多媒体信息的三种相互集成模式：

1.制约式，指一种媒体的状态转移或激活影响到另一种媒体。

2.协作式，指两种以上的媒体信息同时存在。

3.交互式,指媒体上含有的信息变换成另一种媒体信息。1和2要求按事件发生的顺序同步，属基本同步。

1.3.5多媒体网络与分布式处理技术：

多媒体信息处理能力必须与网络技术结合才能充分发挥。

分布式处理技术的主要研究内容：如何在网络环境下将复杂任务分解，并借助于网络环境中的不同计算机完成任务。

1.3.6信息组织与管理

处理大批非规则数据的主要途径：一是扩展现有的关系数据，二是建立面向对象的数据库系统，以存储和检索特定信息。

超媒体：一种新型（天然）的信息管理方法，一般采用面向对象的信息组织与管理形式管理。信息的组织将不再是线性的，而是按某种方式以非线性的形式进行存储、管理和浏览，这样，用户对信息的使用更加方便，更加灵活的信息检索形式。

超文本和超媒体适合于表达多媒体信息。

1.3.7多媒体的数据存储：SAN存域网、服务器存储技术：直接连接存储技术DAS和存储网络技术（很高的安全性且动态扩展能力极强）。

1.3.8虚拟现实（VR）技术：就是采用计算机就是生成一个逼真的视觉、听觉、触觉及嗅觉的感觉世界，用户可以用人的自然技能对这个生成的虚拟实体进行交互参考。

VOXEL MAN虚拟人体：德国汉堡Eppendorf大学。

1.3.9人机界面设计：其计算机系统必须能够采用自然语言或者足以表达信息的图像方式来回答用户的问题。其目的在于通过对用户需求的解释达到一种人机之间较好的通信能力，其研究方向为：1.文件的语言处理模式，包括语音识别和自然语言理解。

2.手势分析和理解模式设计。

3.上述两点的通信融合，是对用户需求的互补。

4.多模式环境中的对话管理，保证连续的对话过程。

5.任务的优化图形表达，易于对象理解的方式。

1.3.10高速多媒体通信技术：是指为满足新一代信息系统中实时多媒体信息传输的需求，网络带快1000Gbps 以上，且服务质量控制（QoS），以适应不同媒体传输质量要求。

骨干路由器的要求：至少1Gbps以上交换能力，单个端口速率甚至达到622Mbps

1.4 多媒体技术的应用

只要应用包括：1.音频视频流点播、2.电子出版物、3.医疗卫生、4.游戏与娱乐、5.计算机会议视频、6.多媒体展示盒信息查询系统、7.MIS管理信息系统与OA办公自动化系统、8.传媒和广告、9教学管理系统.、10.移动卫星。

1.5 多媒体技术的发展趋势：1.智能化，其目的在于实现人机的自然交互。

2.三维化，重点在于将计算机视觉技术和图形技术的内容结合起来，实现增强实现技术。

第2章多媒体计算机的组成

2.1 概述。多媒体计算机系统的硬件组成：1.主机（CPU和主板）2.多媒体转接卡，

3.多媒体外部设备，按功能分：音频视频输入设备、视频视频输出设备、人机交互设备、存储设备。

2.2 常用的I/O设备：输入设备、输出设备、以及用于网络通信的通信设备。

2.2.1 输入设备:1.手写板，分电阻压力板、电磁感应板、电容触控板。2.图像扫描仪，其性能参数为分辨率、灰度、色彩度、速度、幅度。

3.触摸屏，按介质工作原理分电阻式、电容式、红外线、声表面波。

4.视频捕捉卡，模拟转数字信号。

2.2.2 输出设备：1.CRT显示器，大致分两类，一是用于图像处理领域的图像显示器，二是用于图像处理领域的矢量方式图形显示器。按使用种类分存储型、随机扫描型、光栅扫描型。2.液晶显示器LCD，低电压、低功耗，MOS-IS可直接驱动，与系统驱动切合度好。液晶，指分子具有方向性的液体侧称为液态晶体。按技术性质分单纯矩阵驱动（TN、STN、FLCD、）和主动矩阵驱动（MIM、TFT、PD）

3.等离子显示器PDP, 又称电浆显示器。

4.背投电视，按投影种类分CRT、LCD、DLP L、COS。

5.显卡，主要用于对图形函数进行加速。其性能决定于显存的容量、显存的数据位与带宽、显存的速度。

6.打印机，最传统的标准计算机输出设备。分点阵式打印机、激光打印机、喷墨打印机。

2.2.3通信设备：1.调制调解器，作用是利用模拟信号传输线路传输数字信号。ADSL调制调解器的三种线路编码：抑制载波幅度和相位CAP、离散多音复用DMT、离散小波多音复用DWMT。2.网卡，局域网中最基本的部件之一，主要作用是整理计算机上发往网线上的数据，并将数据分解为适当大小的数据包后在网络上发送出去。

2.3 存储设备及存储技术 2.

3.1存储设备（软盘、硬盘）

2.3.2存储技术：1.NAS网络附加存储；2.SAN存储局域网；3.DAS直接附加存储；4.IP存储；5.光存储器；

6.虚拟存储，其好处是提高存储利用率，降低成本，简化管理并且具有开放性、扩展性、管理性方面的优势。

2.4 USB设备：USB为通用串行总线，其优点在于：使用方便，可以热插拔、速度快、独立供电、支持多媒体、低成本。

2.4.1 USB的硬件结构：采用四线电缆，信号定义由2条电源线和2条信号线组成。USB工作方式是基于令牌的总线，其主控制器广播令牌，总线上的设备检测令牌中的地址是否与自身相符，通过接收或发送数据给主机来响应。其通过支持悬挂与恢复操作来管理其总线电源。USB采用主机、集线器、功能设备来组成级联星形拓扑结构。

2.4.2 USB的软件结构；1.总线接口；https://www.360docs.net/doc/092673904.html,B系统，由主控制驱动程序、USB驱动程序、USB客户软件组成。

USB主机的功能：检测链接和移除的USB设备；管理主机和USB设备；链接USB状态和活动统计；控制主控制器和USB设备间的电气接口。

2.4.3USB的数据流传输方式：同步传输方式、中断传输方式、控制传输方式、批传输方式。

2.5 数字摄像设备

2.5.1CCD：CCD技术和结构主要考虑最佳的光学属性和图片质量，CCD传感器原理是以横竖线短阵形式排列，各像素点包含一个光电二极管和控制相邻电荷单元，光电二极管将光子转化为电子，聚焦的电子数量相应于光强度，并转换成各自独立的电荷包单元。

CMOS传感器:采用标准硅处理方法加工。

2.5.2数字摄像头：主要参数是为最大分辨率、传感器像素、接口类型、色彩位数、感光器件、最大帧数。

2.5.3数码相机：其特征为像素、镜头、快门。 2.5.4数字摄像机：性能决定于摄像机的镜头、光学变焦和数码变焦、静态图像存储和视频输出。

第3章数字图像处理

1.采样，时间上的离散化；

2.量化，幅度上的离散化。

3.1 信号处理基本术语

3.1.1 采样：时间上的离散化，按照一定时间间隔Δt在模拟信息x（t）上逐点采取其瞬时值。

量化：幅度上的离散化，振动幅值用二进制量化电平来表示。

3.1.2 采样长度的选择与频率分辨率：采样长度为采样时间的长短。采样时，要保证能反映信号的全貌，瞬态信号包括整个瞬态过程。

3.1.3 DFT（离散傅里叶变换）和其逆变换IDFT的定义

3.1.4 小波变换

3.2.1 色彩基本概念：色彩由色调、饱和度、亮度描述。色调是指某种颜色的性质和特点也就是颜色。饱和度指颜色色调的表现程度。亮度是指作用与物体表面的管线反射系数。

真彩色：是指图像中的每个像素值都分成R、G、B三基色表示。2八次方的三次方为16兆种颜色。

伪真色：每个像素是一个索引值或代码，查表后获取颜色。

调配色：优于伪真色。

显示深度与图像深度的关系：显示大于图像屏幕色彩能较为真实的反映图像文件的色彩效果；显示等于图像,调色板一致时较真实，不一致时失真；显示小于图像色彩失真。

3.2.2 色彩空间及其变换

1.RGB颜色模式,红绿蓝。

https://www.360docs.net/doc/092673904.html,b颜色模式

3.HSB颜色模式，基于人心里感受。

4.YUV颜色模式。

3.2.3 图像数据压缩的可能性：压缩的目的在于尽可能的消除数据冗余。

冗余分类：1.统计冗余；2.信息熵冗余；3.结构冗余；4.知识冗余；5.视觉冗余。

3.3 图像压缩算法：其指标包括压缩比、算法的复杂性和运算速度、失真度、无损编码、有损编码。

3.3.1 信息熵编码：1.行程长度编码，也是游程编码，最简单之一；2.哈夫曼编码，常用方法之一；3.算术编码，其特点为信源符号的出现概率比较接近时，比哈夫曼编码高且实现比之复杂。

3.3.2 字典编码：1.字典编码的思想，一是查找正在输入的字符序列是否在以前输入出现过，有则用指针指向早期序列代替，二是创建短语字典,而后以索引号编码；2.LZW压缩算法，主要处理输入流、输出流、和一张字符表；3.LZW解压算法，

3.3.3 预测编码：利用先前像素灰度信息，来预测当前像素灰度，把没有预测对的预测值与实际像素之间的差经过熵编码后发送接收端，接收端通过预测值和差值还原图像。其可分为线性和非线性预测编码。

3.3.4 变换编码：是指将时域信号变换到频域信号进行处理的方法。

波形编码：预测编码、变换编码、矢量量化编码、都属于波形编码。

3.3.5模型编码：是利用计算机视觉和计算机图形学的知识对图像信号进行分析与合成

3.3.6 混合编码：两种或以上的编码方法对图像进行编码。如JPEG、MPEG

3.4 常用图形、图像文件：计算机中的两种类型的图矢量图和位映图像。

矢量图：用数学方法描述的一系列点、线、弧和几何形状，存放为矢量图格式。

位映图像：也叫光栅图，由像素组成，存放为位图格式。

矢量图与位映图像区别：矢量图是图形指令，大小与复杂度有关，越复杂执行的指令也多显示越慢，但易于编辑便于传播，表现力受限。位映图像是图像点阵数据，大小与色彩深度、图的尺寸有关，越大显示越慢，但表现丰富，编辑复杂文件大不利于传播。

矢量图格式：.ps、.eps、.dpf、.ai、.swf、.svg、.wfm、.emf

位映图像格式：BMP基本位图和GIF、PNG当中的部分编码。

3.4.1 BMP 文件格式：windows中采用的位映图像格式，尾名.BMP或.bmp。其由位图文件头数据结构、位图信息数据结构、位图阵列组成。

3.4.2 GIF文件格式：以数据块为单位来存储图像，由表示图像图像的数据块、数据子块、显示图形图像的控制信息块组成，也就是GIF数据流。其采用LZW算法来压缩图像。

3.4.3 PNG文件格式：为替代GIF、TIFF的位图格式。采用LZ77派生的无损算法。其定义了关键数据块即标准数据块和可选辅助数据块，其中关键数据块包括文件头数据块IHDR、调色板数据块PLTE、图像数据块IDAT、图像结束数据块IEND。

PNG优缺点：其优点在于兼有GIF和JPEG的色彩模式,既能把图片压缩到极限便于网络传播又能保留所有与图像品质有关的信息的解决方案，更优化的传输显示（交错模式，先显轮廓再显全图），其透明特性有利于减小文件便于传播，在所有系统中显示一样的图像不像GIF会变化。缺点在于PNG不能多张存储一个文件中形成GIF的动画效果，无损格式不便于有损压缩式文件减小，不支持CMYK模式即出版印刷模式。

3.5.1

JPEG：是国际标准化组织ISO和国际电话电报咨询委员会CCITT关于静止图像编码的联合专家组的缩写。该标准可用于自然景象或任意连续色调图像的数字数据的压缩编码和解码。

JPEG标准的工作方式：1.顺序方式，图像被分成行列的小块，从左到右从上到下的压缩与还原一次完成。2.渐进方式，先低于质量要求进行编码，然后再提高一次编码等级进行编码，只传输需要改善质量部分的信息，重复若干次知道得到质量要。解码时先解出低质量全图而后附加改善质量信息二次解码。解码随意终止适合网络环境。

JPEG的基本系统算法过程：1.二维DCT变换；2.系数量化；3.编码模型与事件统一；4.熵编码；5.数据结构。

JPEG渐进方式的实现：通过普选择法、逐次选择法、阶梯选择法组合来实现。

JPEG的压缩效果：与被压缩图像特性有关。

3.5.2 JPEG2000：同JPEG相比的优势在于压缩率高、无损压缩、渐进传输、感兴趣区域压缩。文件格式为LWF

3.6 动态图形压缩标准

3.6.1 MPEG标准概述：标准化的意义，只有实现标准化，才能带动集成电路的大量生产，大幅度降低视频压缩成本，解决不同厂商设备的通用性。

3.6.2

MPEG-1标准：由MPEG-1的systems、video、audio、conformance testing、software simulation五部分组成。

MPEG数据流分层结构:运动图像序列、图片组、图片、块、宏块、图片切块。

MPEG算法矛盾：满足随机访问最好算法是帧内编码，但此编码无法达到无损画质下高压缩比。所以采用预测和插值两种帧间编码技术。

MPEG视屏算法的基础：基于16*16块的运动补偿缩减时间冗余，基于变换域DCT的缩减空间冗余技术。

1.缩减时间冗余：MPEG考虑内帧I、预测帧P、内插帧三种画面。因为一是考虑随机访问的重要性，二是运动补偿插值可以显著降低位速率，是应用最广泛的减少时间冗余的方法。

2.缩减空间冗余：类似JPEG编码，采用混合编码、基于视觉加权的标量量化和行程编码等技术。其分三个阶段：一是基于DCT的正交阶段，二是对变换系数进行量化后把数据按Z形扫描顺序重组合，三十对变换系数按行程编码进行熵编码已达到进一步压缩目的。

MPEG量化器设计主要考虑：视觉加权量化、帧内块和非帧内块的量化、可调整的量化器。

3.6.3 MPEG-2标准：其制定出发点是保持通用性，使用广泛的应用良玉、比特率、分辨率质量和服务。MPEG-2同MPEG1的区别在于：一是能够有效的支持电视的隔行扫描格式，二是支持可分级的可调视频编码。

MPEG-2的9个组成部分：由MPEG-2的systems、video、audio、conformance testing、software simulation、数字存储命令和控制扩展协议、先进声音编码ACC、系统解码器实时接口扩展标准、一致性控制测试。3.6.4 MPEG-4标准：是为了满足交互式多媒体应用的标准，跟高的灵活和可靠性。其主要用于可视电话、视频邮件、电子新闻等。其优点在于对传输速率要求较低，利用很窄的带快，可以通过帧内重建，压缩和传输数据以求最小的数据获得最佳的图像。

MPEG-4的三个最重要特征：基于内容的压缩、更高的压缩比和时空可伸缩性。

MPEG-4同MPEG-1和MPEG-2的不同：MPEG-1、MPEG-2基于帧的规范，而MPEG-4基于媒体对象的规范，它管道了媒体对象的描述、表达、组织等问题

3.6.5 MPEG-7标准：即多媒体内容描述接口，其主要提供图像信息检索解决方案，将对现有内容识别专用解决方案的有限的能力进行扩展，特别是包含更多的数据类型。