第11章多媒体及技术

第11章 多媒体技术
11.1 多媒体技术概述 11.2 多媒体特性与关键技术 11.3 音频处理技术 11.4 视频处理技术 11.5 图形图像处理技术 11.6 计算机动画制作技术
第11章多媒体及技术
11.1 多媒体技术概述
• 11.1.1 媒体与多媒体
• 媒体的两种含义： 一种是指用以存储信息的实体 另一种是指信息的载体 • 多媒体：理解为直接作用于人感官的文字、图形图
第11章多媒体及技术
11.3.2 音频编码标准
• 语音的编码技术有三类：
• 波形编码 • 参数编码 • 混合编码
• 音乐的编码技术有三类：
• 自适应变换编码（频域编码） • 心理声学模型 • 熵编码
第11章多媒体及技术
11.3.3 常见音频文件格式
1、WAV格式（.WAV） • WAV格式是微软公司开发的一种声音文件格式，用于保存WINDOWS平台
• 编码算法
• 编码的作用一是采用一定的格式来记录数字数据，二是采用一定的算 法来压缩数字数据。压缩编码的基本指标之一就是压缩比。
第11章多媒体及技术
音频数字化处理
基本的包括以下几种： • 不同采样率、频率、通道数之间的变换和转换。
其中变换只是简单地将其视为另一种格式，而转 换通过重采样来进行，其中还可以根据需要采用 插值算法以补偿失真。 • 针对音频数据本身进行的各种变换，如淡入、淡 出、音量调节等。 • 通过数字滤波算法进行的变换，如高通、低通滤 波器。
第11章多媒体及技术
4、MP3格式（.MP3）
• MPEG是动态图像专家组的英文缩写。这个专家组始建于1988年，专门 负责为CD建立视频和音频压缩标准。MPEG音频文件指的是MPEG标准 中的声音部分，即MPEG音频层。MPEG音频文件根据压缩质量和编码复 杂程度的不同可分为三层。MPEG音频编码具有很高的压缩率，一分钟 CD音质的音乐未经压缩需要10MB存储空间，而经过MP3压缩编码后只 有1MB左右。
将RGB信号转换成YUV信号、Y/C信号直至复合视频信号的过程称为编码 。 视频影像是由一系列被称为帧的单个静止画面组成。一般帧率在24-30帧/秒
时，视频运动非常平滑 。 PAL制与NTSC制一般都是模拟信号，视频捕捉卡可完成对它的模数转换。
视频捕捉卡先对输入视频信号以4:2:2格式进行采样，然后进行量化，一 般对YUV（也即对RGB）各8位量化，因而产生24位真彩。 经过上述过程，模拟视频即变成数字视频，而这一过程的逆过程即可实现数 字视频的解压缩与回放。 数字视频经解压缩后，可送入显示卡并在计算机的显示器上显示出来。
• 软件：多媒体操作系统、媒体素材制作软件及多 媒体函数库、多媒体创作工具与开发环境、多媒 体外部设备驱动软件和驱动器接口程序等
第11章多媒体及技术
11.2多媒体特性与关键技术
• 集成性 • 多维性 • 交互性 • 数字化 • 智能型 • 易扩展性
• 11.2.1 多媒体特性
第11章多媒体及技术
11.2.2 关键技术
• 多媒体数据压缩技术 • 多媒体硬件平台技术 • 多媒体软件技术 • 多媒体信息管理技术 • 多媒体界面设计与人机交互技术 • 多媒体通信与分布应用技术
第11章多媒体及技术
11.3 音频处理技术
• 11.3.1 数字音频的基本原理 • 声音媒体分三类：波形声音、语音、音乐 • 所谓数字化手段就是把模拟信号数字化。把模拟
的音频信息资源，被WINDOWS平台及其应用程序所支持。标准格式的 WAV文件和CD格式一样，也是44.1K的采样频率，是目前广为流行的声音 文件格式，几乎所有的音频编辑软件都能识别WAV格式。但其缺点是文件 体积较大，所以不适合长时间纪录。 2、MIDI格式（.MID） • MIDI是Musical Instrument Digital Interface的缩写，又称作乐器数字接口， 是数字音乐/电子合成乐器的统一国际标准。它定义了计算机音乐程序、数 字合成器及其他电子设备交换音乐信号的方式，规定了不同厂家的电子乐 器与计算机连接的电缆和硬件及设备间数据传输的协议，可以模拟多种乐 器的声音。MIDI文件就是MIDI格式的文件，在MIDI文件中存储的是一些指 令。把这些指令发送给声卡，由声卡按照指令将声音合成出来。MIDI文件 的大小要比WAV文件小的多，一分钟的WAV文件约要占用10MB的硬盘空 间，而一分钟的MIDI却仅占用3.4KB。 3、CDA格式（.CDA） • 大家很熟悉的CD就是使用这种音乐格式，扩展名CDA，其取样频率为 44.1kHz，16位量化位数，跟WAV一样，但CD存储采用了音轨的形式，又 叫“红皮书”格式，记录的是波形流，是一种近似无损的格式。
味、触觉)的媒体，如语言、音乐、图像、图形、动画、文本等。 • 表示媒体（Presentation Medium） 表示媒体是指为了传送感觉媒体而人为研究出来的媒体，借助这一媒体可以更加
有效地存储感觉媒体，或者是将感觉媒体从一个地方传送到远处另外一个 地方的媒体，如语言编码、电报码、条形码、语言编码，静止和活动图像 编码以及文本编码等。 • 表现媒体（Presentation Medium） 表现媒体是表现感觉媒体的设备。表现媒体又分为两类： 一类是输入表现媒体， 如话筒，摄像机、光笔以及键盘等，另一类为输出表现媒体，如扬声器、 显示器以及打印机等，指用于通信中，使电信号和感觉媒体间产生转换的 媒体。 • 存储媒体（Storage Medium） 存储媒体用于存储表示媒体，即存放感觉媒体数字化后的代码的媒体。例如磁盘、 光盘、磁带、纸张等。简而言之，是指用于存放某种媒体的载体。 • 传输媒体（Transmission Medium） 传输媒体是指传输信号的物理载体，例如同轴电缆、 光纤、双绞线以及电磁波等 都是传输媒体。
• 量化位数
• 量化位是对模拟音频信号的幅度轴进行数字化，它决定了模拟信号数 字化以后的动态范围。由于计算机按字节运算，一般的量化位数为8 位和16位。量化位越高，信号的动态范围越大，数字化后的音频信号 就越可能接近原始信号，但所需要的存储空间也越大。
• 声道数
• 声道数分为单声道和双声道。双声道又称为立体声，在硬件中要占两 条线路，音质、音色好，但立体声数字化后所占空间比单声道多一倍。
像、动画、声音和视频等各种媒体的统称 。 • 多媒体系统（Multimedia System）是指以计算机
技术为基础，能综合处理文字、声音、图形、图像、 动画等多种媒体信息的技术的系统。
第11章多媒体及技术
多媒体分类
• 感觉媒体（Perception Medium） 感觉媒体是指能够直接作用于人的感觉器官，使人产生直接感觉(视、听、嗅、
10、模版格式文件格式（.MOD/.S3M/.XM/.MTM/.FAR/.KAR/.IT ）
• 模版格式文件。它同时具有MIDI与数字音频的共同特性：既包括如何演奏 乐曲的指令，又保存了数字声音信号的采样数据。因此，在不同的机器上 可以获得基本相似的声音回放质量。
11、MP4文件格式（.MP4）
• MP4采用的是美国电话电报公司（AT&T）所研发的以“知觉编码”为关键 技术的a2b音乐压缩技术，由美国网络技术公司(GMO)及RIAA联合公布的 一种新的音乐格式。MP4在文件中采用了保护版权的编码技术，只有特定 的用户才可以播放，有效地保证了音乐版权的百度文库法性。另外MP4的压缩比 达到了15:1，体积比MP3更小，但音质却没有下降。
第11章多媒体及技术
2020/11/25
第11章多媒体及技术
【能力考查要求】 初步掌握本章讲解的多媒体制作软件的基本操作 理解图形、图像、静态压缩、动态压缩概念 【操作考查点】 基本掌握GoldWave采集和处理声音 基本掌握Windows Movie Maker分割视频文件
第11章多媒体及技术
6、AIF/AIFF格式（.AIF/.AIFF）
• .AIFF是音频交换文件格式的英文缩写。它是APPLE公司开发的一种音频 文件格式，被MACINTOSH平台及其应用程序所支持，NETSCAPE浏览 器中LIVE AUDIO也支持AIFF格式，SGI及其他专业音频软件包也同样支 持AIFF格式。AIFF支持ACE2、ACE8、MAC3和MAC6压缩。
第11章多媒体及技术
11.1.2 多媒体技术
• 多媒体技术：把文字、图形、图像、动画、 音频、视频等各种媒体通过计算机进行数 字化的采集、获取、加工处理、存储和传 播而综合为一体化的技术。
第11章多媒体及技术
多媒体技术的研究内容
• 1.多媒体数据压缩技术 • 2.多媒体数据存储技术 • 3.多媒体系统软件平台 • 4.多媒体数据库与基于内容的检索技术 • 5.超文本与Web技术 • 6.多媒体系统数据模型 • 7.多媒体通信与分布式多媒体系统
9、REALAUDIO文件格式（.RA/.RM/.RAM）
• REALAUDIO文件是REAL NETWORKS公司开发的一种新型音频流文件格 式，主要用于在低速率的广域网上实时传输音频信息。网络连接速率不同， 客户端所获得的声音质量也不相同：对于14.4KBPS的网络连接，可获得调 幅（AM）质量的音质；对于28.8KBPS的连接，可以达到广播级的声音质 量；如果使用ISDN或ADSL等更快的线路连接，则可获得CD音质的声音。
第11章多媒体及技术
11.3.4 音频处理工具GoldWave
• GoldWave是一个集声音编辑、播放、录制和转换 的音频工具，体积小巧，功能却不弱。可打开的 音频文件相当多，包括WAV、 OGG、 VOC、 IFF、 AIF、 AFC、 AU、SND、 MP3、 MAT、 DWD、 SMP、VOX、 SDS、 AVI、 MOV等音频 文件格式，同时也可以从 CD 、VCD 、DVD 或 者其他视频文件中提取声音。内容丰富的音频处 理特效，从一般特效如多普勒、回声、混响、降 噪到高级的公式计算(利用公式在理论上可以产生 任何你想要的声音)，效果相当多。
第11章多媒体及技术
11.4 视频处理技术
• 11.4.1 视频的基本原理
首先，通过摄像机的光敏器件像CCD（电荷耦合器件），将光信号转换成 RGB三路电信号；
其次，在电视机或监视器内部也使用RGB信号分别控制三支电子枪轰击荧光 屏以产生影像。
将RGB信号转换成亮度信号Y和两个色差信号U、V，形成YUV分量信号 。U、 V信号进一步合成一个色度信号C。Y和C又可以进一步形成复合视频，即 彩色全电视信号，这种方式便于传输和电视信号的发射。
第11章多媒体及技术
11.1.3 多媒体计算机
• 一台PC变为MPC的关键技术是：视频、音频信号 获取技术；多媒体数据压缩编码和解码技术；视 频、音频数据的实时处理和特技；视频、音频数 据的输出技术。
• 多媒体计算机系统：多媒体硬件系统+多媒体软件 系统
• 硬件：视频/音频输入设备、视频/音频输出设备、 人机交互设备、数据存储设备。
5、VQF格式（.VQF）
• VQF即TWINVQ，是NTT与YAMAHA共同开发的一种音频压缩技术。 VQF的音频压缩率比标准的MPEG音频压缩率高出近一倍，可以达到18:1 左右，甚至更高。当VQF以44KHZ，96KBBPS 的频率压缩时，它的音质 几乎等于44KHz、256KBPS 的MP3。
信号转换成数字信号的过程称为模/数转换，它主 要包括以下三步：
1、采样（在时间轴上对信号数字化） 2、量化（在幅度轴上对信号数字化） 3、编码(按一定格式记录采样和量化后的数字数据)。
第11章多媒体及技术
数字音频的重要技术指标
• 采样频率
• 采样频率是指一秒钟内采样的次数。根据该采样理论，CD激光唱盘 采样频率为44KHz，可记录的最高音频为22KHz。采样的三个标准频 率分别为：44.1KHz，22.05KHz和11.025KHz。
7、AU文件格式（.AU）
• AUDIO文件是SUN公司推出的一种数字音频格式。AU文件原先是UNIX 操作系统下的数字声音文件。
第11章多媒体及技术
8、VOICE文件格式（.VOC）
• VOICE文件是新加坡著名的多媒体公司CREATIVE LABS开发的声音文件 格式，支持CCITTA LAW和CCITT u LAW等压缩算法。