多媒体原理与系统设计复习总结

多媒体原理与系统设计

第一章多媒体技术概述

1.相关基本概念

1)媒体：信息传输、存储和呈现的载体

2)新媒体：艺术与现代数字媒体技术结合的新型媒体形态

3)媒体分类：

a)感觉媒体：作用于感觉器官的信息形态

b)表示媒体：以模拟或数字编码形态出现的感觉媒体

c)显示媒体：(显示器)

d)存储媒体：(光盘)

e)传输媒体：(光纤)

4)多媒体(技术)：融合了两种以上感觉媒体的协同应用系统和技术，以帮助人们

获得更丰富的应用体验

5)超媒体：(媒体的媒体)通过超链接技术构成的多媒体系统

6)多媒体技术的特点：

a)媒体形式的多样性

b)媒体技术的集成性

c)媒体应用的交互性

2.应用场景

●多媒体电子消费领域

●现代教育技术领域

●通信领域

●军事领域管理与决策领域

●表演与会展领域

●信息可视化领域

●物联网工程领域

●Web应用系统

3.多媒体技术的体系结构

第二章数字音频基础

1.声音的相关概念

1)声音的基本物理属性：频率、振幅

2)声音的三要素：音高、音色、音强

3)模拟音频(Analogous Audio)：用连续的电流或电压表示的音频信号

4)数字音频(Digital Audio)：通过采用和量化技术获得的离散性(数字化)音频数

据

5)采样频率：单位时间内采集的样本数，是采样周期的倒数

●CD-Audio采样频率为44.1kHz

●一般网络和移动通信采样频率：8kHz

6)量化深度：表示一个样本的二进制的位数(样本的比特数)

2.声卡的结构及工作原理

功能模块：

a)DSP：Digital Signal Processor(数字信号处理器)

●Sampling(采样)

●Quantization(量化)

●Code and decode(编/解码)

●D/A

b)Synthesizer：合成器

c)ROM/RAM：波表

d)Mixture：混声器(过滤、去噪、切换单/双声道)

3.数字音频编码

1)音频编码：将模拟音频转换成数字音频里并以某种格式存储的技术或过程

2)PCM编码：即通过脉冲编码调制的方式生成数字音频数据的技术或格式

a)PCM的均匀量化：量化阶跃值是常数的PCM量化

b)非均匀量化：量化阶跃值为变量的PCM量化(又称非线性量化)

c)μ律压扩：有μ洗漱调节的对数函数型非线性量化PCM编码

d)A律压扩：由A系数调节的分段函数型线性与非线性组合量化构成的

PCM编码

3)增量调制编码(DM)：通过增量起伏来记录模拟音频信号实际变化过程的数字音频

编码(数据量很小，用离散的跳跃信号去仿真(模拟)去逼近输入信号的变化) DM算法描述：

y0 = 0；

y[0] = 0；

x[0] = 1；

for (ith sampling not end)

{

if(x[i-1] == 1 )

y[i] = y[i–1] + ∆；

else

y[i] = y[i-1] - ∆；

if ( y i > y[i] ) x[i] = 1

else x[i] = 0;

}

第三章音频数据处理程序设计

1.音频数据格式分析

波形音频文件格式：存储数字音频样本序列的格式文件，该文件直接记录的音频的波形

WAVE波形音频文件：使用最广泛，遵从RIFF格式标准

●文件结构：RIFF WAVE Chunk、Format Chunk、Fact Chunk、Data

Chunk

●wav数据的bit格式形式：

✓单声道8bit量化、双声道8bit量化

✓单声道16bit量化、双声道16bit量化

2.音频回放与编程接口

1)使用PlaySound函数

2)使用MCI函数

3)基于DirectShow开发包的应用程序：目标是简化在Windows平台上创建数字

媒体的任务，通过将应用程序从数据传输、硬件区别、同步中隔离出来

诸多挑战：

a)多媒体流包含大量需要被快速处理的数据

b)音频和视频必须同步

c)数据来源很多：本地、计算机网路、广播、摄像机

d)数据格式繁多：

Audio-Video Interleaved (AVI)

Advanced Streaming Format (ASF)

Motion Picture Experts Group (MPEG)

Digital Video (DV)

e)应用程序并不能预见终端设备上的硬件

4)基于Media Foundation开发包的应用程序

3.基于MF的音频转码程序设计

第四章无损数据压缩编码

1.熵编码

1)算术编码(Arithmetic Coding)

2)行程编码：可用索引+索引对象(重复对象)的方式来表示

2.字典编码

1)第一类字典编码:用指向早起曾经出现过的字符串的指针来表示当前被编

码字符串

算法：LZ77算法、LZSS算法(LZ77的改进版)

2)第二类字典编码：从输入的数据流中创建一个短语词典，后续数据流中若

出现词典中的短语，则可用该短语在词典中的索引表示该短语，而不需要

输出短语本身