第七章多媒体技术(1)

系统主要由传感器、控制部件、驱动程序组成。
当用手指或其它设备触摸 显示器前面的触摸屏时，所摸 到的位置以坐标形式被触摸屏 控制器检测到，并通过接口送 到 CPU， 从 而 确 定 用 户 所 输 入的信息。
触摸检测装置 电缆
触摸屏控制卡 驱动程序
第七章多媒体技术(1)
7.2 多媒体计算机系统
② 视频卡：插在主机板的扩展槽内，可以对视频信号 进行数字化转换、编辑和处理，以及保存数字化文件。
≈606(M)
第七章多媒体技术(1)
5. 传输信息的媒体。 (如光纤、电缆等)
3. 输 入 和 输 出 信 息 的 媒 体(如键盘、鼠标、显示 器、打印机等)
第七章多媒体技术(1)
7.1 多媒体计算机技术概述
多媒体：通常所指的多媒体就是文字、声音、 图像、图形、动画、视频等各种媒体在计算机统一 管理下的有机结合。
多媒体计算机技术：计算机综合处理多种媒体 信息(文本、图形、图像、音频、视频和动画)，使 多种信息建立逻辑连接，集成为一个系统且具有交 互性。
第七章多媒体技术(1)
7.2 多媒体计算机系统
(2) 扩展设备: 具有代表性的扩展设备有：触摸屏、视频卡、扫描仪、数 码相机、数字摄像机、各种彩色打印机、彩色投影仪等。
数码照相机 彩色扫描仪
数码摄像机
触摸屏
彩色打印机
第七章多媒体技术(1)
7.2 多媒体计算机系统
① 触摸屏：属于输入设备，可通过手指直接触 及屏幕上的菜单、光标、接钮等。
第七章多媒体技术(1)Leabharlann Baidu
7.3 音频信息的获取和处理
(2) 量化 — 幅度上的离散
量化的过程是将采样后的信号 按整个声波的幅度划分成有限个区 段(量化间距) ，然后把落入某个间 距内的值归为一类，并赋予相同的 量化值。
失真在采样过程中是不可避免的，从下面两幅图我们可 以直观地看出，当采用更高的采样频率、量化精度，就可以 减少失真。但由此得到的数字音频信号数据量也就越大。
7.2 多媒体计算机系统
声卡与外部设备的连接示意图
外部音频设备
1、线路输入 麦克风
2、麦克风输入
3、扬声器输出 4、MIDI/操纵杆端口
音箱
MIDI声音装置
声卡中的关键部件
操纵杆
(1) 数字信号处理器DSP：声卡的核心部件，用于管理 声音的输入输出以及音频信号的模/数转换和数/模转换。
(2) 混音器：可以将几个不同声源进行混合录音。 (3) 音乐合成器：主要用于MIDI音乐文件的播放。
通常使用的视频采集卡可接收模拟视频源的信号(如录像 机、电视机、LD影碟机等)，并对该类信号进行数字化处理， 然后再压缩编码成数字视频信号。
此外，还有一种比较流行的视频采集卡，我们称之为 IEEE1394数字视频采集卡。它主要的作用是将数码摄像机中 存放在数码摄像带上的视频数据传送到电脑硬盘中，和模拟 采集不同的是它在传送数据的过程中没有任何质量损失。
Commodore Amiga系统
Apple计算机(1984)
第七章多媒体技术(1)
7.1 多媒体计算机技术概述
7.1.3 多媒体技术的特点和关键技术
多媒体特点是： (1) 多样性：多媒体不只处理一种媒体，而是综合处理多 种媒体，包括图文声像信息。 (2) 集成性：多媒体不是多种媒体简单的收集，而是被有 机地集成为系统。 (3) 交互性：多种媒体系统可以实现人机互动，用户可以 根据需要来使用系统。
关键技术，包括：
① 音频视频信号的获取技术 ② 多媒体数据的压缩编码和解码技术 ③ 音频视频数据的实时处理和特技 ④ 音频视频数据的输出技术
第七章多媒体技术(1)
多媒体信息的主要元素
1．文本：包含字母、数字、汉字等基本元素。 2．图形：又称矢量图。
多媒体 多媒体 多媒体
如何从事多媒体教学
1234 ABCD ☆※＃ №§→◇！？；φβ
视频卡
数字视频采集卡
第七章多媒体技术(1)
7.2 多媒体计算机系统
③ 扫描仪：是一种图形输入设备。配合适当的应用软件 后，扫描仪还可以进行中、英文智能识别。
扫描仪工作原理：把原件面朝下放在扫描仪的玻璃台上， 扫描仪内发出光照射原件，反射光线经光学镜面导向后，照 射到CCD的光敏器件上。CCD将不同颜色光的强度转换成等 价的电信号，再送到模数转换器中转换成代表每个像素色调 或颜色的数字值。步进电机驱动扫描头沿平台作微增量运动, 每移动一步，即获得一行像素值。扫描样张
第七章多媒体技术(1)
7.2 多媒体计算机系统
7.2.2 多媒体计算机软件系统
1.多媒体设备驱动程序，用于在启动操作系统时把设备的 状态、型号、工作模式等信息提供给操作系统，并驻留在内存 中供系统调用。
2.多媒体产品制作软件，主要包括图像、视频、音频的编 辑制作。
3.多媒体平台软件，用于多媒体素材的组合。 4.工具软件，用于加工和处理数据，如压缩、加密等。 5.应用软件包括，Windows系统提供的多媒体软件、动画 播放软件、声音播放软件、光盘刻录软件等。
第七章多媒体技术(1)
7.1 多媒体计算机技术概述
7.1.2 多媒体技术的发展历史 1984年，Apple公司推出Machintosh图形操作系统。 1985年，世界上第一台多媒体计算机问世。 1986年，推出光盘系统。 1990年，多媒体个人计算机协会制定MPC1标准。 1995年，Windows95操作系统问世。
● midi音频 ● wav音频 ● mp3压缩音频
END
音频 + 视频
数字音频信号、压缩音频信号 用电视摄像设备捕捉的实物场景
第七章多媒体技术(1)
7.1 多媒体计算机技术概述
7.1.4 多媒体技术的发展和应用
（（（生特电（远物技影形程、合特象诊人成技教断类、人学、智大变影工、远能型形商视智模程模演效娱业能拟手拟示果乐模广展术医））拟业告示教）疗）育
识别反射 光线
导轨
光源 光电转换器
数字信号 输出
第七章多媒体技术(1)
7.2 多媒体计算机系统
④ 数码照相机
数码相机采用CCD作为记录图像的介 质 ， CCD 实 际 上 是 一 块 布 满 光 敏 元 件 的 感 光板， 它通过光照的不同引起的电荷分布 的不同来记录被摄入的物体。
4.保存压缩数字图像
根据国际电信联盟的定义，媒体可分为5种：
感觉媒体
表示媒体
显示媒体
存储媒体
传输媒体
第七章多媒体技术(1)
7.1 多媒体计算机技术概述
2.为传送和表达感觉媒体而人为研 究出来的媒体 (如ASCII、汉字、 图像、声音、视频编码等)
4.存储表示媒体 的介质 (软盘、 硬盘、光盘等)
1.人类通过感观直接 感知的信息 (文字、 声音、图像等)
第七章多媒体技术(1)
7.2 多媒体计算机系统
声卡的作用主要有： ① A/D(模/数)转换——将作为模拟量的自然声音转化成数 字化的声音，然后以文件形式保存在计算机中。 ② D/A(数/模)转换——把数字化的声音转换成模拟量的自 然声音并输出到声音还原设备(例如耳机、有源音箱、音箱放 大器等)中。 ③ 输入、输出功能——利用声卡的输入/输出端口可以将 模拟信号引入声卡并转换成数字信号；也可以将数字信号转换 成模拟信号送到输出端口驱动音响设备发出声音。
第七章多媒体技术(1)
7.1 多媒体计算机技术概述
7.1.5 未来多媒体技术的发展
(1) 多媒体技术智能化 把人工智能领域某些研究课题与多媒体计算机技术结合。 (2) 多媒体信息实时处理和压缩编码算法芯片化 把多媒体信息实时处理和压缩编码算法直接放置到CPU芯 片中，从而大大改善多媒体计算机的性能指标。 (3) 虚拟现实技术 是指运用多种技术综合形成一种模拟现实环境的人造环境， 用户在该环境中通过五官和大脑的亲自体验并参与到该虚拟环 境中，可以与之交互。让用户感觉到如同置身于真实世界一样， 它是多媒体技术的最高境界。
第七章多媒体技术(1)
7.3 音频信息的获取和处理
7.3.1 数字音频基本概念
声音是一种机械振动。模拟音频技术把这种机械振动 转换成电信号，并以模拟电压的幅度表示声音强弱。
次声波
<20Hz
人耳可听范围
20～20,000Hz
超声波
>20,000Hz
模拟音频信号:声音波形在时间和幅度上都是连续
的，一般用不同的电压表示。由于模拟音频信号是连续的， 所以不能由计算机直接处理。
7.3 音频信息的获取和处理
(1) 采样 —— 时间上的离散
其过程是每隔一个时间间隔在模 拟声音的波形上取一个幅度值，把时 间上的连续信号变成时间上的离散信 号。采样频率是指计算机每秒钟采集 多少个声音样本。
奈奎斯特(Nyquist)采样定理： 采样频率≥声音信号最高频率 × 2 采样频率越高，单位时间所得到的振幅值就会越多，因 而对于原声音曲线的模拟也就越精确。 主流声卡的采样频率一般可分为22.05KHz、44.1KHz、 48KHz三个等级，22.05只能达到FM广播的声质，44.1KHz 则是理论上的CD音质界限，48KHz则更加精确一些。
第七章多媒体技术(1)
7.3 音频信息的获取和处理
(3) 编码 由于经采样和量化后的音频信号数据量很大，所 以一般要先对数字化的音频信息进行压缩和编码后再 在计算机内传输和存储。在播放这些声音时，还需要 经解码器将二进制编码恢复成原来的模拟声音信号播 放。
第七章多媒体技术(1)
7.3 音频信息的获取和处理
7.6 音频卡的基本原理
第七章多媒体技术(1)
7.2 多媒体计算机系统
声卡的主要接口：
①总线(Bus) ② 线路输入(Line in) ③话筒输入(Mic in) ④线路输出(Line out) ⑤扬声器输出(Speaker Out) ⑥游戏棒/MIDI(Joystick/MIDI)
第七章多媒体技术(1)
第七章多媒体技术(1)
2020/12/5
第七章多媒体技术(1)
7.1 多媒体计算机技术概述
7.1.1 多媒体计算机的概念
从一般意义上讲，在计算机或通讯领域，媒体
是指信息的载体或者信息的存储实体，信息载体包
括数字、文字、声音、图形、图像、视频，信息的 存储实体包括磁盘、磁带、光盘、U盘等。而就多 媒体计算机而言，媒体则是指信息载体。
1.光信号转换成电信号 2.电信号再转换成数字信号
3.编码、压缩等处理
第七章多媒体技术(1)
7.2 多媒体计算机系统
几个技术指标(简介) 1、 CCD和像素 CCD上的感光元件越多则像素就越多，像素越多
则图像越清晰。
2、存储卡 数码相机摄入的像片直接存储在相机存储卡中。
3、对焦和变焦 对焦，是指将透过镜头折射后的影像准确投射到 CCD感光板上，形成清晰的影像。
数字音频信号:是把表示声音强弱的模拟电压用数
字表示。
第七章多媒体技术(1)
7.3 音频信息的获取和处理
7.3.2 音频信息的数字化 数字音频信号是由模拟声音经采样、量化和
编码得来的。其信号在时间和幅度上都用离散的 数字序列表示。
100101100011101
模拟信号的数字化过程
第七章多媒体技术(1)
第七章多媒体技术(1)
7.2 多媒体计算机系统
7.2.1 多媒体计算机硬件系统
第七章多媒体技术(1)
7.2 多媒体计算机系统
(1) 基本硬件设备: ① 光盘存储器 光盘存储器由光盘和光盘驱动器构成。 ② 音频卡 又名“声卡”，主要用于处理声音，是多媒体计 算机的基本配置。目前许多计算机的主板上都集成了 声卡的功能，声卡不再以单独形式存在。
7.3.3 数字音频文件格式 (1) WAV文件格式：来源于对声音模拟波形采样，量
化、编码。这种文件最大的缺点是占用存储空间大。适用领 域：音频原始素材保存。该格式是通用音频格式。
未压缩的波形音频文件WAV和CD音频光盘的存储容量 计算如下：
存储量=采样频率×采样量化位数×声道数×时间/8 举例：采样频率为44.1KHz，采样数据量化位数(或称采 样精度)为16位、双声道，一张60分钟的CD唱片所占存储容 量为： (44.1×1000×16×2×3600)/8=635040000(B)
各类文字和符号
通过计算而描述的矢量图形
第七章多媒体技术(1)
多媒体信息的主要元素
3．图像：又称位图或像素图。 4. 动画：采用编程或动画软件创作的连续画面。
单画面矢量动画 多画面帧动画
用像素点描述的自然影像 编程或动画制作软件生成的画面
第七章多媒体技术(1)
多媒体信息的主要元素
5. 音频：指人耳能听到的连续变化的音波。 6. 视频：动态的影视图像。