1.多媒体技术基础(1)=创新教育基础与实践=大连理工大学

• 音乐
– 符号化了的声音，乐谱可转变为符号媒体形式。
12
多媒体信息的类型及特点
动画 动画的概念
运动的图画，实质是一幅幅静态图像的连续播放。动画的 连续播放既指时间上的连续，也指图像内容上的连续，即播放的 相邻两幅图像之间内容相差不大 。
13
多媒体信息的类型及特点 各种媒体具有不同特点和性质 媒体是有格式的 不同媒体表达信息的特点和程度各不相同 媒体之间可以相互转换 媒体之间的关系也具有丰富的信息 媒体具有空间性质 表现空间 媒体按相互的空间关系进行组织 视觉空间、听觉空间和触觉空间这3者既相互 独立又需要相互结合
20
多媒体关键技术 多媒体的传统关键技术主要集中在以下四类中：数据压缩 技术、大规模集成电路（VLSI）制造技术、大容量的光盘 存储器（CD-ROM）、实时多任务操作系统。 当前要用于互联网络的多媒体关键技术，有些专家却认为 可以按层次分为：媒体处理与编码技术、多媒体系统技术 、多媒体信息组织与管理技术、多媒体通信网络技术、多 媒体人机接口与虚拟现实技术，以及多媒体应用技术这六 个方面。
3
媒体的分类
图像
抽象化 （静止） 视觉 图形 抽象化 文字 图像 符号 语言文字 动态影像视频 （动态） 真实感三维动画 二维动画 三维动画
图形 其它表示为视觉的媒体
4
媒体的分类
听觉 声音 抽象化 振动 触觉 运动 传感/发生器 声响（自然界） 语音（人类语言）
音乐
其它（嗅觉、味觉等）
5
多媒体信息的类型及特点 文本 文本是计算机文字处理程序的基础 文本数据可以在文本编辑软件里制作
9
多媒体信息的类型及特点 图形与图象的关系
• • • • 图形是矢量概念，图元；图象是位图概念，象素； 图形显示图元顺序；图象显示象素顺序； 图形变换无失真；图象变换有失真； 图形以图元为单位修改属性、编辑；图象只能对象 素或图块处理； • 图形是对图象的抽象，但在屏幕上两者无异
10
多媒体信息的类型及特点 视频
27
多媒体研究趋势
多媒体的研究人员已开始充分注意虚拟现实(灵境)技术的 发展,有相当多的研究已开始针对其基本技术和外围技术 等进行,并取得了很大的进展。 利用头盔显示器等特别设备创造沉浸式的环境、开 发相应的应用,是在该方向上的主要工作。也有一些研究 把重点放在了通过超媒体数据库提供全景的具有空间和时 间合成信息形式的基于网络的半沉浸式虚拟空间的上面。
7
多媒体信息的类型及特点
图形的特征
• 图形是对图象进行抽象的结果（人工或自动）； • 图形的矢量化使得有可能对图中的各个部分分别进 行控制（放大、缩小、旋转、变形、扭曲、移位等 ） • 图形的产生需要计算时间
8
多媒体信息的类型及特点
图像
• 图像是指由输入设备捕捉 的实际场景画面，或以数 字化形式存储的任意画面 。 • 静止的图像是一个矩阵， 由一些排成行列的点组成 ，这些点称之为像素点（ pixel），这种图像称为位 图（bitmap）。
多媒体技术的概念及发展过程 多媒体技术的发展过程


84年：Apple公司引入位图概念 85年：推出了世界上第一台多媒体系统 86年：推出了交互式紧凑光盘系统CD-I 87年：推出交互式数字视频系统DVI 90年：指定MPC_I级标准 91年：推出CD-ROM/XA标准 92年：正是公布MPEG-I数字电视标准 93年：推出了MPC_II级标准
31
多媒体通信及信息服务研究方向
通信协议及性能
许多关于多媒体通信网协议及性能分析工作仍在不 断进行之中,其中关于连续媒体如视频、声音等不可能按 传统的协议方法(如超时重发、出错处理等)进行处理。 如何适应连续性媒体中的实时媒体特性、基于网络 服务质量的协议控制、可变速率的传输方式、同步方法及 其协议特性,都是需要解决的问题。
媒体：指交流、传播信息的工具，是承载信息的载体。
“载体”是指承载知识或信息的物质形体。
内涵
• 表示媒体的多样化； • 一个技术领域 • 一个技术时代
定义
以数字化为基础，能够对多种媒体信息进行采集、编码、存 储、传输、处理和表现，综合处理多种媒体信息并使之建立起有 机的逻辑联系，集成为一个系统并能具有良好交互性的技术。
17
多媒体的特性
集成性：实现了信息处理的集成性 多媒体信息媒体的集成 处理这些媒体的设备与设施的集成
数字化——媒体以数字形式存在。 实时性——声音、动态图像（视频）随时间变化。
18
多媒体技术的概念及发展过程
多媒体技术的概念
多媒体技术，即是计算机交互式综合处理多媒体信息——文本、 图形、图像和声音，使多种信息建立逻辑连接，集成为一个系统并具 有交互性。
30
多媒体通信及信息服务研究方向
信息服务器
网络要通过网络向用户提供各种各样的服务, 所以研究符合多媒 体服务特征的信息服务器成为了当前的一个重要方向。
目前已相对成熟的信息服务形式如图书馆服务、信息揭示板服 务等,能够提供点播电视功能的视频服务器(Video Server)已成为 研究重点。 其它的多媒体服务如点播电视、点播新闻、点播音乐、卡拉 OK点播服务等也在研究开发之中。
多媒体技术是具有集成性、实时性和交互性的计算机综合处理声 文图信息的技术。 多媒体技术以网络为支持，为人类生活提供各种服务创造一种新 型的人与人交往的新环境。 多媒体技术研究的主要内容有：多媒体技术的基础、多媒体软硬 件平台技术 、多媒体操作系统技术、多媒体信息管理技术、多媒体 通信与分布应用技术
Hale Waihona Puke Baidu
19
26
多媒体研究趋势 多媒体的技术继续向其它领域扩展,使其应用的范 围进一步扩大。 多媒体并行工程平台、多媒体仿真、智能 多媒体等新的技术和应用层出不穷,扩大了原有技 术领域的内涵,改善了其性能,创造出了新的概念 。但也有一些"拉大旗,作虎皮"的现象,只在名称 上作文章,并未真正做多少工作,但这不是主流。
21
多媒体技术的意义 多媒体改善了人类信息的交流
人的思维模式： 形象、联想、多样、模糊、并行 计算机的工作方式： 精确、清楚、串行、…… 人机交互形式 人—人（通过计算机）；人—计算机；计算机—人； 计算机—计算机 多媒体： 改“人到计算机” 为“计算机到人”
22
多媒体技术的意义
14
多媒体信息的类型及特点
媒体的时间性质 表现需要时间 媒体在时间坐标轴上的相互关系 媒体的语义 媒体的语义是有层次的 抽象的程度不同，语义的重点也就不同 媒体结合的影响 媒体结合是多层次的 媒体结合有利于信息接受和理解 隐喻 交互的概念模型，也称心智模型
15
多媒体的特性
多样性—适应了信息载体的多样性 信息载体的多样性是相对于计算机而言的，指 的就是信息媒体的多样化，有人称之为信息多 维化。 视觉 味觉 嗅觉 触觉 听觉
65% 20%
10%
2%
3%
16
多媒体的特性
交互性—易于人和计算机的交互 用户可以与计算机的多种信息媒体进行交互操作从而 为用户提供了更加有效地控制和使用信息的手段； 当我们完全地进入到一个与信息环境一体化的虚拟信 息空间自由遨游时，这才是交互式应用的高级阶段， 这就是虚拟现实（Virtual Reality）。
多媒体技术基础
大连理工大学创新实验学院
1
本节课主要内容 多媒体的基本概念
媒体的分类
多媒体信息的类型及特点
多媒体的特性
多媒体技术的概念及发展过程 多媒体技术的意义 多媒体研究趋势 多媒体通信及信息服务研究方向
2
多媒体的基本概念 多媒体的概念 Multimedia = Multi + Media
24
多媒体研究趋势
对多媒体信息的处理已经深入到媒体内部。
利用已经基本成熟的图像理解、语言识别、全文检 索等技术研究多媒体基于内容的处理,开发能够进行基于内 容处理的系统,包括编码、创作、表现及应用,已成为多媒 体信息管理的重要方向。
25
多媒体研究趋势 多媒体的各类标准总是研究的重点。 成熟的标准在不断修订、颁布,新的方法和 技术的出现又带来了新的标准体制。各类标准的 研究将有利于产品规范化,使得用户的使用更加方 便。
28
多媒体研究趋势 应用及市场研究中面向大规模用户和高档次应用 的趋势十分明显。
包括家用多媒体终端、点播电视服务(VOD)、教育 /娱乐用多媒体软件、多媒体会议系统等。医学、家用及 军用等已成为多媒体应用领域的最重要的组成部分。
29
多媒体通信及信息服务研究方向
多媒体通信网络系统的组成
能够进行多媒体信息传递的网络原行是以宽带局域网 为主的,但现在研究人员将力图把它扩展到一个能为全市 、全国乃至全球提供通信服务的范围。 如FDDI、Ethernet、高速交换以太网、ISDN以 及CATV网络。另外,也有为多媒体通信专门研制的交换 设备,如用于会议系统交换的多点控制器等。
32
多媒体通信及信息服务研究方向 分布处理及合作工作 础。 多媒体网络为多媒体分布应用及合作工作奠定了基
在国内,这种工作集中在建立起一种能够支持多人通 信的环境上。如研制基于计算机的会议系统,更准确地说 目前只是一种可支持多媒体多人通信的环境,仅解决了视 频通信及其部分媒体的控制问题。 国际上这种工作更多地与CSCW(计算机支持的合 作)及群件系统相结合,集中在面向应用服务、建立媒体空 间等方面。
使计算机可以处理人类生活中最直接、最普遍的信息，从 而使得计算机应用领域及功能得到了极大的扩展。 使计算机系统的人机交互界面和手段更加友好和方便，非 专业人员可以方便地使用和操作计算机。 多媒体技术使音像技术、计算机技术和通信技术三大信息 处理技术紧密地结合起来，为信息处理技术发展奠定了新 的基石。 多媒体技术发展已经有多年的历史了，到目前为止声音、 视频、图像压缩方面的基础技术已逐步成熟，并形成了产 品进入市场，现在热门的技术如模式识别、MPEG压缩技术 、虚拟现实技术正在逐步走向成熟，相信不久也会进入市 场。
33
多媒体通信及信息服务研究方向
多媒体会议系统
目前的研究集中在多点控制、电话线信息传 输、合作应用、与数据库结构等方面,国防科大多 媒体信息系统实验室正在研究会议系统与超媒体 结合,形成虚拟信息空间的有关问题。
34
多媒体通信及信息服务研究方向
实景化虚拟会议媒体空间
一种是关于声音合成的,无论哪一方发言,他的视频 图像将出现在所有会议参加者的屏幕上,但所有参加者的 声音都可以被听到。这中间需要将来自于各方的声音在一 处进行混合,有的是在多点控制器之类的传输中枢设备上, 有的则是在接收方的终端上进行。 另一种更为复杂的形式是,除声音外,还要将来自于 各方的图像序列进行混合,开成一个虚拟的会议空间,大家 尽管分散地各地,但似乎又都在一起。当然这种多源性多 用户多媒体服务还可以用于许多地方,如多媒体信息服务 等。
多媒体 多媒体 多媒体
6
多媒体信息的类型及特点
图形 图形的概念
一般指用计算机绘制的画面，如直线、圆、圆弧 、矩形、任意曲线和图表等。图形的格式是一组描述 点、线、面等几何图形的大小、形状及其位置、维数 的指令集合，在图形文件中只记录生成图的算法和图 上的某些特征点，也称矢量图。
– line（x1,y1,x2,y2,color） – circle（x,y,r,color）
23
多媒体研究趋势 多媒体通信网络环境的研究和建立,将使得多媒体 从单机单点,向分布、合作多媒体 应用环境发展。
建设一个能够在世界范围内自由交互的多媒 体通信网,在“信息高速公路”的热浪下已经在紧锣 密鼓地进行。对这种网络及其设备的研究,以及建 立在这种网络之上的分应用和信息服务的研究是 当前一个非常明显的热点。
视频源于电视技术，它由 连续的画面组成。这些画面 以一定的速率连续地投射在 屏幕上，使观察者具有图像 连续运动的感觉。
11
多媒体信息的类型及特点 音频
• 波形声音
– 包含了所有的声音形式，它可以把任何声音都进行采样量 化，并恰当地恢复出来。
• 语音
– 人的说话声虽是一种特殊的媒体，但也是一种波形，所以 和波形声音的文件格式相同。