第一章 多媒体技术基础(一)

视觉类媒体
视频
• 视频的每一帧，实际上就是一幅静态图像， 所以图像中存储量大的问题，在视频中显
得更为严重，因为一秒中内就要播放20～
30幅静态图像。因而，全屏、全速、全色
的视频图像，数据量十分庞大。
• 常见的视频文件：.AVI文件、.MPG文件
• 常见的视像输入设备：摄像机、电视机等 视频设备。
视觉媒体技术
多媒体技术与应用
第一章 多媒体技术基础
计算机学院 计算机科学系 赵曼
9/15/2014
第1章 概论
1 1.1 多媒体技术的基本概念 2 1.2 多媒体技术的发展 3 1.3 多媒体技术的应用前景 4 1.4 流媒体技术
为什么出现了多媒体技术？
● 多媒体属性：多媒体技术是计算机技术和社会需求相结合的产物。
注：http://zhidao.baidu.com/question/46832824.html
图像处理时要考虑三个因素：
分辨率
图像深度
图像文件大小
3
9/15/2014
视觉类媒体
图像分辨率：数字化图像的大小，即该图像的水平
与垂直方向的像素个数。
图像深度:
（也称图像灰度、颜色深度）
表示数字位图图像中每个像素上用
目前视频压缩编码方法有多种，其中最 有代表性的是MPEG数字视频格式和AVI数字 视频格式。各种压缩编码算法可用软件、硬 件或软硬件结合的方法来实现。
视觉类媒体
图像
• 每一个像素在计算机中用若干二进制位来 表示。例如，一个像素若用8位二进制数
表示，则可以表示出256种黑白灰度或256
种色彩。如果一个像素用24位二进制表示，
则可以表现出1677万种颜色，一般称为真
彩色。
视觉类媒体 图像文件在计算机中的存储格式有
多种，如 BMP、PCX、TIF、TGA、GIF、 JPG、PNG等，一般数据量都较大。
视觉媒体技术
美国、日本等国采用的NTSC制，选用了 YIQ彩色空间，Y仍为亮度信号，I、Q仍为色 差信号,YIQ模型与YUV模型类似，用于NTSC制 式的电视系统。YIQ颜色空间中的I和Q分量相 当于将YUV空间中的UV分量做了一个33度的旋 转。
I、Q与V、U之间的关系可以表示成：
I=Vcos33o–Usin33o
9/15/2014
视觉媒体技术
• 饱和度还和亮度有关，同一色调越亮或越 暗越不纯。 100%饱和度的色光就代表完 全没有混入白光的纯色光。如下图所示：
视觉媒体技术
饱和度和亮度的关系
不同亮度和饱和度的同一张图片
视觉媒体技术
颜色空间 • 颜色空间是表示颜色的一种数学方法，人们用
它来指定和产生颜色，使颜色形象化。
视觉媒体技术
Windows中画图软件中HSL和RGB的对应关系。
视觉媒体技术
视觉媒体数字化
视频数字化是指以一定的速度对模拟视频 信号进行捕获、处理生成数字信息的过程。
视频图像数字化处理过程是：
采样
量化
编码
7
9/15/2014
视觉媒体技术 采样：将二维空间上模拟的连续亮度（灰度） 和色彩信息，转化为一系列的离散数据。
M行N列，即M*N个象素 构成， M*N表示象素的分 辨率。
一般图像越复杂，色彩 越丰富采样间隔应越小。
视觉媒体技术
量化：将图像采样后样本值的范围分为若干个 段，落入该段的本值用同一值表示。
量化级数：量化时离散取值个数，为表示色彩 （或亮度）所需的二进制位数称为量化字长。 一般有8bit，16bit，24bit。量化字越长， 越能真实反映原图像，但容量越大。
动画也需要每秒20个以上的画面。画面的 产生可以逐幅绘制，也可以实时计算
计算机设计动画有两种：一种是帧 动画，一种是造型动画。
视觉类媒体
帧动画是由一幅幅位图组成的连续 的画面，就如电影胶片或视频画面一样 要分别设计每屏幕显示的画面。
造型动画是对每一个运动的物体分 别进行设计，赋予每个动元一些特征， 然后用这些动元构成完整的帧画面。动 元的表演和行为是由制作表组成的脚本 来控制。
经常采用HSI彩色空间。
亮度、色差
视觉媒体技术
色彩的基本概念
颜色与光的波长有关，不同波长的光呈现不 同颜色。颜色具有三个特征：色调、亮度、饱和度。
有问题？
视觉媒体技术
色调：又称为色相，指颜色的外观，用于区 别颜色的名称或颜色的种类 。色调用红、 橙、黄、绿、青、蓝、靛、紫等术语来刻 画。苹果是红色的，这“红色”便是一种 色调，它与颜色明暗无关。
社会需求 技术背景
● 简捷、形象地传播信息的需要 ● 影视、娱乐业的需要 ● 近代教育的需要 ● 人工智能模拟的需要
● 计算机CPU速度的提高 ● 计算机存储容量的增加 ● 计算机实时信息的处理
媒体的概念
• 媒体（Medium / Media） 有三种定义： ▫ 传播媒体：报纸、电视、网络等。 ▫ 用以存储信息的实体，如磁盘、 磁带、纸等。 ▫ 用以表述信息的逻辑载体，如文 本、声音 、图形、图像、动画 和视频等。
存储动画的文件格式有FLC、MMM等
4
9/15/2014
视觉类媒体
视频
• 视频图像是一种活动影像，与电影和电视 原理一致。主要利用人眼的视觉暂留现象， 将足够多的画面（帧）连续播放。
• 只要达到每秒20帧以上，人眼不会觉察出 画面的不连续性。
电影：24帧／秒、
电视:(PAL) 25帧／秒、(NTSC)30帧／秒
6
9/15/2014
视觉媒体技术
• YUV模型用于PAL制式的电视系统，Y表示 亮度，UV并非任何单词的缩写。 Y = 0.299R + 0.587G + 0.114B U = 0.493 (B – Y) V = 0.877 (R – Y)
• YUV空间相当于对RGB空间做了一个解相 关的线性变化。U和V的比值决定色调， 而(U2+V2)1/2代表颜色的饱和度。
Q=Vsin33o+Ucos33o
视觉媒体技术
色彩空间的表示是可以相互转换的
YUV空间和RGB空间的转换方程
YIQ空间和RGB空间的转换方程
视觉媒体技术
(3). HSL彩色空间 计算机中也使用。
HSL是使用H、S、L的3个参数来生成颜色。 H：颜色的色调，改变其值可以生成不同颜色表示； S：颜色的饱和度，改变它可使颜色变亮或变暗； L：颜色的亮度参数。 用HSL描述颜色更加自然，符合人眼对颜色的感知。 但使用不方便，所以使用时要转换成RGB模式。
饱和度：色彩含有某中单色光的纯净程度。 完全饱和的颜色是指没有渗入白光所呈现 的颜。例如，仅由单一波长组成的光谱色 就是完全饱和的颜色
视觉媒体技术
亮度：是指色彩所引起的人眼对明暗程度 的感觉。同一种色调的亮度会因光源的强 弱产生不同的变化，同一色调如加上不同 比例的黑或白色混合后亮度也会发生变化。
5
(1). 计算机显视器RGB彩色空间
(2). 彩色电视YUV和YIQ彩色空间
(3). HSL彩色空间
视觉媒体技术
(1). 计算机显视器RGB彩色空间
自然界常见的颜色都可以由红（R）、绿 （G）、蓝（B）3种颜色按不同比例相配而成， 同样，绝大多数颜色的光可以分解成红、绿、蓝 3种颜色。
RGB 彩色空间采用三种基本颜色,彩色显视 器的输入需要RGB三个彩色分量，通过三个分量 的不同比例配合，在显示屏幕上合成所需要的任 意颜色，三种颜色均无时显示黑色。
表示，圆可以用圆心和半径来表示。这种
表示法是一种矢量表示法，不同于图像表
示的位图表示法，所需存储空间较小
• 只有X、Y两个坐标的平面图形称为二维图
形。
• 三维图形指具有X、Y、Z三个坐标的立体
图形。
视觉类媒体
图像
图像（Image）是指由输入设备 捕捉的实际场景画面，或以数字化形 式存储的任意画面。
静止的图像是一个矩阵，阵列 中的各项数字用来描述构成图像的各 个点（称为像素点 pixel ）的强度与 颜色等信息。这种图像也称为位图 （ bit-mapped picture ）。
媒体的类型
• 显示媒体 (presentation medium)：指 感觉媒体与用于通信的电信号之间转换 用的一种媒体（设备）。主要包括输入 设备和输出设备。显示媒体。
1
9/15/2014
7
8
媒体的类型 • 存储媒体(storage medium)：又称 存储介质，保存表示媒体的介质。
媒体的类型
视频的彩色空间的表示及转换
RED同G的R在色EE多彩N媒空BL体间U计表E 算示机颜中色CY，。AN常如(青Y常计E）L涉算LMO及机WA到显GBE几示LNA种时TCA不采K（品红） 用间S；RAGITB彩N彩UT色HRE色ANU全空TES电II（间OT视色NY；（（信调彩亮饱）号色度和数）印度字）刷化时时采采用用CMYYUKV彩彩色色空空 间；为了便于色彩处理和识别，视觉系统又
视觉类媒体
颜色深度与显示的颜色数目
颜色深度 颜色总数
1
2
4
16
8
256
16
65536
24 16672216
图像名称 单色图像 索引16 色图像 索引256 色图像 HI—Color 图像 True Color 图像
Comparison:
Comparison:
宽度：271 高度：300 颜色：2 大小：9.9 KB
宽度：271 高度：300 颜色：4 大小：19.8 KB
宽度：271 高度：300 颜色：256 大小：79.4 KB
宽度：271 高度：300 颜色：真彩色 大小：238.2 KB
视觉类媒体
动画
动画是活动的画面，典型的动画是卡通片， 动画和视频影像不同，指人工创造出来的连续图 形所组合成的动态影像。
2
9/15/2014
视觉类媒体
图形
图形（Graphic）一般指用计算机绘 制的画面，如直线、圆、圆弧、矩形、 任意曲线和图表等。
图形的格式是一组描述点、线、面 等几何图形的大小、形状及其位置、维 数的指令集合。
在图形文件中只记录生成图的算法 和图上的某些特征点，因此也称矢量图。
视觉类媒体
图形
• 例如：线段可以用起始点坐标和终点坐标
画面采集：单幅画面采集后，以图形文件格式 存放。
按时间进行数字化所得到的图像序列，构成 数字视频序列。
源自文库
数字视频的压缩
视频信息的原始数据存在帧内“空间相 关”和相邻帧间“时间相关”，使原始数据 存在大量的数据冗余。另外，人类视觉、听 觉器官具有某些不敏感性，如对色彩亮度敏 感而对色调分辨力弱等因素，以至于可对某 些原非冗余的数据进行压缩，从而可大幅度 地提高压缩比。
于表示颜色的二进制数字位数。
图像文件大小: 一个图像所占字节数（8bit=1byte）
图像数据量大小 = 像素总数×图像深度÷8
例如：一幅 640×480 的 256 色（8位）图像为 640×480×8／8 = 307200 字节（约300k）
请问：如果是真彩色(24bit)的图像为多大？ 约：900K
• 传输媒体 (transmission medium)：用来将表示媒体传送
到其他计算机的通信载体。
多媒体元素
动画
图
视频
多媒体元素是指多媒体应 音频 用中可显示给用户的媒体
文本
组成，目前主要包括：文
本、声音、图形、图像、
视频图像和动画等
视觉类媒体
文本
文本分为非格式化文本文件和格式 化文本文件。
非格式化文本文件：只有文本信息 没有其他任何有关格式信息的文件，又 称为纯文本文件。如“.TXT ”文件。
视觉媒体技术
人眼对这3种颜色最敏感，RGB三种颜 色相配得到的颜色范围最广，因此一般选 这3种颜色作为基色，这就是色度学的三 基色原理。
视觉媒体技术
(2). 彩色电视YUV和YIQ彩色空间
•彩色图像信号经分色棱镜分成RGB3个分量的信号， 再经变换电路将彩色信号分解成亮度信号Y和色差 信号U、V。
•在电视发送时,将YUV3个信号用同一信道发送出 去，单YUV信号之间是相互分离的，可以单独对有 Y、U、V3种图像单独编辑。例如只用亮度Y而不用 色差U、V，则表示的图像就是没有颜色的灰度图 像。这就是用黑白电视机能接收彩色电视信号的 道理。
格式化文本文件：带有各种文本排 版信息等格式信息的文本文件。 如“.DOC ”文件。
视觉类媒体
计算中的文字
• 文字用编码的方式在计算机内存储和交 换。英文字符常用的编码是ASCII码；汉 字常用的编码是GB-2312编码。ASCII码 是7位，扩展后是8位，而GB2312码是16 位。
Rich text format
媒体的类型
• 感觉媒体 (perception medium)：直接 作用于人的感官 ，使人直接产生感觉。 包括视觉、听觉、嗅觉、味觉和触觉。
• 表示媒体 (representation medium)： 是为了加工、处理和传输感觉媒体而人 为构造出来的一种媒体 ，即用于数据交 换的编码（如图像编码、文本编码和声 音编码）。