1、数字多媒体技术概述
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
新型计算机研究所
新型计算机研究所
新型计算机研究所
新型计算机研究所
视觉的时间域响应特性
闪烁频率：
让观察者观察按时间重复的亮度脉冲，如果闪烁频率比较低，人眼就有 一亮一暗的感觉。如果闪烁频率足够高，人眼看到的则是一个恒定的亮 点。
临界闪烁频率：
闪烁感刚好消失的重复频率叫做（critical flicker frequency），经测 定为46Hz。高亮度下临界闪烁频率可达60-70Hz。
视觉 味觉 嗅觉 触觉 听觉
新型计算机研究所
1.1.1 眼睛和视觉
角膜和晶状体把物体的像聚焦在视网膜上！
新型计算机研究所
如果把眼睛类比于一个照相机。
眼角膜和晶状体就是相机的镜头。 晶状体最重要的作用是改变屈光度，使看远或看近时眼
球聚光的焦点都能准确地落在视网膜上。 通常还有一个可以控制进入眼睛光线多少的虹膜 视网膜就类似于模拟相机中的胶片或者数字相机中的CCD、
每一种感光色素主要对一种原色光产生兴奋，而对其余 两种原色光产生程度不等的反应。如果某一种色素缺乏， 则会产生对此种颜色的感觉障碍，表现为色盲或色弱 （辨色力弱）。
新型计算机研究所
正常
缺少L-cone,红色盲
缺少M-cone，绿色盲
缺少S-cone，蓝黄色盲
新型计算机研究所
色盲测试
男：8%, 女: 0.5%
人是如何接受信息的？
新型计算机研究所
1.1 人的感知系统
新型计算机研究所
人的五大感知系统
五色令人目盲，五音令人耳聋，五味令人口爽，驰骋畋猎令人心
发狂，难得之货令人行妨。是以圣人，为腹不为目，故去彼取此。 ——老子
五大感知系统：
➢ 视觉 ➢ 听觉 ➢ 触觉——冷、热、痛、触、压等 ➢ 味觉——酸甜苦辣咸，五味人生 ➢ 嗅觉
新型计算机研究所
1.3 数字媒体的基本概念
2. 课程考核方式
新型计算机研究所
这门课程讲什么？
1 数字媒体就是我们的生活方式！ 2 数字媒体是我们很多人的工作！ 3 数字媒体是数字时代的媒体！
新型计算机研究所
媒体：
在信息传播过程中，从 信息源 到 接受者 之间
携带和传递信息的任何载体和工具。
例子：
我和伍老师说：“你吃了没？”
以人为中心：
数字媒体技术也是为人服务的。
慢慢地，人类发明了文字
新型计算机研究所
数字时代的交流和感知
新型计算机研究所
而现在华盛顿大学首次完成两个人之间的信息传输。两名志愿者分别为 Andrea Stocco和Rajesh Rao, Stocco作为信号接受者，而Rao则作为信 号发送者，两者在共同协作下玩单人射击游戏。在视频中可以看到在一间 实验室中Rao的前面会放置一台显示器然后让Rao玩视频游戏。而Stocco 会在另外一个实验室中控制鼠标来控制视频游戏中的“射击”动作，两个 人协同合作共同来玩一个单人视频游戏。
新型计算机研究所
新型计算机研究所
锥细胞和柱细胞
锥细胞和柱细胞：
锥细胞：数量少，对颜色很敏感 锥细胞视觉：明视觉或亮光视觉
柱细胞：数量多，分辨率比较低
不感受颜色并对低照度较敏感 柱细胞视觉：暗视觉或微光视觉
新型计算机研究所
颜色感知
红(L-cone)、绿(M-cone)和蓝(S-cone)三种锥体细胞对 不同频率、不同亮度的光感知程度不同。
CMOS。
新型计算机研究所
眼睛可见光的范围
可见光波长范围:大约从390到700 nm
新型计算机研究所
颜色的感知
Cross-section of eye
Cross section of retina视网膜切面
神经节轴突 Ganglion axons
Ganglion cell layer 神经节细胞层
数字媒体技术
苏远歧 计算机系新型计算机研究所
第1章 绪论
数字媒体是信息化发展的一个必然阶段，是一个崭 新的技术时代。多媒体引起了诸多信息技术的集成与融 合的革命。它与计算机、家用电器、通信网络、大众媒 体、人机交互和娱乐机器等组成了新系统、新应用。
1. 课程简介
1.1 人的感知系统 1.2 人的交流 1.3 数字媒体的基本概念 1.4 数字媒体技术的应用
新型计算机研究所
视觉的时间域响应特性
视觉暂留
当人眼所看到的影像消失后，人眼仍能继续保留其影像 0.1-0.4秒左右的图像。(0.05-0.2)
视觉暂留现象首先被中国人发现，走马灯便是据历史记载中最早的视觉暂留运用。 宋时已有走马灯 ，当时称 “马骑灯 ” 。随后法国人保罗·罗盖在1828年发明 了留影盘，它是一个被绳子在两面穿过的圆盘。盘的一个面画了一只鸟，另一面 画了一个空笼子。当圆盘旋转时，鸟在笼子里出现了。这证明了当眼睛看到一系 列图像时，它一次保留一个图像。
Bipolar cell layer 双极细胞层
受体层Receptor layer
Pigmented epithelium
色素上皮层
新型计算机研究所
新型计算机研究所
视网膜里有大约1.25亿个视杆细胞和视锥细胞，它们扮演感光器的角色。 其中视杆细胞的数量是视锥细胞的18倍之多。视杆细胞对弱光敏感（可 感受到一个光子），主要负责在昏暗环境中产生暗视觉，但只能辨别明暗， 不能分辨物体的细节和颜色。视锥细胞感受强光和颜色，产生明视觉，对 物体细节和颜色分辨力强。
电影播放过程中，每秒 投 射 24 幅 画 面 ， 每 幅 画 面投射过程中用机械挡 光阀遮挡一次，这样就 得到了48HZ的闪烁频率。
新型计算机研究所
人耳和听觉
声音→耳廓收集声波→外耳道→中耳→鼓膜振动→听小骨 将振动放大→耳蜗听觉感受器→听神经→大脑皮层听觉中 枢—形成听觉
新型计算机研究所
人耳感知到的声音频率
人耳听到的声音：20Hz～20kHz
Hale Waihona Puke Baidu20kHz以上
超声
20Hz以下
次声
新型计算机研究所
大提琴
大提琴 100Hz~250Hz
小提琴
小提琴 200Hz~400Hz
新型计算机研究所
1.2 人的交流与感知
新型计算机研究所
人与人的交流
缺乏语言和文字的时候人与人之间的交流
新型计算机研究所
人类在社会实践和生产实践的过程中，慢慢发展 出了语言，通过固定的声音的模式进行交流，但 是，在人类发展的这个时期，显然是没有录音设 备，因此这个时期的交流仍然很不方便
新型计算机研究所
新型计算机研究所
新型计算机研究所
视觉的时间域响应特性
闪烁频率：
让观察者观察按时间重复的亮度脉冲，如果闪烁频率比较低，人眼就有 一亮一暗的感觉。如果闪烁频率足够高，人眼看到的则是一个恒定的亮 点。
临界闪烁频率：
闪烁感刚好消失的重复频率叫做（critical flicker frequency），经测 定为46Hz。高亮度下临界闪烁频率可达60-70Hz。
视觉 味觉 嗅觉 触觉 听觉
新型计算机研究所
1.1.1 眼睛和视觉
角膜和晶状体把物体的像聚焦在视网膜上！
新型计算机研究所
如果把眼睛类比于一个照相机。
眼角膜和晶状体就是相机的镜头。 晶状体最重要的作用是改变屈光度，使看远或看近时眼
球聚光的焦点都能准确地落在视网膜上。 通常还有一个可以控制进入眼睛光线多少的虹膜 视网膜就类似于模拟相机中的胶片或者数字相机中的CCD、
每一种感光色素主要对一种原色光产生兴奋，而对其余 两种原色光产生程度不等的反应。如果某一种色素缺乏， 则会产生对此种颜色的感觉障碍，表现为色盲或色弱 （辨色力弱）。
新型计算机研究所
正常
缺少L-cone,红色盲
缺少M-cone，绿色盲
缺少S-cone，蓝黄色盲
新型计算机研究所
色盲测试
男：8%, 女: 0.5%
人是如何接受信息的？
新型计算机研究所
1.1 人的感知系统
新型计算机研究所
人的五大感知系统
五色令人目盲，五音令人耳聋，五味令人口爽，驰骋畋猎令人心
发狂，难得之货令人行妨。是以圣人，为腹不为目，故去彼取此。 ——老子
五大感知系统：
➢ 视觉 ➢ 听觉 ➢ 触觉——冷、热、痛、触、压等 ➢ 味觉——酸甜苦辣咸，五味人生 ➢ 嗅觉
新型计算机研究所
1.3 数字媒体的基本概念
2. 课程考核方式
新型计算机研究所
这门课程讲什么？
1 数字媒体就是我们的生活方式！ 2 数字媒体是我们很多人的工作！ 3 数字媒体是数字时代的媒体！
新型计算机研究所
媒体：
在信息传播过程中，从 信息源 到 接受者 之间
携带和传递信息的任何载体和工具。
例子：
我和伍老师说：“你吃了没？”
以人为中心：
数字媒体技术也是为人服务的。
慢慢地，人类发明了文字
新型计算机研究所
数字时代的交流和感知
新型计算机研究所
而现在华盛顿大学首次完成两个人之间的信息传输。两名志愿者分别为 Andrea Stocco和Rajesh Rao, Stocco作为信号接受者，而Rao则作为信 号发送者，两者在共同协作下玩单人射击游戏。在视频中可以看到在一间 实验室中Rao的前面会放置一台显示器然后让Rao玩视频游戏。而Stocco 会在另外一个实验室中控制鼠标来控制视频游戏中的“射击”动作，两个 人协同合作共同来玩一个单人视频游戏。
新型计算机研究所
新型计算机研究所
锥细胞和柱细胞
锥细胞和柱细胞：
锥细胞：数量少，对颜色很敏感 锥细胞视觉：明视觉或亮光视觉
柱细胞：数量多，分辨率比较低
不感受颜色并对低照度较敏感 柱细胞视觉：暗视觉或微光视觉
新型计算机研究所
颜色感知
红(L-cone)、绿(M-cone)和蓝(S-cone)三种锥体细胞对 不同频率、不同亮度的光感知程度不同。
CMOS。
新型计算机研究所
眼睛可见光的范围
可见光波长范围:大约从390到700 nm
新型计算机研究所
颜色的感知
Cross-section of eye
Cross section of retina视网膜切面
神经节轴突 Ganglion axons
Ganglion cell layer 神经节细胞层
数字媒体技术
苏远歧 计算机系新型计算机研究所
第1章 绪论
数字媒体是信息化发展的一个必然阶段，是一个崭 新的技术时代。多媒体引起了诸多信息技术的集成与融 合的革命。它与计算机、家用电器、通信网络、大众媒 体、人机交互和娱乐机器等组成了新系统、新应用。
1. 课程简介
1.1 人的感知系统 1.2 人的交流 1.3 数字媒体的基本概念 1.4 数字媒体技术的应用
新型计算机研究所
视觉的时间域响应特性
视觉暂留
当人眼所看到的影像消失后，人眼仍能继续保留其影像 0.1-0.4秒左右的图像。(0.05-0.2)
视觉暂留现象首先被中国人发现，走马灯便是据历史记载中最早的视觉暂留运用。 宋时已有走马灯 ，当时称 “马骑灯 ” 。随后法国人保罗·罗盖在1828年发明 了留影盘，它是一个被绳子在两面穿过的圆盘。盘的一个面画了一只鸟，另一面 画了一个空笼子。当圆盘旋转时，鸟在笼子里出现了。这证明了当眼睛看到一系 列图像时，它一次保留一个图像。
Bipolar cell layer 双极细胞层
受体层Receptor layer
Pigmented epithelium
色素上皮层
新型计算机研究所
新型计算机研究所
视网膜里有大约1.25亿个视杆细胞和视锥细胞，它们扮演感光器的角色。 其中视杆细胞的数量是视锥细胞的18倍之多。视杆细胞对弱光敏感（可 感受到一个光子），主要负责在昏暗环境中产生暗视觉，但只能辨别明暗， 不能分辨物体的细节和颜色。视锥细胞感受强光和颜色，产生明视觉，对 物体细节和颜色分辨力强。
电影播放过程中，每秒 投 射 24 幅 画 面 ， 每 幅 画 面投射过程中用机械挡 光阀遮挡一次，这样就 得到了48HZ的闪烁频率。
新型计算机研究所
人耳和听觉
声音→耳廓收集声波→外耳道→中耳→鼓膜振动→听小骨 将振动放大→耳蜗听觉感受器→听神经→大脑皮层听觉中 枢—形成听觉
新型计算机研究所
人耳感知到的声音频率
人耳听到的声音：20Hz～20kHz
Hale Waihona Puke Baidu20kHz以上
超声
20Hz以下
次声
新型计算机研究所
大提琴
大提琴 100Hz~250Hz
小提琴
小提琴 200Hz~400Hz
新型计算机研究所
1.2 人的交流与感知
新型计算机研究所
人与人的交流
缺乏语言和文字的时候人与人之间的交流
新型计算机研究所
人类在社会实践和生产实践的过程中，慢慢发展 出了语言，通过固定的声音的模式进行交流，但 是，在人类发展的这个时期，显然是没有录音设 备，因此这个时期的交流仍然很不方便