数字音视频概述

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
这个数字接近我们在语言中可觉察到的音素数。
在高保真音响系统中,如果能将声音的畸变控制
在人耳无法觉察的范围内便可以获得高保真的主 观听觉效果。
北京信息科技大学
人的听觉特性
掩蔽效应
人耳的另一个听觉特性是掩蔽效应。 所谓掩蔽效应,即一个声音的存在会影响人耳
对其他声音的听觉能力,在听觉效果上似乎一 个声音掩蔽了另一个声音。
北京信息科技大学
2)可见光谱与视觉
光谱效率函数V()
衡量人眼对不同波长的光的敏感程度差别
明视觉
日间视觉 指人眼白天对各种波长的光的敏感程度差别
即白天人眼视网膜的锥状细胞对光的响应
可用明视觉光谱效率函数V()来描述
暗视觉
北京信息科技大学
2)可见光谱与视觉
暗视觉
夜间视觉 指人眼在夜晚或微
虹膜是在角膜后面, 不透明,随不同种 族具有不同颜色
北京信息科技大学
1)人眼的结构
虹膜中间有一个小 孔叫瞳孔,在虹膜 环状肌的作用下, 瞳孔直径可调 (2~8mm),从而 控制进入人眼的光 通量,类似于相机 的光圈
北京信息科技大学
1)人眼的结构
瞳孔后面是扁球形的晶体,相当于相机的镜头, 在睫状肌的作用下,可以通过调节曲率来改变焦 距,使不同距离景象在视网膜上成像
亮度视觉
也称为明暗视觉 光的能量越大,感受到的亮度越亮 人眼对光的亮度感觉有关的参数:
光强 光通量 发光效率 照度 亮度
北京信息科技大学
*亮度视觉
人眼对光的亮度感觉有关的参数:
光强:发光强度,单位cd(坎[德拉]) 光通量:能为人眼所感受到的那部分光的辐射功率,单
需要适当调节睫状肌,产生不同深度感觉
北京信息科技大学
4)视觉特性
视觉惰性 闪烁感觉 人眼觉察亮度变化的 视野与视觉 能力 人眼的分辨率 色调对比效应 人眼的彩色分辨率 饱和度对比效应 面积对比效应 马赫效应
亮度适应性

北京信息科技大学
*色调对比效应
北京信息科技大学
北京信息科技大学
**亮度
北京信息科技大学
2011年秋季
**色调
表示颜色的类别 彩色物体的色调取决于物体在光照下所反
射的光谱成分,不同波长的反射光使物体 呈现不同的色调 对于透射的物体,其色调取决于透射光的 波长 彩色物体的色调既取决于物体的吸收特性 和反射或透射特性,也与照明光源的光谱 分布有关
1)人眼的结构
人眼是一个构造及其复杂而精密的光学信息处理系统,从解 剖学看,人类视觉系统由眼球和视神经系统组成
北京信息科技大学
1)人眼的结构
巩膜是一种不透明的膜,起保护眼球的作用
北京信息科技大学
1)人眼的结构
角膜坚硬而透明, 覆盖在眼睛的前 表面,光线由此 进入眼内
北京信息科技大学
1)人眼的结构
气等介质传播的一种连续的波,称为声波。 频率、声速和波长 声调(Pitch,音调) 响度(Loundness) 声压 声强(SPL,Sound Pressure Level) 音色(Timbre)
北京信息科技大学
声音物理特性
图1
声强与声压的关系
北京信息科技大学
人的听觉特性
听觉的方向性
人对声音方向的定位能力是由听觉的定位特性决定的。 人耳对声音的方位非常敏感,能在大约1度的范围内辨知声音的
北京信息科技大学
人的听觉特性
听觉的频率特性
声音信号的频率范围为20Hz~20kHz。 单一频率的信号称为分量信号,由许多不同频率的信号
组成的是复合信号。 它们的电平及频谱分布虽有差异,但有着相同的规律。 人类听觉对声音频率的感觉不仅表现为音调的高低,而 且在声音强度相同条件下对声音主观感觉的强弱也是不 同的,即人类听觉的频率响应不是平坦的。 由于外耳具有一定长度的耳道,会对某段频率产生共鸣。
方向,同时还可以判断声源离人耳的距离。
在测试环境中,听众坐在具有同样构造的两个扬声器前面,尽管
两扬声器的声音幅度相同,但听者定位右边扬声器的声音更强, 这是因为左边扬声器传输有接近15ms的时延。
当时延超过50ms时,听众感知到来自左边和右边扬声器两个不同
声音事件。
为弥补这一延时产生的影响,需增加该延时声道的幅度。 设计立体声设备和指导放声布局及聆听方法时应充分考虑这一点。
北京信息科技大学
人的听觉特性
有些频率的声音人耳感觉很灵敏,很小的声强就能
感觉到,而频率很低的声音必须强度很高人耳才能 感觉得到,这个频率段大约在3~5kHz。 因此人耳听到声音的响度与声音的频率有关。 描述响度、声音声压级以及声源频率之间的关系曲 线称为等响度曲线。 等响度曲线是将听起来与1kHz纯音(基音)响度相 同的各频率的声音的声压求得后用曲线连接起来的 结果,又叫做响度的灵敏度曲线。
是人类获取外界图像、视频信息的工具 是人类最重要、同时也是最完美的感知手段
首先通过眼睛感觉观察来获取原始的场景信息,
然后在大脑中加工处理,再综合其他已有的现 场信息,进而展开人类的视知觉智能推理活动 研究包括光学、色度学、视觉生理学、视觉心 理学、解剖学、神经科学和认知科学等领域
北京信息科技大学
缘的像素编码误差可以大一些。
北京信息科技大学
*视觉惰性
早期的动画
观看动画的机器
● 视觉效果
北京信息科技大学
*闪烁效应
吴韶波
wushaobo@bistu.edu.cn
数 字 第 视 一 频 章 基 础
北京信息科技大学
第1章 概述
1.1
数字音视频技术的基本概念
数字音视频技术的主要特点 数字音视频系统的组成
1.2
1.3
1.4
数字音视频系统的应用与发展
数字音视频技术的发展趋势
北京信息科技大学
1.5
1.1 数字音视频技术的基础知识
北京信息科技大学
人的听觉特性
听觉灵敏度
听觉灵敏度是指人耳对声压、频率及方位的微小变化的
判断能力。
当声压发生变化时,人们听到的响度会有变化。
例如声压级在50dB以上时,人耳能分辨出的最小声压级差约为
1dB;而声压级小于40dB时,要变化1~3dB才能觉察出来。
当频率发生变化时,人们听到的音调会有变化。 例如频率为1 000Hz、声压级为40dB的声音,变化3Hz就能觉察
北京信息科技大学
1)人眼的结构
视网膜由大量光敏 细胞和神经纤维组 成,是人眼的感光 部分。光敏细胞通 过视神经纤维连接 到大脑的视觉皮层 上,人们观察物体 时,物体通过晶体 在视网膜上形成一 个清晰的像,光敏 细胞受到光的刺激 引起视觉,人就看 清了该物体。
北京信息科技大学
1)人眼的结构
光敏细胞按形状可分 为: 锥状细胞:分布在视 网膜中心部分,能辨 别光的强弱和颜色。 杆状细胞:分布在视 网膜的边缘部分,灵 敏度更高,但不能辨 颜色,夜晚观察用

音频基础
声音
物理特性、人的听觉特性、

视频基础
视觉
人类视觉系统、
北京信息科技大学
1. 音频基础
音频
通常指正常人耳所能听到的,相应于正弦声波
的任何频率。
声音
是由材料振动产生的一种物理现象,通过空气
等介质的传播,引起人的耳膜振动,并为人耳
所感知。
北京信息科技大学
声音物理特性
从物理学的角度来看,声音实际上是通过空
北京信息科技大学
人的听觉特性
图2
等响度特性曲线
北京信息科技大学
人的听觉特性
等响度曲线与人的年龄以及人耳结构有关,从对该
曲线分析得出如下结论。
响度与人耳处的声压级有关。声压级提高,相应的响度随
之增大。 在4~5kHz附近的声音听起来比较响,这是因为外耳道对 其产生共鸣。 图中的等响度线越向上越趋向平直,下部曲线变化较大。 说明当声压级很高时,不同频率下的声音差不多一样响, 基本上与声音的频率无关。当声压级降低,等响度曲线低 频区的变化率要大于高频区变化率,也就是在此区域内, 声压级略有变化,其低频声音响度级会有明显地变化。 等响度曲线中的下方虚线以下区域为不可闻区,表示虽然 人耳处存在一定的声压,却感觉不到。对于频率为200Hz 的声音,只有它的声压级高于22dB人耳才能听到。
滞后掩蔽 在掩蔽声之后
100ms
由于人耳的存储效应,掩蔽声虽 已消失,掩蔽效应仍然存在
北京信息科技大学
人的听觉特性
声波的特性及听觉的主观感受
生理声学认为,听觉形成的基本机理可以这样描述:由
声源振动发出的声波,通过外耳道、鼓膜和小听骨的传
导,引起耳蜗中淋巴液和基底膜的振动,并转换成电信 号,由神经元编码形成脉冲序列,通过神经系统传递到 大脑皮层中的听觉中枢,产生听觉,感受到声音。
频域掩蔽效应 时域掩蔽效应
北京信息科技大学
人的听觉特性
表l
类 别
同时 Hale Waihona Puke Baidu蔽
时域掩蔽效应的分类及效果
掩蔽持续 时间
名 称
掩蔽出现时间
效 果
在掩蔽声持续时间内,对被掩蔽 声的掩盖最为明显 由于人耳的积累效应,被掩蔽声
同时掩蔽 与掩蔽声同时
同时掩声
非同时 掩蔽
超前掩蔽 在掩蔽声之前
20ms
尚未被听到,掩蔽声已经出现, 其掩盖效果很差
北京信息科技大学
**色调
北京信息科技大学
**饱和度
指彩色光所呈现彩色的深浅程度(或浓度)
对于同一色调的彩色光,其饱和度越高,
它的颜色就越深
北京信息科技大学
2011年秋季
*彩色与视觉
色度
指色调和饱和度的合称
既反映了彩色光的颜色,也反映了颜色的
深浅程度 非彩色光由于没有色度,只用亮度来描述
人眼对颜色感觉的参量包括:
亮度
色调 饱和度
北京信息科技大学
**亮度
是指人眼对光的明亮程度的感觉,光源的
亮度正比于光通量 物体的亮度不仅取决于物体反射(或透射) 光的能力,也取决于照射该物体的光源的 辐射功率 反射(或透射)光的能力越强,物体就越 明亮 照射物体的辐射功率越大,物体越明亮
北京信息科技大学
1)人眼的结构
黄斑区是视网膜上视觉最敏 感的区域,即视觉最清楚的 区域。
北京信息科技大学
2)可见光谱与视觉
光源
自然光源:太阳和其他恒星 人工光源:火焰、火花、蜡烛、电灯、发光管、激光
器等
人眼对光的敏感程度与光的波长()和光辐射
功率有关
可见光波长范围:380~780nm
出来,当频率超过1 000Hz、声压超过40dB时,人耳能觉察到的 相对频率变化范围(Δf/f)约为0.003。听觉灵敏度还与年龄有关。
北京信息科技大学
人的听觉特性
研究结果表明:对于纯音,人耳能分辨出280个声
压层次和1 400个频率层次。
对于复音,人耳只能分辨7种不同的响度层次和7
种不同的音调,共49种响度和音调的组合。
位lm(流明)
发光效率:每瓦特消耗功率所发出的光通量,单位
lm/W
照度:被照明的物体表面单位面积上所接收的光通量,
单位lx(勒[克斯])代表1m2面积上均匀分布1lm的光通量 亮度:发光面在不同位臵和不同方向的发光特性,单位
cd/m2
北京信息科技大学
3)亮度、颜色与立体感觉
彩色与视觉
彩色是一种视觉信息
*饱和度对比效应
北京信息科技大学
*面积对比效应
北京信息科技大学
*马赫效应(MACH EFFECT)
亦称“马赫范得效应” 当亮度发生跃变时,会有一种边缘增强的感 觉,视觉上会感到亮侧更亮,暗侧更暗。马赫效
应会导致局部阈值效应,即在边缘的亮侧,靠近
边缘像素的误差感知阈值比远离边缘阈值高3~4倍,
可以认为边缘掩盖了其邻近像素,因此对靠近边
用亮度、色调和饱和度三个参量能准确
描述彩色光
北京信息科技大学
3)亮度、颜色与立体感觉
立体视觉
双眼立体视觉
指人们看到的自然景物都是具有宽度、高度和深度
的立体图像 主要原因:双眼视差和辐辏
单眼立体视觉
指单眼分辨景物深度所产生的立体感觉 主要原因:为保证不同距离景物能在视网膜上成像,
听觉的这些基本特性决定着人们对声音的主观感受。
可闻声 听阈和痛阈
北京信息科技大学
2. 视频基础
视频
主要指不断变化的电视图像,即动态图像,
或活动图像、运动图像
视觉
光辐射刺激人眼时,将会引起复杂的生
理和心理变化,这种感觉就是~。
北京信息科技大学
(1)人类视觉系统
人类视觉系统(HVS)
弱光线下对光的敏感 程度 即白天视网膜的杆 状细胞对光的响应 可用暗视觉光谱效 率函数V’()来描述
北京信息科技大学
2)可见光谱与视觉
可见光谱
单色光:单一波长,只有一种颜色 复合光:由两种或两种以上波长的光混合而
成的光,人眼的感觉是混合色,如自然光
北京信息科技大学
3)亮度、颜色与立体感觉
相关文档
最新文档