计算摄像学专题第9讲
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
采集机制
-21-
各相机校准到同一个参考相机的视角：所有相机同一视角 时间上依次触发各个相机，为了减少视角上的不连续性，按如 下空间顺序进行触发：进一步保证同一视角
2.2 相机阵列间插采集
采集机制Βιβλιοθήκη Baidu
几何校准： 多相机同一视角 颜色校准： 多相机同一相应曲线 克服rolling shutter的歪曲成像作用 快门分为： 全局快门与卷帘式快门
相机时间上错开采集，每个相机采集一个短时间间隔
优势
低速相机阵列逼近高速相机成像
劣势
曝光时间短，进光量少，信噪比低 需要多相机校准到一个采集视角 受限于远距离、近似平面场景
2.3 相机阵列编码曝光
-27-
核心：解决上述“短曝光间插采集”信噪比低的局限性
2.3 相机阵列编码曝光
-35-
编码曝光后解耦重构以提高信噪比
优势
低速相机阵列逼近高速相机成像 进光量多，信噪比高
劣势
（单视角）需要多相机校准到一个采集视角 受限于远距离、近似平面场景
2.4 压缩感知下单相机编码曝光
核心
-36-
单个低速相机实现高速运动采集，多相机采集数据量大，
高速存取的硬件要求
“多曝光”采集： 在一幅图像的采集时间内，多次
-16-
light on，将采集时间内的多个瞬间记录于一张照片上
2.1 高速频闪
分析结果： 棒球运动轨迹及对应参数
-17-
2.1 高速频闪
分析结果： 投手的手部运动分析
-18-
2.1 高速频闪
本质
-19-
多次曝光的叠加，一次读出，牺牲空间分辨率，多次采集结果 重叠在一起
- fMax
-4fP
-3fP -2fP
-fP
0
fP=1/P 2fP
3fP 4fP
fMax
2.4 压缩感知下单相机编码曝光
传统频闪
When using low frame-rate camera, generate beat frequencies of the high speed periodic signal.
• Our Current Project, to be submitted
2.1 高速频闪
核心：基于高速频闪的“多曝光”采集
-10-
应用：专业体育训练分析，如棒球，分析球的运动轨迹，
投手的手部姿势变化等 优势：采集系统简单易行
2.1 高速频闪
什么是频闪？
全暗环境 光照可控 相机快门一直开启 光照时开时闭 光照开启持续时间很短 高速运动物体在不同时 刻所成的像记录于同一 张照片上 最终只读出一幅图像
-39-
P = 10ms
t
短曝光以避免运动模糊，但通光量非常低
信号周期需已知
Strobing animation credit Wikipedia
2.4 压缩感知下单相机编码曝光
编码频闪相机（编码光照与编码曝光统称，不区分）
-40-
2.4 压缩感知下单相机编码曝光
系统实现
PGR Dragonfly2： 10帧每秒采集
现有问题：
矩形采样：病态问题
-29-
点采样：进光量严重不足
2.3 相机阵列编码曝光
编码采样
至少全曝光50%的进光量，大大提高信噪比 与帧率无关的高速视频重构，N个相机提高N倍 Well-posed问题求解
-30-
编码采样矩阵的 求解：搜索
2.3 相机阵列编码曝光
编码采样系统
A 10000 fps camera with a 640x480 resolution with 3 color channels generates 8.6 GB of data in a second.
解决 “短曝光间插采集”信噪比低的局限性
30 fps
500 fps
-24.5 dB
2000 fps
一个像素的时域信号变化
每个曝光时间内的采集结果是该周期信号时域上的不同线性叠加
-42-
P = 10ms
t
优势： 曝光的编码与信号周期的频率无关
通光量平均为50%（50%时间快门开启），远远优于传统的频闪方法
2.4 压缩感知下单相机编码曝光
观测模型
N unknowns
Frame 1 Coded Strobing
入射光强 光圈大小
曝光时间
长曝光
闪光？ 景深 运动模糊
1.3 高速相机
突破普通相机图像存储、传输时间的局限性
内部集成高速或超高速图像采集控制器 超大的内部存储量 高速图像处理 高速的图像传输
-7-
保证进光量信噪比
大光圈 小景深 强光源
价格昂贵
• 高速运动采集是未来摄像的必然发展需求，但目前的
1.1 成像模型回顾
镜头
镜头
-5-
传感
快门
传感器 CCD/CMOS
L( x, y, z, , , , t )d d
,
( L( x, y, z, , , , t )d d )dt
t ,
ON OFF
曝光时间
采集到的光信号
光电转换： 模拟电信号
exposure
-36.5 dB
4000 fps
-42.5 dB
2.4 压缩感知下单相机编码曝光
周期信号及其频谱
Periodic signal x(t) with period P
-37-
P
t
周期为P的周期信号 频带 band-limited to fMax.
其傅立叶变换仅在multiples of fP=1/P 处不为零
- fMax
-4fP
-3fP -2fP
-fP
0
fP=1/P 2fP
3fP
4fP
fMax
2.4 压缩感知下单相机编码曝光
高速相机
采样定律：x(t) 信号的奈奎斯特采样当信号x的每个周期都有高
-38-
频变化时，其所需采样率高
P = 10ms
Ts = 1/(2 fMax)
周期信号具有规则分布的稀疏傅立叶系数，那么是否需要高速相机？ 浪费带宽？
捕捉球的运动轨迹
频闪光源 相机 同步时序控制
2.1 高速频闪
采集系统： 捕捉投手的手部运动
-14-
频闪光源 相机 同步时序控制
2.1 高速频闪
“多曝光”采集： 在一幅图像的采集时间内，多次
-15-
light on，将采集时间内的多个瞬间记录于一张照片上
2.1 高速频闪
4个相机 精确触发控制
-31-
2.3 相机阵列编码曝光
相机阵列编码曝光与计算重构结果
-32-
2.3 相机阵列编码曝光
相机阵列编码曝光与计算重构结果：比较长曝光
-33-
2.3 相机阵列编码曝光
相机阵列编码曝光与结果重构结果：比较长曝光
-34-
2.3 相机阵列编码曝光
本质
高速相机仍没有从本质上解决SNR与运动模糊的矛盾, 计算摄像学研究突破上述本质局限的高速运动采集方法
第九讲提纲
2
计算摄像中的高速运动采集研究
2.1 2.2 2.3 2.4 2.5
-8-
高速频闪 相机阵列间插采集
相机阵列编码曝光
压缩感知下单相机编码曝光
基于运动跟踪的三维高速运动采集
计算摄像中的高速运动采集研究
1.2
1.3
高速相机
1.1 成像模型回顾
光照
环境光 光源
-4-
镜头
镜头 快门
传感
对采集到的光 信号进行记录
传感器 CCD/CMOS
成像显示结果
ON OFF
曝光时间
光电转换： 模拟电信号
场景radiance
irradiance
exposure
模数转换 量化
数字图像 像素值
入射光线在快门开启 入射光线在镜头表面 的积分（2D 角度积分） 时间内的积分（1D时 间积分）
-43-
Frame M
t
Frame Integration Period TS Observed Intensity Signal
y
=
C
x
2.4 压缩感知下单相机编码曝光
信号模型
-44-
t
Signal
Non-zero elements
b1
相机阵列 间插采集 相机阵列 编码曝光
压缩感知下 单相机编码曝光 基于运动跟踪的 三维高速运动采集
• Coded Strobing Photography: Compressive Sensing of High Speed Periodic Videos. Veeraraghavan, A., Reddy, D., Raskar, R. (2011) IEEE Transactions on Pattern Analysis and Machine Intelligence.
-22-
2.2 相机阵列间插采集
采集机制：克服rolling shutter的歪曲成像作用
-23-
2.2 相机阵列间插采集
采集机制：克服rolling shutter的歪曲成像作用
-24-
2.2 相机阵列间插采集
高速视频序列采集结果：
-25-
2.2 相机阵列间插采集
本质
-26-
优势
光源的变化频率可以很快，远远超出相机的帧率
劣势
采集环境受限，必须在dark room 多次采集结果叠加，要提取各次采集结果，可能需要标记， marker
2.2 相机阵列间插采集
核心：每个相机采集不同的时间间隔，间插短曝光 应用：利用普通低速相机阵列实现高速相机
-20-
2.2 相机阵列间插采集
-41-
1ms 的时间分辨率进行频闪（快门控制） 相机本身自带的快门控制功能
PGR Dragonfly2 ： 25fps ferro-electric shutter 电子快门 使用外置电子快门可以实现更高频率 的控制 FLC Shutter
Can flutter at 250us
2.4 压缩感知下单相机编码曝光
高速频闪
-9-
• Pitching a Baseball - Tracking High-Speed Motion with Multi-Exposure Images, C. Theobalt, I. Albrecht, J. Haber, M. Magnor, H.-P. Seidel. Proc. of ACM SIGGRAPH 2004 (ACM Transactions on Graphics Special issue), pages 540-547, Los Angeles, USA, 2004. • High Performance Imaging Using Large Camera Arrays. Bennett Wilburn, Neel Joshi, Vaibhav Vaish, Eino-Ville (Eddy) Talvala, Emilio Antunez, Adam Barth, Andrew Adams, Marc Levoy, Mark Horowitz. Proc. SIGGRAPH 2005 • Optimal Single Image Capture for Motion Deblurring. Amit Agrawal and Ramesh Raskar. CVPR 2009
-28-
编码曝光： 在一次图像采集时间内，相机快门按照特
定规律开启/闭合 与高速频闪的联系与区别：
编码曝光对采集环境没有要求，不需要dark room
编码曝光控制的是相机快门的开闭 高速频闪控制的是光源的开启与关闭 高速频闪与编码曝光本质上均为多次曝光结果记录于一幅图像
2.3 相机阵列编码曝光
-1-
计算摄像学专题第九讲
—— 高速运动采集
戴琼海 武迪 清华大学 自动化系 2011-03-23
第九讲提纲
1 2 摄像--时间分辨率的本质局限分析 计算摄像中的高速运动采集研究 课程大作业安排及要求
-2-
3
第九讲提纲
1 摄像--时间分辨率的本质局限分析
1.1
-3-
成像模型回顾
SNR与运动模糊本质矛盾
irradiance
模数转换
量化
入射光线在快门开启时间内 的积分（1D时间积分）
光存储容器
最小量化值
最大量化值
1.2 SNR与运动模糊本质矛盾
SNR–信噪比
进光量大小
-6-
(
t
,
L( x, y, z , , , , t )d d ) dt
短曝光
From Photography, London et al.
-11-
2.1 高速频闪
高速运动采集的帧率局限： 场景信号的变化频率远
-12-
远高于相机的时域采样频率，也即帧率
相机帧率受限于多个方面的原因，难以提高与突破
但光照容易控制，并且容易实现高频变化
高速频闪： 高帧率 高频变化光照
2.1 高速频闪
采集系统：
-13-
-21-
各相机校准到同一个参考相机的视角：所有相机同一视角 时间上依次触发各个相机，为了减少视角上的不连续性，按如 下空间顺序进行触发：进一步保证同一视角
2.2 相机阵列间插采集
采集机制Βιβλιοθήκη Baidu
几何校准： 多相机同一视角 颜色校准： 多相机同一相应曲线 克服rolling shutter的歪曲成像作用 快门分为： 全局快门与卷帘式快门
相机时间上错开采集，每个相机采集一个短时间间隔
优势
低速相机阵列逼近高速相机成像
劣势
曝光时间短，进光量少，信噪比低 需要多相机校准到一个采集视角 受限于远距离、近似平面场景
2.3 相机阵列编码曝光
-27-
核心：解决上述“短曝光间插采集”信噪比低的局限性
2.3 相机阵列编码曝光
-35-
编码曝光后解耦重构以提高信噪比
优势
低速相机阵列逼近高速相机成像 进光量多，信噪比高
劣势
（单视角）需要多相机校准到一个采集视角 受限于远距离、近似平面场景
2.4 压缩感知下单相机编码曝光
核心
-36-
单个低速相机实现高速运动采集，多相机采集数据量大，
高速存取的硬件要求
“多曝光”采集： 在一幅图像的采集时间内，多次
-16-
light on，将采集时间内的多个瞬间记录于一张照片上
2.1 高速频闪
分析结果： 棒球运动轨迹及对应参数
-17-
2.1 高速频闪
分析结果： 投手的手部运动分析
-18-
2.1 高速频闪
本质
-19-
多次曝光的叠加，一次读出，牺牲空间分辨率，多次采集结果 重叠在一起
- fMax
-4fP
-3fP -2fP
-fP
0
fP=1/P 2fP
3fP 4fP
fMax
2.4 压缩感知下单相机编码曝光
传统频闪
When using low frame-rate camera, generate beat frequencies of the high speed periodic signal.
• Our Current Project, to be submitted
2.1 高速频闪
核心：基于高速频闪的“多曝光”采集
-10-
应用：专业体育训练分析，如棒球，分析球的运动轨迹，
投手的手部姿势变化等 优势：采集系统简单易行
2.1 高速频闪
什么是频闪？
全暗环境 光照可控 相机快门一直开启 光照时开时闭 光照开启持续时间很短 高速运动物体在不同时 刻所成的像记录于同一 张照片上 最终只读出一幅图像
-39-
P = 10ms
t
短曝光以避免运动模糊，但通光量非常低
信号周期需已知
Strobing animation credit Wikipedia
2.4 压缩感知下单相机编码曝光
编码频闪相机（编码光照与编码曝光统称，不区分）
-40-
2.4 压缩感知下单相机编码曝光
系统实现
PGR Dragonfly2： 10帧每秒采集
现有问题：
矩形采样：病态问题
-29-
点采样：进光量严重不足
2.3 相机阵列编码曝光
编码采样
至少全曝光50%的进光量，大大提高信噪比 与帧率无关的高速视频重构，N个相机提高N倍 Well-posed问题求解
-30-
编码采样矩阵的 求解：搜索
2.3 相机阵列编码曝光
编码采样系统
A 10000 fps camera with a 640x480 resolution with 3 color channels generates 8.6 GB of data in a second.
解决 “短曝光间插采集”信噪比低的局限性
30 fps
500 fps
-24.5 dB
2000 fps
一个像素的时域信号变化
每个曝光时间内的采集结果是该周期信号时域上的不同线性叠加
-42-
P = 10ms
t
优势： 曝光的编码与信号周期的频率无关
通光量平均为50%（50%时间快门开启），远远优于传统的频闪方法
2.4 压缩感知下单相机编码曝光
观测模型
N unknowns
Frame 1 Coded Strobing
入射光强 光圈大小
曝光时间
长曝光
闪光？ 景深 运动模糊
1.3 高速相机
突破普通相机图像存储、传输时间的局限性
内部集成高速或超高速图像采集控制器 超大的内部存储量 高速图像处理 高速的图像传输
-7-
保证进光量信噪比
大光圈 小景深 强光源
价格昂贵
• 高速运动采集是未来摄像的必然发展需求，但目前的
1.1 成像模型回顾
镜头
镜头
-5-
传感
快门
传感器 CCD/CMOS
L( x, y, z, , , , t )d d
,
( L( x, y, z, , , , t )d d )dt
t ,
ON OFF
曝光时间
采集到的光信号
光电转换： 模拟电信号
exposure
-36.5 dB
4000 fps
-42.5 dB
2.4 压缩感知下单相机编码曝光
周期信号及其频谱
Periodic signal x(t) with period P
-37-
P
t
周期为P的周期信号 频带 band-limited to fMax.
其傅立叶变换仅在multiples of fP=1/P 处不为零
- fMax
-4fP
-3fP -2fP
-fP
0
fP=1/P 2fP
3fP
4fP
fMax
2.4 压缩感知下单相机编码曝光
高速相机
采样定律：x(t) 信号的奈奎斯特采样当信号x的每个周期都有高
-38-
频变化时，其所需采样率高
P = 10ms
Ts = 1/(2 fMax)
周期信号具有规则分布的稀疏傅立叶系数，那么是否需要高速相机？ 浪费带宽？
捕捉球的运动轨迹
频闪光源 相机 同步时序控制
2.1 高速频闪
采集系统： 捕捉投手的手部运动
-14-
频闪光源 相机 同步时序控制
2.1 高速频闪
“多曝光”采集： 在一幅图像的采集时间内，多次
-15-
light on，将采集时间内的多个瞬间记录于一张照片上
2.1 高速频闪
4个相机 精确触发控制
-31-
2.3 相机阵列编码曝光
相机阵列编码曝光与计算重构结果
-32-
2.3 相机阵列编码曝光
相机阵列编码曝光与计算重构结果：比较长曝光
-33-
2.3 相机阵列编码曝光
相机阵列编码曝光与结果重构结果：比较长曝光
-34-
2.3 相机阵列编码曝光
本质
高速相机仍没有从本质上解决SNR与运动模糊的矛盾, 计算摄像学研究突破上述本质局限的高速运动采集方法
第九讲提纲
2
计算摄像中的高速运动采集研究
2.1 2.2 2.3 2.4 2.5
-8-
高速频闪 相机阵列间插采集
相机阵列编码曝光
压缩感知下单相机编码曝光
基于运动跟踪的三维高速运动采集
计算摄像中的高速运动采集研究
1.2
1.3
高速相机
1.1 成像模型回顾
光照
环境光 光源
-4-
镜头
镜头 快门
传感
对采集到的光 信号进行记录
传感器 CCD/CMOS
成像显示结果
ON OFF
曝光时间
光电转换： 模拟电信号
场景radiance
irradiance
exposure
模数转换 量化
数字图像 像素值
入射光线在快门开启 入射光线在镜头表面 的积分（2D 角度积分） 时间内的积分（1D时 间积分）
-43-
Frame M
t
Frame Integration Period TS Observed Intensity Signal
y
=
C
x
2.4 压缩感知下单相机编码曝光
信号模型
-44-
t
Signal
Non-zero elements
b1
相机阵列 间插采集 相机阵列 编码曝光
压缩感知下 单相机编码曝光 基于运动跟踪的 三维高速运动采集
• Coded Strobing Photography: Compressive Sensing of High Speed Periodic Videos. Veeraraghavan, A., Reddy, D., Raskar, R. (2011) IEEE Transactions on Pattern Analysis and Machine Intelligence.
-22-
2.2 相机阵列间插采集
采集机制：克服rolling shutter的歪曲成像作用
-23-
2.2 相机阵列间插采集
采集机制：克服rolling shutter的歪曲成像作用
-24-
2.2 相机阵列间插采集
高速视频序列采集结果：
-25-
2.2 相机阵列间插采集
本质
-26-
优势
光源的变化频率可以很快，远远超出相机的帧率
劣势
采集环境受限，必须在dark room 多次采集结果叠加，要提取各次采集结果，可能需要标记， marker
2.2 相机阵列间插采集
核心：每个相机采集不同的时间间隔，间插短曝光 应用：利用普通低速相机阵列实现高速相机
-20-
2.2 相机阵列间插采集
-41-
1ms 的时间分辨率进行频闪（快门控制） 相机本身自带的快门控制功能
PGR Dragonfly2 ： 25fps ferro-electric shutter 电子快门 使用外置电子快门可以实现更高频率 的控制 FLC Shutter
Can flutter at 250us
2.4 压缩感知下单相机编码曝光
高速频闪
-9-
• Pitching a Baseball - Tracking High-Speed Motion with Multi-Exposure Images, C. Theobalt, I. Albrecht, J. Haber, M. Magnor, H.-P. Seidel. Proc. of ACM SIGGRAPH 2004 (ACM Transactions on Graphics Special issue), pages 540-547, Los Angeles, USA, 2004. • High Performance Imaging Using Large Camera Arrays. Bennett Wilburn, Neel Joshi, Vaibhav Vaish, Eino-Ville (Eddy) Talvala, Emilio Antunez, Adam Barth, Andrew Adams, Marc Levoy, Mark Horowitz. Proc. SIGGRAPH 2005 • Optimal Single Image Capture for Motion Deblurring. Amit Agrawal and Ramesh Raskar. CVPR 2009
-28-
编码曝光： 在一次图像采集时间内，相机快门按照特
定规律开启/闭合 与高速频闪的联系与区别：
编码曝光对采集环境没有要求，不需要dark room
编码曝光控制的是相机快门的开闭 高速频闪控制的是光源的开启与关闭 高速频闪与编码曝光本质上均为多次曝光结果记录于一幅图像
2.3 相机阵列编码曝光
-1-
计算摄像学专题第九讲
—— 高速运动采集
戴琼海 武迪 清华大学 自动化系 2011-03-23
第九讲提纲
1 2 摄像--时间分辨率的本质局限分析 计算摄像中的高速运动采集研究 课程大作业安排及要求
-2-
3
第九讲提纲
1 摄像--时间分辨率的本质局限分析
1.1
-3-
成像模型回顾
SNR与运动模糊本质矛盾
irradiance
模数转换
量化
入射光线在快门开启时间内 的积分（1D时间积分）
光存储容器
最小量化值
最大量化值
1.2 SNR与运动模糊本质矛盾
SNR–信噪比
进光量大小
-6-
(
t
,
L( x, y, z , , , , t )d d ) dt
短曝光
From Photography, London et al.
-11-
2.1 高速频闪
高速运动采集的帧率局限： 场景信号的变化频率远
-12-
远高于相机的时域采样频率，也即帧率
相机帧率受限于多个方面的原因，难以提高与突破
但光照容易控制，并且容易实现高频变化
高速频闪： 高帧率 高频变化光照
2.1 高速频闪
采集系统：
-13-