基于图像的绘制技术-ibr

同心拼接(Concentric Mosaics)
通过沿一系列同心圆切线方向拍摄的狭缝图像
(slit images)拼合成同心拼接
利用同心拼接合成视图原理
使用普通照相机获取狭缝图像
同心拼接方法特点
只需在一个圆上拍摄的一系列图像，采
样方便。 视点可以在采样圆内做平面移动，生成 场景真实感强 数据量较光场等全视函数方法为小 移动范围受限，基于狭缝图象的绘制： 有场景畸变现象
Baidu Nhomakorabea
同心拼接的畸变
基于狭缝图象段的绘制
将同心拼接中使用的狭缝图象进一步分
为狭缝图象段 测定不同距离上对应狭缝图象段的伸缩 比例 利用狭缝图象段的伸缩进行正确的绘制
基于狭缝图象段的绘制：采样
在两个同心圆上
采集场景图象， 分别称为参考图 象和数据图象 分割成狭缝图象 段 建立参考图象和 数据图象之间的 狭缝图象对应关 系
基于图像的绘制技术
（Image Based Rendering, IBR)
传统图形学
建模（几何 + 材质） 计算、显示
用户输入
计算
结果图像
难以达到真实感效果 建模复杂 计算和显示开销大
基于图像的绘制
直接从拍摄的图像合成新视点的视图 建模简单 显示速度快 真实感强
相关领域
几何和图像混合建模过程（图示）
几何和图像混合建模过程
拍摄照片，交互指定建筑物边缘 生成建筑物粗模型 利用基于模型的立体视觉算法精化模型 利用基于视点的纹理映射合成新视图
几何和图像混合建模特点
可以通过拍摄的几张照片合成逼真的新视图，
简单快捷
只能适用于普通建筑物等外形规整的景物
基于狭缝图象段的绘制：绘制
基于全视函数的方法比较
数据维数 视点移动范围
7 5 4 (3) 2
提出 年份 plenoptic function 1991 自由 plenoptic modeling 1995 自由 一个长方体内 Lightfield/Lumigraph 1996 一个二维圆内 concentric mosaics 1999 panorama 1994 固定视点上
在一个视点拍摄的几幅图像，通过整合
(registration)拼接成一个视点周围的场 景视图，投影在圆柱面或者球面上成为 全景图。
全景图方法特点
只需在一个视点拍摄的几张照片，数据
量小，采样方便。 视点不能移动，但是可以转动观察方向， 通过放大缩小（zoomin/zoom out)进行近 似的前后运动
视图变换方法(View Morphing)
Warp 01( w, P) (1 w) P0 wF 0 P0 Warp10( w, P) (1 w) F 1P1 wP1
利用参考图像上像素点重投影生成新视图 利用投影知识决定的变形位置
视图插值/变换方法特点
简单方便，只要求几幅参考图像 漫游范围受限，只能在几幅参考图像的视点连
名称
演示程序
Demo
基于光场的显示：特点
基于“自由空间中沿一条光线传递的辐射能
不变”的假设，把全视函数简化为描述离开 或进入一封闭自由空间(如空立方体)的完全 光流分布 由于只考虑视流信息，因此不必对反射属性 作假设，不需要立体对应关系 数据量大，采样困难
全景图(Panorama )
Panorama Synthesis View
视图插值 和变换
参考图像
（View Interpolation/ view morphing）
合成视图
几何和图像混 合建模 图像拼接 和分层
基于图像的绘制中的重要方法
几何和图像混合建模(Hybrid Geometry- and
Image-based Approach [DTM96]) 视图插值和变形(View Interpolation[CW93] / View Morphing[SD96]) 全视函数(Plenoptic Function-based ) 图象拼接（mosaic) 立体视觉(Stereo Vision)
线之间作有限运动 常用于加速图形学中的绘制速度
基于全视函数的IBR
全视函数原型[AB91]
Plenoptic , , ,Vx ,Vy ,Vz , t ) (
基于光场的显示
Light Field Rendering[LH96] and Lumigraph
[GGSC96]
视图插值方法(View Interpolation)
样本1 立体匹配 样本2 结束 优化处理 图像重建 插值运算 可见度计算 投影
要求新视点位于两参考图象视点所决定的直线
(基线，baseline)上。由参考图线性插值产生新 视图。 一般情况下不能产生正确的透视投影结果，而 只生成近似的中间视图。
基于图像的光照（Image Based Lighting) – 从图像中获取场景物体的光照属性
计算机视觉 – 从图像中获取场景物体的几何信息
基于图象的绘制与计算机图形学 和视觉的关系
计算机视觉 计算机图形学
几何 图象 图象
IBMR
基于图像的绘制过程
全视函数
(Plenoptic Modeling)