Shape from X

Shape from X
从X恢复形状:x可以是，shading（单幅图像明暗）、stereo vision（立体视觉法）、photometric stereo(光度立体法)、texture(纹理)、motion(运动)、contour(轮廓)、shadow（阴影）。

从明暗恢复形状( shape f rom shading , 简称SFS)：
是计算机视觉中三维形状恢复问题的关键技术之一，其任务是利用单幅图象中物体表面的明暗变化来恢复其表面各点的相对高度或表面法方向等参数值，为进一步对物体进行三维重构奠定基础。

由单幅图像灰度明暗变化恢复三维形状的过程可以看作成像过程的逆过程。

对实际图像而言，其表面点图像亮度受到了许多因素，如光源、物体表面材料性质和形状，以及摄像机(或观察者)位置和参数等的影响。

由单幅图像灰度明暗变化恢复三维形状是在一定的约束条件下从平滑变化的灰度图像恢复出表面法向信息，即根据物体表面反射模型建立物体表面三维形状与采集的图像灰度之间关系的反射图方程，以及由先验知识所建立的对物体表面形状参数的约束条件，对这些关系求解可得到物体表面三维形状。

传统SFS方法均进行了如下假设：( 1)光源为无限远处点光源；( 2)反射模型为朗伯体表面反射模型( Lambertian)；( 3)成象几何关系为正交投影。

立体视觉法(shape from Stereo vision)
可以分为双目和多目立体视觉两种类型。

简要说明双目立体视觉的原理。

与人类双目视觉的感知过程类似，双目立体视觉从两个不同视点观察同一物体可以得到不同视角下的图像，通过分析不同图像中同一像点的不同视差来获取物体表面的三维空间信息。

立体视觉系统可以分为图像采集、摄像机标定、特征提取、立体匹配、深度恢复及三维表面插值等部分组成。

目前有MTI人工智能实验室、Yale 机器视觉机器人实验室、哈尔滨工业大学、中科院自动化所、西安交通大学、Sony 公司、Intel公司等国内外多家研究机构都在从事立体视觉方面的研究。

立体视觉法测量方法简单，但该方法的主要缺点是摄像机需要标定，图像特征匹算法复杂。

光度立体法(shape from photometric Stereo)
避免了对应点匹配问题，使用单目多幅图像中蕴涵的三维信息恢复被测对象三维形状。

一幅图像像素点的灰度主要由如下因素决定：物体的形状、物体相对于光源和摄像机的位置、光源和摄像机的相对位置，以及物体的物理表面反射特性等。

光度立体法固定摄像机和物体的位置，通过控制光源方向，在一系列不同光照条件下采集图像，然后由这几幅图像的反射图方程求解物体表面法向量，进而重构物体三维形状。

Ikeuchi等使用光度立体法开发出一套机器人视觉系统，Lee提出一种将光度立体法和SFS方法相结合的三维重构方法。

光度立体方法不需要求解反射图方程，方法实现简便。

但需要改变光源位置，采集多幅图像，无法使用于自然光或固定光源的物体表面三维重构。

由纹理恢复形状方法(ShaPe from texture)
利用物体表面的纹理信息确定表面方向进而恢复出表面三维形状。

纹理由纹理元组成，纹理元可以看作是图像区域中具有重复性和不变性的视觉基元，纹理元在
不同的位置和方向反复出现。

由纹理元的变化可以对物体表面法向量方向进行恢复。

常用的纹理恢复形状方法有三类：利用纹理元尺寸变化、利用纹理元形状变化以及利用纹理元之间关系变化对物体表面梯度进行恢复。

Gibson在1950年首先提出了由纹理或纹理梯度表面深度的变化，Kender提出了一种恢复由规则的
平行线组成的栅格表面取向的方法。

这种方法对物体表面的纹理信息要求严格,
需要掌握成像投影中纹理元的畸变信息，只有在纹理特性确定的条件下才能应用。

该方法精度较低，而且适用性差，实际应用较少。

由运动恢复形状方法(Shape from motion)
当目标与摄像机在发生相对运动时，摄像机拍摄对应的图像序列,可通过分析该
图象序列获得场景的三维信息。

摄像机与场景目标间有相对运动时所观察到的亮度模式变化显示出的运动称为光流(optical flow)。

光流表示图像的变化，它包含
了目标的运动信息，由此可以确定观测者与目标的相对运动，并且可以根据光流求解表面法向量。

从运动恢复形状方法适用于被测对象处于运动状态,利用目标
与摄像机相对运动来获得场景中目标之间的位置关系，需要多幅图像，不使用静态的场景。

同时序列图象像素间的匹配对测量计算精确度影响较大。

由轮廓恢复形状方法(Shape from Contour)
图像的轮廓是物体表面的边缘在图像平面的投影。

Barrow与Tennnenboum将轮廓线分为两类，一是不连续轮廓线，它对应物体表面的中断或转折处，形成原因是物体表面法向量在这里发生不连续变化，另一种是Occluding轮廓线，它对应物体表面的法向量光滑地与摄像机垂直，形成原因是物体表面到摄像机的距离在这里发生不连续变化。

不连续轮廓线应用于多面体结构的重构和定位，occluding 轮廓线用于恢复物体表面的局部特征或全局特征。

Karl研究了正交投影下用Occluding轮廓线全局地恢复非退化二次曲面形状。

由阴影恢复形状方法(Shape from shadow)
图像的阴影边界蕴涵了图像的轮廓信息，因此可以根据不同的光照条件下图像的阴影恢复物体表面的三维形状。

Michael提出了一种由阴影恢复形状的优化算法。

目前国内外对这种方法的研究比较少。

其他的非接触三维测量方法有如CT方法，飞行时间法等。