博士开题报告ppt课件

4)局部最小化,如何能达到全局最小化顺序对齐首尾视图出现间隙
✓德国自主智能系统研究所Nüchter（2004）:提出了 “simultaneous matching”，它与Pulli的方法的不同之
(2) 多视对齐算法综述
处在于它不需要两两对齐的迭代过程 评价：这种方法依赖于要有的好的初始对齐结果。
1 顺序对齐
RE/RP Lab, CIM Inst.
2020/3/29
2.2 具有对称特征的非完备数据的几何建模技术
2.2.2 对称面或近似对称面的求解方法
1)轮廓线法
✓金涛( 2003):
(Ai
'
1n n i0
DA' i
1 n n i0
DB' i
2
RE/RP Lab, CIM Inst.
2.2.1非完备几何特征的定义及分类
(1)非完备几何特征的定义
在测量操作前因外力作用或在测量过程中因扫 描设备场景的限制或被测物体的遮挡等原因引起的 构成产品模型的低层几何体素及其构造特征,如点, 线,面出现缺失或变形等偏离物体原貌的情况,称为 非完备几何特征。
(2)非完备几何特征的测量建模过程
非完备几何特征的测量建模过程就是试图通过软件 或硬件的手段恢复物体原貌的过程。
4 图分析法 其主要思想是利用视图之间的关系。例如一些方法想
方法来进行优化. 评价:该方法既不需要视图位置以及视图顺序的知识,
法找到视图间的最优路径来获得一个精确的对齐；另外 但是一旦一个不正确的匹配加到最终的图上，全局模
一些方法利用物体的部分被重新访问来探测循环并在循 型就会不连续，导致重新开始全过程。
RE/RP Lab, CIM Inst.
2020/3/29
二.文献综述
RE/RP Lab, CIM Inst.
2020/3/29
2.1 网格多视对齐技术
(1) 多视对齐
✓斯坦福大学BROWN B(2007) ;Pulli（1999）:基于主
给定: N个已实现粗拼合的视图 目标: 对其进行全局拼合,实现精拼合
问题2:如何实现具有对称特征的非完备数据的 几何建模?
RE/RP Lab, CIM Inst.
2020/3/29
一.研究背景与意义
非完备几何特征的测量建模在颜面缺损修复中的应用
非对称特征颜面 1)全鼻缺损 2)全唇缺损 3)双眼缺损
问题3：如何基于特征相似性来 实现非完备数据的几何建模? 问题4：如何保证赝复体与周围 组织区域的贴合性及美观性?
评价：这种方法的缺点在于要求过于严格，可能会将合 格的两两对齐排除在外，仅适合于粗对齐有很好的结果 的场合。 ✓Matabosch (2008)： 探测环的方法：
如果视图是顺序拍摄的,如手持摄像仪,如果前后两个 视图间的平移矢量(或旋转矢量)小于一定的阈值,同时这 两个视图又不是相邻的那就可以判定是一个环.简化的方 法:利用两个视图的包围盒在XY,YZ,XZ方向上的投影来确 定重叠区域,如果三个重叠区域都超过了给定的阈值,且两 包围盒中心足够小, 那就可以判定是一个环。
(3)非完备几何特征的产生阶段
(4)非完备几何特征的分类
1 按照非完备类型分： 1）缺损 2）变形
2 按照产生阶段分： 1）原始非完备 2）测量非完备
3 按照非完备的范围分： 1）小区域 2）大范围
4 非完备几何特征的性质分： 1）平面 2）二次曲面 3）自由曲面
如机械产品很多是规则曲面；而人脸等是自由曲面
环的视图中分散误差。
RE/RP Lab, CIM Inst.
2020/3/29
2.1 网格多视对齐技术
✓Sharp(2004)：对大场景且未知视图方向的多视对齐进 行了研究，为了降低计算负担，将图分解成一组环。
要点在于： 1）环的判别方法 环探测的复杂程度取决于视图是无组 织的还是顺序的； 2）不合格两两对齐的判别方法； 3）环内及环间的误差分散方法。 ✓ HouFei (2009)：为了剔除错误的两两对齐，在判断环 的问题上提出一致性环的概念。所谓一致性环即环中所 有的变换都是近似单位阵变换，这样的一致性环中没有 错误的两两对齐。
Shanghai Jiao Tong University
非完备几何特征的测量建模 与医学应用研究
RE/RP Lab
开题报告
博 士 生: 导 师 ： 习俊通 教授
2020/3/29
汇报提纲
一、研究背景与意义 二、文献综述 三、课题研究内容 四、拟采取的研究方法、技术路线 五、已经完成的工作 六、研究的创新点 七、计划进度
直接使用两两对齐的算法对N个视图进行顺序拼合。 评价:两两拼合中会产生不均匀分配的错误,因此会出 现一对视图有很高的拼合精度,而整个拼合系统达不 到高的拼合精度的情况。
3 同步对齐法： ✓Masuda（2002）:基于符号距离场同步对齐和融合所 有视图 ,在迭代过程中去除外点 。 工作原理是:
2 主视图法 ✓Chen and Medioni (1991):对齐两个视图,将它们 融合成一个主视图,然后新的视图又顺序的对齐并融 合为新的主视图。
评价:该方法采用的对称特征是二维空间折线，需在 测量阶段对特征线作标记，增加了数据测量的难度 和工作量；另外，特征线上所含数据点的数量有限， 难以通过统计方法减小误差。
2020/3/29
2.2 具有对称特征的非完备数据的几何建模技术
2)局部形状匹配法
✓纽约州立大学的Jianning Wang (2002): 利用3D Hough 变换将点云分为平坦区域和特征区域，
换矩阵。另一个重要的不同在于通过等级化的方法来 降低计算量。
✓Huber（2002）：算法分为两步 1）局部对齐 2）全局对齐
局部对齐的主要目标是创建一个“model graph”,基 于”spin image”计算所有可能的两两对齐 ;仅使用正 确的两两对齐来进行全局对齐,最后用Neugebauer的
✓法国克莱蒙第二大学E. Mouragnon（2007）：基于 bundle adjustment方法实现实时的对齐和融合,同时最小 化角度误差。bundle adjustment通常用于求解视图参数 (如相机的位置和标定估计)它是一个非线性的最小化问题， 对于它的求解通常需要非线性最小二乘法求解. 评价： bundle adjustment技术在出现外点时能提供好的 结果，但需要好的初始估计，很少用于大的场景
评价：好处是融合后的主视图所含的所有信息都能
第一步执行一个粗对齐将所有的视图都变换到同一个坐 标系下；第二步执行一个迭代过程使得数据形状对齐融 合至收敛。 评价: 好处是：所有视图能够同步对齐，误差也不会产生累积。 另外外点也能自动去除。
够在新的对齐过程中被使用。 缺点是已经融合到主 视图中的视图，它是没法再调整的。
（3）文献总结
现有的多视对齐技术存在的主要问题: (1) 主视图法: 两两拼合如果误拼合，会影响全局拼合的效果。 (2) 同步对齐法： 无法降低大的计算量。 (3) 图方法： 瓶颈在于如何有效的探测环。
RE/RP Lab, CIM Inst.
2020/3/29
2.2 具有对称特征的非完备数据的几何建模技术
RE/RP Lab, CIM Inst.
2020/3/29
2.2 具有对称特征的非完备数据的几何建模技术
3)ICP方法
✓南京航空航天大学 的张丽艳( 2006)：
提出用ICP迭代方法来获取健康人脸的对称面
1首先使用PCA(主轴分析)来确定镜面的最近似 的位置,获取初始镜面 ; 2通过初始镜面的镜像获取它的初始镜面; 3对原始数据和初始镜像面去除掉裙边的数据 进行基本ICP精对齐。除掉裙边的目的是保证 初始镜像数据是原始数据的子集,从而满足基本 ICP收敛的要求; 4 将对齐后的对应点连线的中点拟合成最小二 乘平面,这就是所要求的最佳镜面。 •优点：该方法是采用的基于优化理论的ICP算 法，它通过迭代的方法找求最佳对称平面特征, 能达到较高的精度。
视图的思想,不同之处在于在进行多视对齐之前仅考虑所 有的视图间潜在的对齐。
要解决的问题:
评价：提取出视图间的两两拼合的约束，避免将所有视
1) 误差逐步累积,如何分散; 2) 大的计算量,如何减少计算;
图都加入内存；另外该方法仅考虑有重叠区域的信息， 并允许已经对齐的区域可以再次调整。
3) 大的存储需求, 如何减少存储;
对于特征区域进行聚类，然后对特征点对进行取中心点， 多个中心点拟合成中心对称面。
✓斯坦福大学的Niloy J. Mitra (2006): 匹配” local shape signature”局部形状签名对,使用这些 匹配来累积得到近似的对称面 。
第一阶段: 我们计算一个简单的局部形状描述器 第二阶段: 我们使用随机聚类算法mean shift
1 测量前阶段（即用来测量的物体就是非完备的） 如缺齿的齿轮；做了器官摘除手术的病人；受到挤压 变形的古化石 2 测量阶段 （由于测量手段或物体的复杂性（如内 凹）引起的）
(5)非完备几何特征的测量建模的应用
1 受到挤压变形的古化石,恢复其原貌; 2 做了器官摘除手术的病人需要做赝复; 3 动画设计 4 利用已有的数据进行创造性设计
缺点是：由于多幅视图同时对齐,不仅计算的复杂度会很 大,而且占用的存贮空间也很大 。
RE/RP Lab, CIM Inst.
2020/3/29
2.1 网格多视对齐技术
✓Silva（2003）：提出用遗传算法替代基于ICP的方法 思想：引入一个新的健壮的度量surface interpenetration measure(SIM)（用于度量可视的对齐误差来决定两个视 图间的重叠面积），他们使用SIM和一个健壮的估计来 实现遗传算法。染色体是由三个平移矢量和三个旋转矢 量组成，每个染色体的SIM结果在每一代中被用来选择 能够能够生成更精确变换。
•缺点： 1初始对齐的位置对算法的收敛精度有影响； 2如何有效地去除假的对应关系是保证算法健 壮性的瓶颈所在。
原始数据 初始镜像
粗对齐 去掉裙边的 初始镜像
去掉裙边的 原始数据
利用去掉裙边的数据求取人脸最优镜面
病人原始数据
初始镜像
病人脸面最优镜面
文献总结：
对于健康人脸的对称面获取,利用张丽艳的去掉裙边,然后使用基本ICP对齐方法是能够得到较好精度的对称 面, 但对于需要赝复的病人,他的数据是带有缺损信息的,不满足基本ICP收敛的要求, 其结果是不理想的。因 此我们需要着力解决的是如何有效地去除ICP对齐中假的对应关系,从而保证该方法在临床使用的稳定性.
评价：该方法能够取得精确的结果，该方法最重要的缺 点就是要收敛到一个好的结果，所需计算的时间太长 。
✓ Bergevin（1996）:被认为是这种方法的先驱 图的创建方法如下：视图与结点相联系。边代表
变换两个结点之间的路径代表一系列变换。 Bergevin的方法是获取一个很好平衡的网在网中
1）视图间的变换都有相似的误差2）不同视图之间 有唯一的变换矩阵，不考虑他们之间的路径。当两个 非中心视图的变换矩阵趋于相同时，算法收敛。 ✓ P. J. Neugebauer（1997）:提出了星形的拓扑， 它与前面方法的主要不同之处在于使用Levenberg– Marquardt方法来最小化对应点之间的距离来调整变
RE/RP Lab, CIM Inst.
2020/3/29
一.研究背景与意义
非完备特征 颜面数据
模型重建
完备特征 颜面模型
由于疾病或其他原因造成的人体颜面缺损是属于 具有非完备几何特征的数据。如何通过模型重建的技 术得到具有完备几何特征的颜面数据，从而实现人体 颜面赝复体的制作？
RE/RP Lab, CIM Inst.
clustering
对每个点,计算一个局部形状签名,如果签名值相似, 则这两点为一对点,点对之间可以计算一个中心点, 众多中心点累积得到近似的对称面。
评价: 优点：局部形状匹配法是将三维空间域的问题转化为二维平面域的图像问题,是一种降维的处理方法。 缺点：存储需求量大，因为需要转换；求取对称面的精度不高，适用于复杂物体的多个对称面的求取。
2020/3/29
一.研究背景与意义
非完备几何特征的测量建模在颜面缺损修复中的应用
对称特征颜面
1)单侧眼眶部缺损 2)单侧颞窝缺损 3)单侧颅面部缺损 4)单侧上下颌面缺损 5)单侧耳部缺损 6)单侧鼻缺损
人眼赝复体的设计1
颌面赝复体的设计
人眼赝复体的设计2
组织有变形
问题1:在数据预处理时,如何实现多视角的数据 的坐标归一化?