BOXTREE A Hierarchical Representation for Surfaces in 3D
利用广义后缀树的最大相似度优先聚类方法
间的共 享短 语 ,其考 虑到 了词之 间的 邻近 顺 序 关 系 。C h i m{ 3 1 提 出 了一 种 后 缀 树 模 型 与 VS M模 型 相 结 合 的文 档 表 示 模 型 ,在 此 基 础 上使 用组 平均 凝聚 层次 聚 类取 得 了比较 好 的聚 类效果 ,其 主要 思想 是 使用 后缀 树模 型 从 文 档集 中提 取 n 元 共 享短 语 ,然后 映 射 为 M维 VS M模 型 中的 一 个 特 征 项 ,这 样 每一 个 文档 就表 示成 了M 维特 征 向量 。基于 短语 的 文档 相似 度可 以看 作是 基 于单 个词语 的 文 档 相似 度的 扩展 ,体 现 了词语 之 间的 邻近 顺 序 关 系 。Z h a n g [ 2 ] 利 用 频繁 词 项 作为 文 档 特 征 ,依据 Ma x i mu m C a p t u r i n g 合并 文档 , 取 得 了比 较好 的 聚类 效果 。杨瑞 龙 ’ ” 等 提 出了两 种利 用后 缀树 文档 模 型的 聚类 方法 。 综 上所 述 ,后缀 树模 型在 改 善聚 类质 量方 面 有 显著 作用 。 本 文提 出 的聚 类方法 利 用 了短语 作为 文 档特征 可 以提 高聚类 效果 的 优点 。对 于给 定 的文档 集构 造 广义 后缀树 模 型 ,抽取 短语 并 构 建文 档 的特征 向量 。然后 计算 文档 对的 相 似 度 ,提 出MS P C( Ma x i mu m S i mi l a r i t y P r i o r i t y C l u s t e r i n g )聚 类方 法 ,根据 文档 对 最大 相似 度优 先 的规 则 ,分两 阶段 合并 文 档 形成 聚类 结果 。
用英语介绍族谱
用英语介绍族谱A family tree, also known as a genealogical tree or pedigree chart, is a diagram that shows the relationship between members of a family. The chart typically starts with the oldest known ancestor and then branches out to show their descendants and their spouses. Each person on the chart is represented by a box or a circle, with lines connecting them to their parents, children, and siblings. Family trees can be a valuable tool for understanding one's ancestors, as well as for tracing genetic traits and inheritance patterns. They can also be used to track a family's migration and history over time.Family trees are often used to document and preserve a family’s history and lineage. They provide a visual representation of how individuals are connected to one another and help uncover important information about ancestral roots, such as names, dates of birth, marriages, and deaths.In an English family tree introduction, you can start by mentioning the purpose and significance of a family tree. For example:A family tree is a useful tool that helps us understand our heritage and trace our familial connections over time. It allows us to organize and visualize the complex network of relationships within our family, making it easier to study our ancestors and their contributions to our lives.Next, you can proceed to explain the structure and format of a typical family tree:A family tree is usually presented in a hierarchical structure, starting with a single individual or couple at the top, referred to as the "root" or "progenitor." From there, thetree branches out to depict the offspring, siblings, and subsequent generations. Each person on the tree is represented by a box or a circle, with their name and relevant details such as birth and death dates included. Lines connecting the boxes or circles indicate marriages and parent-child relationships.Furthermore, you can emphasize the various uses and benefits of a family tree: Family trees are not only a means to understand one's ancestry but can also shed light on specific genetic traits or health conditions that may have been passed down through generations. They can help in the preservation of family traditions, historical documentation, and the sharing of stories that otherwise might be forgotten. Additionally, family trees can be a valuable resource for genealogical research, enabling individuals to uncover unknown relatives and explore their cultural heritage.Remember, when introducing a family tree in English, be sure to use clear and concise language, and present the information in a well-organized manner.。
Collision Detection
2003-12-17 2003- 12-
5
Introduction
Different kinds of colliding bodies: Three levels of difficulity: (1) Convex rigid bodies; (2) General rigid bodies; (3) Deformable bodies;
The hybrid bottom-up/top-down tree update method.
2003-12-17 2003- 1228
Some Other Topics
Collision Response
Collision response for a sphere approaching a plane. To the left the velocity vector V is divided into two components, Vn and Vp. To the right, pergectly elastic collision is shown, where the new velocity is V'=Vp-Vn. For a less elastic collision, the length of –Vn could be decreased.
2003-12-17 2003- 12-
2
Introduction
Collision Collision is a fundamental task in virtual reality: (1) Haptic rendering (force--feedback); (2) Physically-based simulation; (3) Virtual training ( Medical, drivers ); (4) Robot technique; (5) Computer games.
运用改进的八叉树算法实现精确碰撞检测
第17卷第12期2005年12月计算机辅助设计与图形学学报JO U RNAL OF COM PU T ER -AI DED DESIGN &COM PU T ER GRA PHI CS Vol 117,N o 112Dec 1,2005收稿日期:2004-10-20;修回日期:2005-02-20基金项目:国家自然科学基金(60273044,60573174);安徽省自然科学基金(01042201);中国科学院/百人计划0运用改进的八叉树算法实现精确碰撞检测刘晓平1,2)翁晓毅1) 陈 皓1) 曹 力1)1)(合肥工业大学计算机与信息学院 合肥 230009)2)(中国科学院等离子体物理研究所CAD 室 合肥 230031)(lxp@mail 1hf 1ah 1cn)摘要 提出一种精确碰撞检测算法,通过计算空间多面体之间距离实现碰撞检测功能1在计算2个多面体之间距离时,运用空间层次划分技术高效地寻找多面体中充分接近的三角面片,然后在这些三角面片中进行距离计算,以提高算法效率;同时运用改进的八叉树层次分割算法,与基本八叉树算法相比,减少了算法的空间复杂度1文中算法已经在超导T okamak 实验装置(EAST )虚拟装配仿真系统的碰撞检测模块中得到应用,通过实验比较,证明了该算法的可行性1关键词 碰撞检测;多面体;八叉树;空间复杂度;超导T okamak 实验装置;虚拟装配;仿真中图法分类号 T P391172An Improved Algorithm for Octree -Based Exact Collision DetectionLiu Xiaoping 1,2) Weng Xiaoy i 1) Chen Hao 1) Cao Li 1)1)(School of Comp uter &I nf or mation ,He f ei Univ ersity of Technology ,H e f ei 230009)2)(CAD Section ,I nstitu te of Plasma Physics,Chinese Acade my o f Sciences,He f ei 230031)Abstract T his paper introduces an improved method of exact collision detection by means of computingthe distance among space polyhedra 1The poly hedron is represented by a set of triangles,as the most funda -mental components of complex objects in common 3D applications 1In calculating the distance betw een tw o polyhedra,it is im portant to search efficiently the closest triangles using the technology of space hierarchical div ision algorithm such as octree division method 1This octree method w ould divide the environment and g et the most possible parts of v irtual scene effectively and easily in real time 1T he paper also improves octree d-i vision algorithm by decreasing space complex ity in contrast to ordinary octree algorithm 1This algorithm has been applied to the ex periment advanced superconducting Tokamak(EAST)virtual assembly sim ulation sys -tem ,a project demanding exact collision detection in its assembly processing 1After testing and comparison with other collision detection methods,this algorithm proves to be feasible 1Key words c ollision detection;polyhedron;octree;space complexity;experiment advanced superconducting Toka -mak;virtual assembly;simulation0 引 言随着计算机图形学、仿真技术和硬件技术的发展,对真实且复杂的现实世界实现高质量的计算机模拟一直是研究热点,因此开发高效碰撞检测技术具有重要的现实意义1碰撞检测算法的效率不仅取决于基本干涉检测算法的效率,也与基本检测算法使用的次数有很大关系,因而实现高效碰撞检测的关键是对那些在碰撞真正发生处的三角面片进行碰撞检测[1]1由于实际应用的需要,有时需要对复杂大装置进行虚拟仿真,导致场景中三角面片数量非常庞大1而对场景中每个三角面片进行碰撞检测是无法忍受的,因此必须对场景进行层次剖分,在真正发生碰撞的局部三角面片之间进行碰撞检测1本文算法分为2步:1)场景的八叉树生成与寻找实际发生碰撞的叶子节点;2)计算叶子节点中三角面片间的距离11改进的八叉树碰撞检测111传统八叉树碰撞检测算法的缺陷以层次模型为基础的八叉树干涉检测算法[2-3]是一个空间非均匀网格剖分算法,该算法存在2个主要的缺陷:1)八叉树结构的存储所需要的存储量过大;2)运算量大1在动态装配过程中,每次调入一个部件进行装配,部件本身不会发生变化,变化的只是部件整体的位置1因此在动态装配之前,可以在将部件调入系统的同时生成八叉树,然后该部件的八叉树模型不再发生改变1由于存在上述2个不足之处,使得八叉树算法在应用时有很大的局限性,尤其是第1个缺陷,进行复杂场景的虚拟装配时系统的内存消耗巨大,因此本文提出了一种改进的八叉树碰撞检测算法,较好地解决了这个问题1112改进的八叉树碰撞检测算法本文算法采用线性八叉树编码[4-6],2种算法的八叉树节点数据结构对比如图1a,1b所示1线性八叉树为了节约内存,节点的宽度和中心位置被省略,仅保留原来内容中/是否可分0标记,并新增加一个整数节点编码;同时新引入叶子节点链表,如图1c 所示1当八叉树层数>1时,叶子节点的数量总比枝的数量少,层数越多,叶子的数量比枝的数量少得越多1避免存储大量无用的/枝0可以大大节约内存的消耗1图12种算法八叉树节点结构比较与叶子节点链表结构八叉树节点的编码方法采用Glassner算法中的编码方法[7],每个节点具有相同的编码长度1将每一节点的8个子节点标示为1~8的整数,并将父节点的标示号置于其子节点标示号之前来构造子节点的编码1采用这种编码方法,可以根据叶节点的编码得知其所有父节点的编号及空间位置,既节约了内存,又可以保持八叉树的层次结构1在超导Tokamak实验装置(Experiment Advanced Superconducting Tokamak,EAST)虚拟装配过程中,由于虚拟行车的移动是随意的,因此其每移动一步,都需要遍历场景中所有静止部件的八叉树叶子节点链表与所有移动部件的八叉树叶子节点链表;同时根据每个叶子节点链表编码,计算出该叶子节点的中心位置与宽度,进行节点之间的相交判断1在取得发生相交的叶子节点中场景点列的首地址和三角形数量后,可以利用简单的三角面片距离算法求得三角形之间的最小距离,对小于特定间距的三角面片认为发生碰撞12基于三角面片间距的基本干涉检测算法计算空间物体之间的距离在计算机动画与虚拟仿真等许多领域有着非常广泛的应用[7],目前对使用边界表示的凸多面体有2种主要的间距算法:最接近特征算法[8-9],基于单一的算法[10]1其中最接近特征算法(如Lin-Canny,V-Clip等)需要额外构造Voronoi特征区域1由于这2种算法都只能应用于凸多面体模型,故受到一定的限制[7]1由于计算空间中2个三角面片之间的距离可以转化为计算线段与三角形之间的最小距离问题,因此计算2个三角形之间的距离可以转化为计算6次线段与三角形之间的距离,如图2所示1因为只计2632计算机辅助设计与图形学学报2005年算一个三角形的3条线段与另一个三角形的最小间距并不能完全保证计算正确(如图2b 中的特例),所以另一个三角形的线段也需要相应计算3次,总共需要计算6次线段与三角形的距离,在这6个计算结果中选取最小值作为三角形之间的最小间距1图2 2个不同空间位置的三角形图3 三维空间中线段与三角形的3种相对位置计算三维空间中线段与三角形之间的距离分为下面3种情况:情况11线段与三角形所在的平面共面,距离为0(如图3a 所示);情况21线段穿过三角形所在的平面,即2个端点分别处在平面两侧(如图3b 所示);情况31线段未穿过三角形所在的平面,2个端点处在平面同侧(如图3c 所示)1对于情况2,求线段p 1p 2与三角形所在的平面的交点p 01如果p 0处于三角形内部(如图3b 所示),则距离为0;如果p 0在三角形外部,则分别求该线段与组成三角形三边的3条线段之间的距离,取其最小距离1对于情况3,需要分别从线段2个端点向三角形所在平面做投影1如果2个投影点皆在三角形内部(如图3c 所示),则取线段2个端点到平面的最近距离,即图3c 中p 2p 4之间的距离;如果2个投影点皆在三角形外部或一个在内部一个在外部,则分别求该线段与组成三角形三边的3条线段之间的距离,取其最小距离1这样,可以将线段到三角形之间的求距离转化为线段之间的求距离操作,可以运用经典的三维空间线段求距离计算算法实现[11]13 实验结果与比较我们参与了中国科学院等离子体物理研究所/百人计划0课题数字反应堆系统的开发工作,该系统需要对实验装置EAST 进行虚拟装配1EAST 是一个先进的全超导托卡马克实验装置,该装置造价昂贵、结构复杂,因此在其实际装配前必须进行虚拟装配仿真、寻找一条可行的装配路径与装配序列,这对装配部件进行验收具有十分重要的意义1与装配部件的设计图纸相比,由于实际加工过程中存在着10m m 的加工误差,因此虚拟装配系统必须实时反映吊装部件与其他部件之间的最小距离必须小于10mm ,以免发生碰撞,造成设备损坏1本文算法较好地满足了这些装配的具体要求1根据EAST 装配的实际过程,首先将装置的底座安放在装配大厅中央;然后逐步将其余部件吊装在底座之上1其中,真空室、冷屏与超导极向磁场线圈的装配过程较为复杂,需要首先将真空室吊装在支座上,然后再吊装冷屏,最后是超导极向磁场线圈,称之为/三环套装0,在吊装的过程中决不允许有碰撞发生1本文算法采用/三环套装0中的一步作为实验场景,其中装置底座由31996个三角形组成,真空室有63780个三角形,冷屏有4990个三角形,场景总共有100766个三角形1我们在CPU 为P Ô210GH z,内存768M B,显卡采用NVIDIA Quadro4,显存128MB 的微机上,利用OpenGL P GLUT 图形库对此复杂场景进行了算法测试1图4所示分别展示了该系统的2幅场景图,从图中可以看出,本文算法不仅能指示出部件是否发生碰撞,还可以指示出发生碰撞处的区域(如图4b 所示),发生碰撞的部位颜色发生改变1表1中列举了本文算法在不同层次与叶子节点最大三角形数目条件下的八叉树生成时间与叶子节点的数目1可以看出,不同的八叉树层次与叶子节点最大三角形数目对八叉树生成时间与内存占用有很大的影响1263312期刘晓平等:运用改进的八叉树算法实现精确碰撞检测a冷屏向真空室的吊装过程b冷屏与真空室发生碰撞图4冷屏吊装的2个状态表1不同参数设置时八叉树生成时间与叶子节点的数目比较部件名层次P叶子节点最大三角形数目5P100生成八叉树时间P s叶子节点数目6P50生成八叉树时间P s叶子节点数目7P30生成八叉树时间P s叶子节点数目底座1166220792134361423117514796真空室3113522484118664735126814939冷屏0121022401271541013511297表2所示为在不同八叉树类型下向真空室虚拟吊装冷屏时的平均场景流畅度与平均内存消耗1从表2中可以看出,随着八叉树层次的增多,运用本文算法节约的内存数量也随之增多1因此,对大场景进行八叉树层次分割时,采用本文算法可以在一定程度上减少内存消耗1与Open Inventor可视化环境[12]自身的碰撞检测算法相比,本文算法在流畅度方面大致保持不变(冷屏套住真空室时01017帧P s),同时可以检测出具体发生碰撞处的三角面片1表2不同八叉树类型下虚拟吊装冷屏时的场景流畅度与内存消耗层次P叶子节点最大三角形数目冷屏在真空室外时的场景流畅度P帧P s冷屏套住真空室时的场景流畅度P帧P s本文算法的内存消耗P KB普通八叉树算法的内存消耗P KB节约的内存数量P KB5P10011695010113474435700956 6P50012170101740012413441332 7P300103701018482965089225964结论与不足本文算法成功地运用于复杂的核聚变实验装置EAST的虚拟装配仿真系统中,取得了较好的效果;同时可以看出,本文算法在满足实际装配要求的前提下,明显地降低了空间复杂度1由于实验场景的复杂性,本文算法虽然比利用Open Inventor可视化环境自身的碰撞检测算法有所改进,但是场景的流畅性仍无法得到提高,这可能与参与比较的三角面片数目过多有关1若采用更加高效的三角面片间距计算可以进一步提高算法的效率1参考文献[1]Jimenez P,T homas F,Torras C13D collisi on detection:A sur-vey[J]1Computers&Graph i cs,2001,25(2):269~285 [2]Jack i ns C L,T animoto S L1Octree and their use in representingthree-dimensional objects[J]1Computers&Graphics,1980,14(3):249~270[3]Wu M inghua,Yu Yongxiang,Zhou Ji1An octree algorithm forcolli sion detection using space partition[J]1Chinese Journal ofComputers,1997,20(9):849~854(in Ch i nese)(吴明华,余永翔,周济1采用空间分割技术的八叉树干涉检验算法[J]1计算机学报,1997,20(9):849~854)[4]Gargantini I1Linear octrees for fast processing of three-dimen-si onal objects[J]1Com puters&Graphics,1982,20(4):365~3742634计算机辅助设计与图形学学报2005年[5]Samet H,W ebber R E1Hierarch ical data s tructures and algo-rithms for computer graphics[J]1IEEE Computer Graphics andAppli cati ons,1988,8(4):59~75[6]Glassner A S1S pace subdivision for fast ray tracing[J]1IEEEComputer Graphics and Applications,1984,4(10):15~22 [7]Kaw achi Katsuaki,Suzuki H iromasa,Kimura Fumihiko1Dis-tance computation betw een non-convex polyhedra at short rangebased on discrete Voronoi regions[A]1In:Proceedings of IEEEGeometric M odeling and Processing2000(Theory and Applica-tions),H ong Kong,20001123~128[8]Lin M C,Canny J F1Efficient algorithm for i ncremental dis-tance computation[A]1In:Proceedings of IEEE Conference onRobotics and Automation,Sacramento,Californi a,199111008~1014[9]M irtich B1V-Clip:Fast and robust polyhedral collision detection[R]1Cambridge,M ass achuse tts:M itsubishi Electric InformationT echnology C enter America,TR-97-05,19971177~208 [10]Gilbert E G,Johns on D W,Keerthi S S1A fast procedure forcomputi ng the distance betw een complex objects in three-dimen-sional space[J]1IEEE Journal of Robotics and Automation,1988,4(2):193~203[11]Sunday Dan1Distance betw een lines and segments w ith theirclosest poi nt of approach[OL]1http:M s oftsurfer1com P Archive Palgorithm0106P algorithm01061htm,2004[12]Open Inventor410manual[OL]1http:M w w w1tgs1com P,2004刘晓平男,1964年生,博士,教授,博士生导师,主要研究方向为CA D&CG 1翁晓毅男,1979年生,硕士,主要研究方向为计算机图形学1陈皓男,1981年生,博士研究生,主要研究方向为计算机图形学1曹力男,1982年生,硕士研究生,主要研究方向为计算机图形学1263512期刘晓平等:运用改进的八叉树算法实现精确碰撞检测。
graphical model解释
图形模型1. 介绍图形模型(Graphical Model)是一种用于描述随机变量之间依赖关系的工具。
它可以表示为一个图结构,其中节点表示随机变量,边表示变量之间的依赖关系。
图形模型在统计学、人工智能和机器学习等领域中得到广泛应用。
图形模型分为两大类:有向图模型(Directed Graphical Model)和无向图模型(Undirected Graphical Model)。
有向图模型也称为贝叶斯网络(Bayesian Network)或信念网络(Belief Network),无向图模型也称为马尔可夫随机场(Markov Random Field)。
2. 有向图模型有向图模型使用有向边来表示变量之间的因果关系。
节点表示随机变量,边表示变量之间的依赖关系。
每个节点都与其父节点相连,父节点的取值影响子节点的取值。
贝叶斯网络是一种常见的有向图模型。
它通过条件概率表来描述各个节点之间的依赖关系。
条件概率表定义了给定父节点取值时子节点取值的概率分布。
例如,假设我们要建立一个天气预测系统,其中包括三个变量:天气(Weather)、湿度(Humidity)和降雨(Rainfall)。
天气节点是根节点,湿度和降雨节点是其子节点。
贝叶斯网络可以表示为以下图结构:Weather -> HumidityWeather -> Rainfall其中,天气节点对湿度和降雨节点有直接影响。
我们可以通过条件概率表来描述这种影响关系。
3. 无向图模型无向图模型使用无向边来表示变量之间的相关关系。
边表示变量之间的相互作用,没有方向性。
每个节点都与其他节点相连,表示它们之间存在依赖关系。
马尔可夫随机场是一种常见的无向图模型。
它通过势函数来描述各个节点之间的依赖关系。
势函数定义了变量取值的联合概率分布。
例如,假设我们要建立一个人脸识别系统,其中包括三个变量:人脸(Face)、眼睛(Eyes)和嘴巴(Mouth)。
人脸节点是中心节点,眼睛和嘴巴节点与人脸节点相连。
codellama34b 模型结构
一、介绍codellama34b模型codellama34b是一个先进的深度学习模型,经过多次优化和训练,具有强大的图像识别和处理能力。
该模型在图像分类、目标检测和图像分割等领域具有广泛的应用价值,受到了学术界和工业界的高度关注。
本文将对codellama34b模型的结构进行详细介绍,以便读者更加全面地了解这一模型的特点和优势。
二、codellama34b模型的核心结构1. 卷积神经网络(CNN)层:codellama34b模型采用了深度的卷积神经网络结构,以提取图像的高级特征。
通过多层卷积和池化操作,模型能够有效地捕获图像中的纹理、形状和颜色等信息,为后续的分类和识别任务奠定了良好的基础。
2. 残差连接(Residual Connection):为了加深模型的网络结构并提升特征提取的效果,codellama34b引入了残差连接的设计。
这种结构能够有效地缓解模型训练过程中的梯度消失问题,并且降低了网络的训练难度,提高了模型的泛化能力。
3. 多尺度特征融合(Multi-scale Feature Fusion):为了充分利用图像中不同尺度的信息,codellama34b模型引入了多尺度特征融合的机制。
通过在不同层次上对特征图进行融合和整合,模型能够更好地捕获图像中的细节和全局信息,提高了图像处理的鲁棒性和准确性。
4. 注意力机制(Attention Mechanism):为了进一步提高模型在图像分割和目标检测任务上的性能,codellama34b模型还引入了注意力机制。
该机制能够自动学习图像中重要区域的权重,从而使得模型更加关注图像中的关键部分,提高了模型的处理速度和准确性。
三、codellama34b模型的优势和应用1. 高性能:由于采用了先进的网络结构和训练算法,codellama34b 模型在图像识别和处理任务上具有较高的准确性和效率。
在诸多基准数据集上取得了优秀的成绩,成为了学术界和工业界的研究热点。
OBB tree
OBBTree:A Hierarchical Structure for Rapid Interference Detection S.Gottschalk M.C.Lin D.ManochaDepartment of Computer ScienceUniversity of North CarolinaChapel Hill,NC27599-3175gottscha,lin,manocha@/˜geom/OBB/OBBT.htmlAbstract:We present a data structure and an algorithm for efficient and exact interference detection amongst com-plex models undergoing rigid motion.The algorithm is ap-plicable to all general polygonal models.It pre-computes a hierarchical representation of models using tight-fitting oriented bounding box trees(OBBTrees).At runtime,the algorithm traverses two such trees and tests for overlaps be-tween oriented bounding boxes based on a separating axis theorem,which takes less than200operations in practice. It has been implemented and we compare its performance with other hierarchical data structures.In particular,it can robustly and accurately detect all the contacts between large complex geometries composed of hundreds of thousands of polygons at interactive rates.CR Categories and Subject Descriptors:I.3.5[Com-puter Graphics]:Computational Geometry and Object ModelingAdditional Key Words and Phrases:hierarchical data structure,collision detection,shape approximation,con-tacts,physically-based modeling,virtual prototyping.1IntroductionThe problems of interference detection between two or more geometric models in static and dynamic environments are fundamental in computer graphics.They are also con-sidered important in computational geometry,solid mod-eling,robotics,molecular modeling,manufacturing and computer-simulated environments.Generally speaking,we are interested in very efficient and,in many cases,real-time algorithms for applications with the following characteri-zations:1.Model Complexity:The input models are composedof many hundreds of thousands of polygons.2.Unstructured Representation:The input models arerepresented as collections of polygons with no topol-ogy information.Such models are also known as ‘polygonsoups’and their boundaries may have cracks, T-joints,or may have non-manifold geometry.No ro-bust techniques are known for cleaning such models.Also with U.S.Army Research Office3.Close Proximity:In the actual applications,the mod-els can come in close proximity of each other and can have multiple contacts.4.Accurate Contact Determination:The applicationsneed to know accurate contacts between the models(up to the resolution of the models and machine precision).Many applications,like dynamic simulation,physically-based modeling,tolerance checking for virtual prototyping, and simulation-based design of large CAD models,have all these four characterizations.Currently,fast interference detection for such applications is a major bottleneck. Main Contribution:We present efficient algorithms for accurate interference detection for such applications. They make no assumptions about model representation or the motion.The algorithms compute a hierarchical repre-sentation using oriented bounding boxes(OBBs).An OBB is a rectangular bounding box at an arbitrary orientation in 3-space.The resulting hierarchical structure is referred to as an OBBTree.The idea of using OBBs is not new and many researchers have used them extensively to speed up ray tracing and interference detection computations.Our major contributions are:1.New efficient algorithms for hierarchical representa-tion of large models using tight-fitting OBBs.e of a‘separating axis’theorem to check two OBBsin space(with arbitrary orientation)for overlap.Based on this theorem,we can test two OBBs for overlap in about100operations on average.This test is about one order of magnitude faster compared to earlier al-gorithms for checking overlap between boxes.parison with other hierarchical representationsbased on sphere trees and axis-aligned bounding boxes (AABBs).We show that for many close proximity sit-uations,OBBs are asymptotically much faster.4.Robust and interactive implementation and demon-stration.We have applied it to compute all contacts between very complex geometries at interactive rates. The rest of the paper is organized in the following man-ner:We provide a comprehensive survey of interference detection methods in Section2.A brief overview of the algorithm is given in Section3.We describe algorithms for efficient computation of OBBTrees in Section4.Sec-tion5presents the separating-axis theorem and shows how it can be used to compute overlaps between two OBBs very efficiently.We compare its performance with hierar-chical representations composed of spheres and AABBs in Section6.Section7discusses the implementation and per-formance of the algorithms on complex models.In Section 8,we discussion possible future extensions.2Previous WorkInterference and collision detection problems have been extensively studied in the literature.The simplest algo-rithms for collision detection are based on using bounding volumes and spatial decomposition techniques in a hier-archical manner.Typical examples of bounding volumes include axis-aligned boxes(of which cubes are a special case)and spheres,and they are chosen for to the simplicity offinding collision between two such volumes.Hierar-chical structures used for collision detection include cone trees,k-d trees and octrees[31],sphere trees[20,28],R-trees and their variants[5],trees based on S-bounds[7]etc. Other spatial representations are based on BSP’s[24]and its extensions to multi-space partitions[34],spatial repre-sentations based on space-time bounds or four-dimensional testing[1,6,8,20]and many more.All of these hierarchi-cal methods do very well in performing“rejection tests", whenever two objects are far apart.However,when the two objects are in close proximity and can have multiple contacts,these algorithms either use subdivision techniques or check very large number of bounding volume pairs for potential contacts.In such cases,their performance slows down considerably and they become a major bottleneck in the simulation,as stated in[17].In computational geometry,many theoretically efficient algorithms have been proposed for polyhedral objects. Most of them are either restricted to static environments, convex objects,or only polyhedral objects undergoing rigid motion[9].However,their practical utility is not clear as many of them have not been implemented in practice.Other approaches are based on linear programming and comput-ing closest pairs for convex polytopes[3,10,14,21,23,33] and based on line-stabbing and convex differences for gen-eral polyhedral models[18,26,29].Algorithms utilizing spatial and temporal coherence have been shown to be effec-tive for large environments represented as union of convex polytopes[10,21].However,these algorithms and systems are restrictive in terms of application to general polygo-nal models with unstructured representations.Algorithms based on interval arithmetic and bounds on functions have been described in[12,13,19].They are able tofind all the contacts accurately.However,their practical utility is not clear at the moment.They are currently restricted to objects whose motion can be expressed as a closed form function of time,which is rarely the case in most appli-cations.Furthermore,their performance is too slow for interactive applications.OBBs have been extensively used to speed up ray-tracing and other interference computations[2].In terms of appli-cation to large models,two main issues arise:how can we compute a tight-fitting OBB enclosing a model and how quickly can we test two such boxes for overlap?For polygonal models,the minimal volume enclosing bound-ing box can be computed in3time,where is the number of vertices[25].However,it is practical for only small models.Simple incremental algorithms of linear time complexity are known for computing a minimal enclosing ellipsoid for a set of points[36].The axes of the mini-mal ellipsoid can be used to compute a tight-fitting OBB. However,the constant factor in front of the linear term for this algorithm is very high(almost3105)and thereby making it almost impractical to use for large models.As for ray-tracing,algorithms using structure editors[30]and modeling hierarchies[35]have been used to construct hier-archies of OBBs.However,they cannot be directly applied to compute tight-fitting OBBs for large unstructured mod-els.A simple algorithm forfinding the overlap status of two OBBs tests all edges of one box for intersection with any of the faces of the other box,and vice-versa.Since OBBs are convex polytopes,algorithms based on linear program-ming[27]and closest features computation[14,21]can be used as well.A general purpose interference detection test between OBBs and convex polyhedron is presented in[16]. Overall,efficient algorithms were not known for comput-ing hierarchies of tight-fitting OBBs for large unstructured models,nor were efficient algorithms known for rapidly checking the overlap status of two such OBBTrees.3Hierarchical Methods&Cost Equa-tionIn this section,we present a framework for evaluating hier-archical data structures for interference detection and give a brief overview of OBBTrees.The basic cost function was taken from[35],who used it for analyzing hierarchical methods for ray tracing.Given two large models and their hierarchical representation,the total cost function for inter-ference detection can be formulated as the following cost equation:(1) where:total cost function for interference detection,:number of bounding volume pair overlap tests:cost of testing a pair of bounding volumes for overlap, :is the number primitive pairs tested for interference, :cost of testing a pair of primitives for interference. Given this cost function,various hierarchical data struc-tures are characterized by:Choice of Bounding Volume:The choice is governed by two conflicting constraints:1.It shouldfit the original model as tightly as possible(to lower and).2.Testing two such volumes for overlap should be as fastas possible(to lower).Simple primitives like spheres and AABBs do very well with respect to the second constraint.But they cannotfit some primitives like long-thin oriented polygons tightly. On the other hand,minimal ellipsoids and OBBs provide tightfits,but checking for overlap between them is relatively expensive.Hierarchical Decomposition:Given a large model,the tree of bounding volumes may be constructed bottom-up or top-down.Furthermore,different techniques are known for decomposing or partitioning a bounding volume into two or more sub-volumes.The leaf-nodes may correspond to different primitives.For general polyhedral models,they may be represented as collection of few triangles or convex polytopes.The decomposition also affects the values of and in(1).It is clear that no hierarchical representation gives the best performance all the times.Furthermore,given two models, the total cost of interference detection varies considerably with relative placement of the models.In particular,when two models are far apart,hierarchical representations based on spheres and AABBs work well in practice.However, when two models are in close proximity with multiple num-ber of closest features,the number of pair-wise boundingvolume tests,increases,sometimes also leading to an increase in the number pair-wise primitive contact tests, .For a given model,and for OBBTreestend to be smaller as compared to those of trees using spheres or AABBs as bounding volumes.At the same time,the best known earlier algorithms forfinding contact status of two OBBs were almost two orders of magnitude slower than checking two spheres or two AABBs for overlap. We present efficient algorithms for computing tightfitting OBBs given a set of polygons,for constructing a hierar-chy of OBBs,and for testing two OBBs for contact.Our algorithms are able to compute tight-fitting hierarchies ef-fectively and the overlap test between two OBBs is one order of magnitude faster than best known earlier methods. Given sufficiently large models,our interference detection algorithm based on OBBTrees much faster as compared to using sphere trees or AABBs.4Building an OBBTreeIn this section we describe algorithms for building an OBB-Tree.The tree construction has two components:first is the placement of a tightfitting OBB around a collection of polygons,and second is the grouping of nested OBB’s into a tree hierarchy.We want to approximate the collection of polygons with an OBB of similar dimensions and orientation.We triangu-late all polygons composed of more than three edges.The OBB computation algorithm makes use offirst and second order statistics summarizing the vertex coordinates.They are the mean,,and the covariance matrix,,respectively [11].If the vertices of the’th triangle are the points, ,and,then the mean and covariance matrix can be expressed in vector notation as:131313where is the number of triangles,, ,and.Each of them is a31vector, e.g.123and are the elements of the3 by3covariance matrix.The eigenvectors of a symmetric matrix,such as,are mutually orthogonal.After normalizing them,they are used as a basis.Wefind the extremal vertices along each axis of this basis,and size the bounding box,oriented with the basis vectors,to bound those extremal vertices.Two of the three eigenvectors of the covariance matrix are the axes of maximum and of minimum variance,so they will tend to align the box with the geometry of a tube or aflat surface patch.The basic failing of the above approach is that vertices on the interior of the model,which ought not influence the selection of a bounding box placement,can have an arbitrary impact on the eigenvectors.For example,a small but very dense planar patch of vertices in the interior of the model can cause the bounding box to align with it.We improve the algorithm by using the convex hull of the vertices of the triangles.The convex hull is the smallest convex set containing all the points and efficient algorithms of lg complexity and their robustimplementations Figure1:Building the OBBTree:recursively partition the bounded polygons and bound the resulting groups.are available as public domain packages[4].This is an im-provement,but still suffers from a similar sampling prob-lem:a small but very dense collection of nearly collinear vertices on the convex hull can cause the bounding box to align with that collection.One solution is to sample the surface of the convex hull densely,taking the mean and covariance of the sample points.The uniform sampling of the convex hull surface normalizes for triangle size and distribution.One can sample the convex hull“infinitely densely”by integrating over the surface of each triangle,and allowing each differential patch to contribute to the covariance ma-trix.The resulting integral has a closed form solution.Let the area of the’th triangle in the convex hull be denoted by12Let the surface area of the entire convex hull be denoted byLet the centroid of the’th convex hull triangle be denoted by3Let the centroid of the convex hull,which is a weighted average of the triangle centroids(the weights are the areas of the triangles),be denoted byThe elements of the covariance matrix have the following closed-form,1129Given an algorithm to compute tight-fittingOBBs around a group of polygons,we need to represent them hierarchi-cally.Most methods for building hierarchies fall into two categories:bottom-up and top-down.Bottom-up methods begin with a bounding volume for each polygon and merge volumes into larger volumes until the tree is complete.Top-down methods begin with a group of all polygons,and re-cursively subdivide until all leaf nodes are indivisible.In our current implementation,we have used a simple top-down approach.Our subdivision rule is to split the longest axis of a boxwith a plane orthogonal to one of its axes,partitioning the polygons according to which side of the plane their center point lies on(a2-D analog is shown in Figure1).The subdivision coordinate along that axis was chosen to be that of the mean point,of the vertices.If the longest axis cannot not be subdivided,the second longest axis is chosen.Otherwise,the shortest one is used.If the group of polygons cannot be partitioned along any axis by this criterion,then the group is considered indivisible.If we choose the partition coordinate based on where the median center point lies,then we obtain balanced trees. This arguably results in optimal worst-case hierarchies for collision detection.It is,however,extremely difficult to evaluate average-case behavior,as performance of collision detection algorithms is sensitive to specific scenarios,and no single algorithm performs optimally in all cases. Given a model with triangles,the overall time to build the tree is lg2if we use convex hulls,and lg if we don’t.The recursion is similar to that of quicksort. Fitting a box to a group of triangles and partitioning them into two subgroups takes lg with a convex hull and without it.Applying the process recursively creates a tree with leaf nodes lg levels deep.5Fast Overlap Test for OBBsGiven OBBTrees of two objects,the interference algorithm typically spends most of its time testing pairs of OBBs for overlap.A simple algorithm for testing the overlap status for two OBB’s performs144edge-face tests.In practice, it is an expensive test.Other algorithms based on linear programming and closest features computation exist.In this section,we present a new algorithm to test such boxes for overlap.One trivial test for disjointness is to project the boxes onto some axis(not necessarily a coordinate axis)in space. This is an‘axial projection.’Under this projection,each box forms an interval on the axis.If the intervals don’t overlap,then the axis is called a‘separating axis’for the boxes,and the boxes must then be disjoint.If the intervals do overlap,then the boxes may or may not be disjoint–further tests may be required.How many such tests are sufficient to determine the con-tact status of two OBBs?We know that two disjoint convex polytopes in3-space can always be separated by a plane which is parallel to a face of either polytope,or parallel to an edge from each polytope.A consequence of this is that two convex polytopes are disjoint iff there exists a separating axis orthogonal to a face of either polytope or orthogonal to an edge from each polytope.A proof of this basic theorem is given in[15].Each box has3unique face orientations,and3unique edge directions.This leads to 15potential separating axes to test(3faces from one box, 3faces from the other box,and9pairwise combinations of edges).If the polytopes are disjoint,then a separating axis exists,and one of the15axes mentioned above will be a separating axis.If the polytopes are overlapping,then clearly no separating axis exists.So,testing the15given axes is a sufficient test for determining overlap status of two OBBs.To perform the test,our strategy is to project the centers of the boxes onto the axis,and also to compute the radii of the intervals.If the distance between the box centers as projected onto the axis is greater than the sum of the radii, then the intervals(and the boxes as well)are disjoint.This is shown in2D in Fig.2.Figure2:is a separating axis for OBBs and because and become disjoint intervals under projection onto.We assume we are given two OBBs,and,with placed relative to by rotation and translation.The half-dimensions(or‘radii’)of and are and,where 123.We will denote the axes of and as the unit vectors and,for123.These will be referred to as the6box axes.Note that if we use the box axes of as a basis,then the three columns of are the same as the three vectors.The centers of each box projects onto the midpoint of its interval.By projecting the box radii onto the axis,and summing the length of their images,we obtain the radius of the interval.If the axis is parallel to the unit vector,then the radius of box’s interval isA similar expression is used for.The placement of the axis is immaterial,so we assume it passes through the center of box.The distance between the midpoints of the intervals is.So,the intervals are disjoint iffThis simplifies when is a box axis or cross product of box axes.For example,consider12.The second term in thefirst summation is22122221223223232The last step is due to the fact that the columns of the rotation matrix are also the axes of the frame of.The original term consisted of a dot product and cross product, but reduced to a multiplicationand an absolute value.Some terms reduce to zero and are eliminated.After simplifying all the terms,this axis test looks like:322232232322113311All15axis tests simplify in similar fashion.Among all the tests,the absolute value of each element of is used four times,so those expressions can be computed once before beginning the axis tests.The operation tally for all15axis tests are shown in Table1.If any one of the expressions is satisfied,the boxes are known to be disjoint, and the remainder of the15axis tests are unnecessary.This permits early exit from the series of tests,so200operations is the absolute worst case,but often much fewer are needed. Degenerate OBBs:When an OBB bounds only a single polygon,it will have zero thickness and become a rectan-gle.In cases where a box extent is known to be zero,the expressions for the tests can be further simplified.The oper-ation counts for overlap tests are given in Table1,including when one or both boxes degenerate into a rectangle.Fur-ther reductions are possible when a box degenerates to a line segment.Nine multiplies and ten additions are eliminated for every zero thickness.OBBs with infinite extents:Also,when one or more extents are known to be infinite,as for a fat ray or plane, certain axis tests require a straight-forward modification. For the axis test given above,if2is infinite,then the inequality cannot possibly be satisfied unless32is zero, in which case the test proceeds as normal but with the 232term removed.So the test becomes,320and322232322113311In general,we can expect that32will not be zero,and using a short-circuit and will cause the more expensive inequality test to be skipped.Operation Box-Box Box-Rect Rect-Rectcompare151515add/sub605040mult817263abs242424Table1:Operation Counts for Overlap TestsComparisons:We have implemented the algorithm and compared its performance with other box overlap al-gorithms.The latter include an efficient implementation of closest features computation between convex polytopes [14]and a fast implementation of linear programming based on Seidel’s algorithm[33].Note that the last two implemen-tations have been optimized for general convex polytopes, but not for boxes.All these algorithms are much faster than performing144edge-face intersections.We report the average time for checking overlap between two OBBs in Table2.All the timings are in microseconds,computed on a HP735125.Sep.Axis Closest LinearAlgorithm Features Programming57us45105us180230us Table2:Performance of Box Overlap Algorithms6OBB’s vs.other VolumesThe primary motivation for using OBBs is that,by virtue of their variable orientation,they can bound geometry more tightly than AABBTrees and sphere trees.Therefore,we reason that,all else being the same,fewer levels of an OBB-Tree need to be be traversed to process a collision query for objects in close proximity.In this section we present an analysis of asymptotic performance of OBBTrees versus AABBTrees and sphere trees,and an experiment which supports our analysis.In Fig.9(at the end),we show the different levels of hierarchies for AABBTrees and OBBTrees while approxi-mating a torus.The number of bounding volumes in each tree at each level is the same.The for OBBTrees is much smaller as compared to for the AABBTrees.First,we define tightness,diameter,and aspect ratio of a bounding volume with respect to the geometry it covers. The tightness,,of a bounding volume,,with respect to the geometry it covers,,is’s Hausdorff distance from .Formally,thinking of and as closed point sets,this ismax min distThe diameter,,of a bounding volume with respect to the bounded geometry is the maximum distance among all pairs of enclosed points on the bounded geometry,max distThe aspect ratio,,of a bounding volume with respect to bounded geometry is.Figure3:Aspect ratios of parent volumes are similar to those of children when bounding nearlyflat geometry.We argue that when bounded surfaces have low curva-ture,AABBTrees and sphere trees formfixed aspect ratio hierarchies,in the sense that the aspect ratio of a node in the hierarchy will have an aspect ratio similar to its children. This is illustrated in Fig.3for plane curves.If the bounded geometry is nearlyflat,then the children will have shapes similar to the parents,but smaller.In Fig3for both spheres and AABBs,and are halved as we go from parents to children,so is approximately the same for both parent and child.Forfixed aspect ratio hierarchies,has linear dependence on.Note that the aspect ratio for AABBs is very dependent on the specific orientation of the bounded geometry–if the geometry is conveniently aligned,the aspect ratio can be close to0,whereas if it is inconveniently aligned,can be close to1.But whatever the value,an AABB enclosing nearlyflat geometry will have approximately the same as its children.Since an OBB aligns itself with the geometry,the aspect ratio of an OBB does not depend on the geometry’s orien-tation in model space.Rather,it depends more on the local curvature of the geometry.For the sake of analysis,we are assuming nearlyflat geometry.Suppose the bounded geometry has low constant curvature,as on the surface of a large sphere.In Fig.4we show a plane curve offixed radius of curvature and bounded by an OBB.We have 2sin,and ing the small angleεdθr dεFigure 4:OBBs:Aspect ratio of children are half that ofparent when bounding surfaces of low constant curvature when bounding nearly flat geometry.approximation and eliminating ,we obtain 28.So has quadratic dependence on .When is halved,is quartered,and the aspect ratio is halved.We conclude that when bounding low curvature surfaces,AABBTrees and spheres trees have with linear depen-dence on ,whereas OBBTrees have with quadratic de-pendence on .We have illustrated this for plane curves in the figures,but the relationships hold for surfaces in three space as well.Suppose we use same-sized bounding volumes to cover a surface patch with area and require each volume to cover surface area (for simplicity we are ignor-ing packing inefficiencies).Therefore,for these volumes,.For AABBs and spheres,dependslinearly on ,so .For OBBs,quadratic de-pendence on gives us OBBs,.So,to cover a surface patch with volumes to a given tightness,if OBBs re-quire bounding volumes,AABBs and spheres wouldrequire 2bounding volumes.Most contact scenarios do not require traversing both trees to all nodes of a given depth,but this does happen when two surfaces come into parallel close proximity to one another,in which every point on each surface is close to some point on the other surface.This is most common in virtual prototyping and tolerance analysis applications,in which fitted machine parts are tested for mechanical con-sistency.Also,dynamic simulations often generate paths in which one object comes to rest against another.It should be also be noted that when two smooth,highly tessellated surfaces come into near contact with each other,the region of near contact locally resembles a parallel close proximity scenario in miniature,and,for sufficiently tessellated mod-els,the expense of processing that region can dominate the overall collision query.So,while it may seem like a very special case,parallel close proximity is an abstract situation which deserves consideration when designing collision and evaluating collision detection algorithms.Experiments:We performed two experiments to support our analysis.For the first,we generated two con-centric spheres consisting of 32000triangles each.The smaller sphere had radius 1,while the larger had radius 1.We performed collision queries with both OBBTrees and AABBTrees.The AABBTrees were created using the same process as for OBBTrees,except that instead of using the eigenvectors of the covariance matrix to determine theTests 1e+011e+021e+031e+041e+051e+061e-021e-011e+00Figure 5:AABBs (upper curve)and OBBs (lower curve)forparallel close proximity (log-log plot)box orientations,we used the identity matrix.The number of bounding box overlap tests required to process the collision query are shown in Fig.5for both tree types,and for a range of values.The graph is a log-log plot.The upper curve is for AABBTrees,and the lower,OBBTrees.The slopes of the the linear portions the upper curve and lower curves are approximately 2and 1,as expected from the analysis.The differing slopes of these curves imply that OBBTrees require asymptotically fewer box tests as a function of than AABBTrees in our experiment.Notice that the curve for AABBTrees levels off for the lowest values of .For sufficiently small values of ,even the lowest levels of the AABBTree hierarchies are inade-quate for separating the two surfaces –all nodes of both are visited,and the collision query must resort to testing the triangles.Decreasing even further cannot result in more work,because the tree does not extend further than the depth previously reached.The curve for the OBBTrees will also level off for some sufficiently small value of ,which is not shown in the graph.Furthermore,since both trees are binary and therefore have the same number of nodes,the OBBTree curve will level off at the same height in the graph as the AABBTree curve.For the second experiment,two same-size spheres were placed next to each other,separated by a distance of .We call this scenario point close proximity ,where two nonpar-allel surfaces patches come close to touching at a point.We can think of the surfaces in the neighborhood of the closest points as being in parallel close proximity –but this approximation applies only locally.We have not been able to analytically characterize the performance,so we rely instead on empirical evidence to claim that for this scenario OBBTrees require asymptotically fewer bounding box overlap tests as a function of than AABBTrees.The results are shown in Fig.6.This is also a log-log plot,and the increasing gap between the upper and lower curves show the asymptotic difference in the number of tests as decreases.Again,we see the leveling off for small values of .Analysis:A general analysis of the performance of collision detection algorithms which use bounding volume hierarchies is extremely difficult because performance is so situation specific.We assumed that the geometry being bounded had locally low curvature and was finely tessel-lated.This enabled the formulation of simple relationships。
gallager随机构造法
gallager随机构造法Gallager随机构造法是一种常用于编码理论中的方法,用于构造能够纠正通信中的错误的编码方案。
在通信过程中,由于噪声等原因,传输的信息可能会出现错误。
为了提高通信的可靠性,可以使用编码方案来检测和纠正这些错误。
Gallager随机构造法是由Robert G. Gallager在1962年提出的一种构造码字的方法。
这种方法以概率分布为基础,通过随机选择编码方案中的各个参数,来构造一种能够纠正通信中错误的编码方案。
这种方法的优点是可以灵活地根据实际情况选择参数,从而使得编码方案更加适应通信环境的变化。
在Gallager随机构造法中,首先需要确定纠错码的参数,包括码长(n)和码字长度(k)。
码长是指编码方案中码字的长度,而码字长度是指编码方案中用于表示有效信息的位数。
根据通信系统的需求,可以选择适当的码长和码字长度。
接下来,需要随机生成一个生成矩阵。
生成矩阵是一个k行n列的矩阵,其中的元素由0和1随机组成。
生成矩阵的每一行对应编码方案中的一个码字,每一列对应编码方案中的一个位。
生成矩阵的构造要求是任意两行之间的汉明距离(即两个码字间不同位的个数)大于等于3,并且生成矩阵的每一列中至少有两个1。
构造生成矩阵的方法可以是随机生成,也可以是根据特定规则生成。
生成矩阵的构造方法直接影响了编码方案的性能。
Gallager随机构造法通过随机选择生成矩阵中的元素,从而使得生成矩阵具有良好的纠错性能。
在生成矩阵确定之后,可以使用生成矩阵来进行编码和解码。
编码是将待传输的信息转换为码字的过程,而解码是将接收到的码字转换为原始信息的过程。
编码和解码的过程可以通过矩阵运算来实现。
具体来说,编码是将待传输的信息乘以生成矩阵,而解码是将接收到的码字乘以生成矩阵的转置矩阵。
通过使用Gallager随机构造法构造的编码方案,可以有效地检测和纠正通信中的错误。
由于生成矩阵的构造是随机的,因此每个码字之间的关系是独立的,从而可以提高编码方案的纠错能力。
基于自适应布告板的三维树木表达方法
基于自适应布告板的三维树木表达方法①高亦远, 李 豪, 葛荣存, 李佳祺, 李 创, 佘江峰(南京大学 地理与海洋科学学院 江苏省地理信息技术重点实验室, 南京 210023)通讯作者: 佘江峰摘 要: 植被、地形以及人工建构筑物是三维虚拟地理场景可视化表达的基本内容, 树木是植被的主要组成部分.由于树木自然形态的复杂性, 其真实感表达非常困难. 基于几何模型的树木表达可以产生逼真的细节, 但场景实时渲染具有巨大的计算负担, 而基于纹理的简化模型在真实感表达上有所欠缺, 但具有更好的渲染性能. 如何兼顾场景渲染效率与视觉真实感受一直是树木三维可视化表达的研究热点. 本文提出一种基于自适应布告板的三维树木表达方法, 该方法在通常的平面布告板方法基础上, 根据视点与布告板的相对位置关系, 从预先获得的多张树木影像中选取最符合视点与树木相对位置关系的影像作为树木纹理渲染于该布告板上, 实现了布告板纹理的动态调整,使得不同视点下的树木渲染效果尽量接近真实, 同时也具有布告板的渲染性能优势. 本文基于WebGL 在浏览器中构建了一个三维场景, 其中包含若干树木模型. 实验结果表明本方法在表达树林时, 在浏览器这样的低渲染计算能力环境下也能取得可接受的渲染性能与表达效果.关键词: 三维模型; 布告板模型; 树木; 三维地理场景; 视点依赖引用格式: 高亦远,李豪,葛荣存,李佳祺,李创,佘江峰.基于自适应布告板的三维树木表达方法.计算机系统应用,2021,30(2):103–109. /1003-3254/7773.html3D Tree Presentation Based on Self-Adapting BillboardGAO Yi-Yuan, LI Hao, GE Rong-Cun, LI Jia-Qi, LI Chuang, SHE Jiang-Feng(Jiangsu Provincial Key Laboratory of Geographic Information Science and Technology, School of Geography and Ocean Science,Nanjing University, Nanjing 210023, China)Abstract : Vegetation, terrain, and man-made buildings are the primary parts in a 3D geography scene. Trees, as the main component of vegetation, bring greater difficulties in presentation of themselves in a 3D scene than others due to complex natural forms. Geometry-based model, with huge computational burden to real-time scene rendering, could present 3D tree details much better. However, a simplified tree model based on texture has generally better rendering performance than the geometry-based model, but with rather rough 3D effect. Reasonable compromise on the rendering performance and visual 3D presentation is a big challenge, becoming a research focus in the field of virtual geographic environment.This study proposes a self-adapting billboard to present a tree in a 3D scene. Firstly, a set of tree pictures should be taken from different viewpoints or pre-constructed based on different perspectives of the 3D tree model. Then, a billboard is taken as a geometrical carrier of dynamical texture. While viewpoint moves, the direction from the viewpoint to the target tree will be regarded as a determinative parameter to pick out one best-match picture of the tree from the pre-constructed picture set to replace current texture on the billboard. It makes the rendering effect of trees much similar to the real observations from a relative viewing angle. At last, a 3D scene with many trees is rendered in a browser based on WebGL.The result proves that the rendering efficiency and effect are both acceptable.计算机系统应用 ISSN 1003-3254, CODEN CSAOBNE-mail: Computer Systems & Applications,2021,30(2):103−109 [doi: 10.15888/ki.csa.007773] ©中国科学院软件研究所版权所有.Tel: +86-10-62661041① 基金项目: 国家自然科学基金面上项目(41871293, 41371365)Foundation item: General Program of National Natural Science Foundation of China (41871293, 41371365)收稿时间: 2020-06-18; 修改时间: 2020-07-14; 采用时间: 2020-07-17; csa 在线出版时间: 2021-01-27103Key words: 3D modeling; billboard; tree; 3D geography scene; viewpoint dependency1 引言自然景观是虚拟三维地理场景的重要组成部分,景观要素的相关渲染技术被广泛应用于地理信息系统、游戏、虚拟现实、动画等领域[1–3]. 作为自然景观中的常见要素, 树木的表达一直是研究的热点和难点[4].由于树木形态自身的复杂性, 树木的真实感表达与场景的渲染效率之间存在着矛盾[5,6]: 由大量三角面片构成的模型虽然可以有效表达树木形态, 但渲染效率较低, 而使用较少几何面片构成的模型则真实感不足, 二者都会影响用户体验. 目前三维场景中树木的表达方法大致分为两类[6], 一类是基于几何模型的绘制方法,另一类是基于纹理图像的绘制方法.基于几何模型的方法通过算法简化树木模型, 从而解决树木结构过于复杂导致的渲染耗时问题. 例如: Remolar等提出了树叶合并简化算法[7], 将相似的树叶进行合并; 郭星辰等提出了一种参数化的方式对植物形态特征予以集成和组织, 满足了树木的共性特征[8]; Lluch等提出了多层次模型表示法[9], 实现模型的简化; Zhang等提出了基于植物器官的层次合并算法[10], 引入了叶序、花序等概念来进行层次合并. 以上方法虽能在单株树木上达到简化效果, 但在渲染大规模森林场景时总体的渲染负担依旧繁重. 在大规模植被的可视化表达方面, Li等提出了一种基于图的中性景观模型, 能快速生成具有真实感的森林景观格局, 但在渲染性能方面还需要深入研究[11].基于纹理图像的绘制方法将树木的几何模型用简单面片表示, 其绘制工作量基本与树木的形态复杂度无关. 布告板是这类方法的一种简单而典型的实现, 其基本思想是将几何模型替换为始终朝向观察者的平面布告板, 通过将物体某个角度观察的快照作为纹理贴到布告板上, 从而减少动态渲染时的计算量[12]. 但是传统布告板的缺点也很明显, 当视点变化时布告板上的纹理贴图不会发生变化, 真实感比较缺乏. 在布告板方法的基础上, 相关学者提出了布告板云方法[13,14], 该方法将树木拆解为多个布告板进行表达, 在每个布告板贴上相应的纹理图片. 这在一定程度上解决了单布告板缺少三维立体感的问题, 但在表达精细的树木模型时需要大量的布告板面片, 使得渲染时的计算量大为增加. Maciel等提出了Impostor方法[15], 在预计算阶段将树木模型渲染到一个面, 减少了几何复杂度. 在此基础上孙雪波等又提出了基于动态Impostor技术的树木快速绘制方法[16], 可以实现树木的多角度表达, 但视角变化时纹理仍需实时生成, 实时计算量仍然很大. She等提出了球面布告板的概念, 使用不规则球面模拟树冠, 与传统布告板相比, 其几何复杂度和纹理复杂度略有提高, 但对于特定树木可以取得较好的表达效果[17].本文提出了一种新的布告板方法, 使用单个平面布告板作为树木模型的几何替代物, 根据视点位置动态切换与观察方向及距离最相适应的纹理贴图, 所取得的树木三维表达效果与观察方位具有更好的一致关系.2 模型数据生成自适应布告板方法首先需要获取多个观察方向以及视距上的树木纹理图片集合, 可用于后期场景渲染时的动态选取. 对于比较重要的树木(如古树名木), 如需要还原树木的原貌, 可以采用人工或无人机实地拍摄的方法, 获得树木在不同距离或方位上的高清照片;对于数量庞大的普通树木, 可以采用计算机模拟的方法分类获得多方位观察效果图. 无论采用哪种方法, 对于每一张图片, 都要记录下该树木图片所对应的观察方位以及视距. 以计算机模拟方法为例, 有关过程如下: 2.1 纹理图片生成在具有树木高精细模型的前提下, 通过设置相机位置、光照、分辨率等渲染参数, 利用三维软件获得同一树木在不同观察方位和视距下的渲染图像. 具体步骤如下(图1):1) 将树木模型(高为h)置于原点, 将模型高度的1/2处设为树木的中心;2) 设定相机位置到树木中心距离 r, 保证渲染的树木完整, 并设置水平及垂直方向的采样间隔角度;3) 根据水平和垂直方向间隔角, 以及相机到树木的距离, 确定相机的位置, 渲染对应位置的纹理图片.垂直角θ、水平角σ与相机位置(X, Y, Z)间的公式如式(1)~式(3), 渲染效果如图2所示.计算机系统应用2021 年 第 30 卷 第 2 期104在此过程中, 应对生成的图片标注方位和视距等信息, 以便于在漫游过程中, 根据视点与树木的相对空间关系方便地选取最合适的图片作为纹理.垂直角σ水平角 φ(1)(2)(2)(1)(3)(3)图1 树木的多方位视觉效果的生成示例σ=0°θ=0°θ=36°θ=72°θ=108°θ=144°θ=180°θ=40°θ=80°图2 同一树木的多方位渲染效果2.2 纹理图片预处理与传统布告板相比, 自适应布告板可以解决特定视角下的渲染缺陷, 但也存在一些新的困难. 传统布告板只需要将树木纹理图片的树根部位与地面相接就可将树木固定在场景中. 使用自适应布告板时, 树木根部会随着纹理图片的观察角度变化而发生渲染位置的变化. 如图3所示, 3棵树木垂直观察角度分别为: 0度、50度、90度. 当观察的垂直角由0逐渐增加时, 树根位置将由图像底部上移至图像中部. 在场景中若根部定位不恰当就会出现图4所示错误.为确保树木表达的准确性, 需要在每次切换纹理图片时动态调整布告板的位置, 使得树木根部定位点与地形高度一致, 形成树木“长”在地上的效果. 这需要对每张图片额外标注根部定位信息. 本文采用的方法为固定树木中心点的位置, 使树根在不同视角上都与地面相接.具体步骤为: 先测量一张水平角度生成的纹理贴图中树木根部距离图片底部的距离d1及纹理图片的高度d2; 然后, 将布告板置于场景中, 令其中心位置距离地形该点高度d2–d1处. 在调整后的场景中, 无论从什么位置观察树木图片都可以保证树木根部与地形固定点相接.2021 年 第 30 卷 第 2 期计算机系统应用105图3 树根位置变动示意图(a) 错误(b) 正确图4 树根定位的错误效果与正确效果比较3 树木实时渲染3.1 自适应布告板传统布告板使用一张纹理图片表示物体, 减少几何复杂度, 提高渲染性能. 当视点发生变化时, 旋转布告板, 使其始终面向相机位置. 但观察角度发生变化时,纹理图片并不会发生改变, 影响真实感.自适应布告板的主要思想是, 生成目标物体的多视角纹理图片集, 根据布告板与视点的相对方位关系,从多视点纹理图片集中选择与观察角度最契合的纹理图片在布告板上显示.当视点位置发生变化时, 则自动切换布告板上的纹理图片, 使之与视角同步变化, 实现观察效果与观察角度的一致. 这样, 可以使布告板展现出近似真实模型的效果.自适应布告板方法具体包括以下几个步骤:1) 预先生成(或拍摄)树木在各个相对方位与距离上的树木纹理图片;2) 根据视点和布告板的相对位置关系得到观察方向和距离;3) 根据观察方向计算旋转矩阵, 调整布告板位置,使其朝向相机位置;4) 寻找与观察方向和视距最匹配的图片, 并将图片用作为纹理更新到布告板上;5) 当视点移动时, 从第2步开始新的纹理选择过程.根据视点P 1(x 1, y 1, z 1)布告板中心P 0(x 0, y 0, z 0)计算水平角θ与垂直角σ的公式为:根据计算得到的水平角和垂直角, 查询距离该点位置最近的纹理图片. 依据由水平角θ与垂直角σ推算出的旋转矩阵来调整布告板的方向, 使其始终朝向相机.3.2 纹理查询纹理查询的直接方法是遍历已有图片对应的拍摄控制点, 分别计算控制点到观察点的相对方位和距离,并选择最接近的控制点所对应的纹理图片. 但是当纹理图片集合较大时, 遍历全部拍摄控制点代价过大. 改进办法是: 基于观察点位置查询其周围特定范围内的拍摄控制点, 以减少比较次数.根据纹理图片的获取方式及其方位信息, 可将纹理图片查询分为规则和不规则两种方式. 三维软件渲染生成的纹理图片相机位置精确可控, 相邻控制点间水平角或垂直角间隔一致, 根据观察点位置以及水平与垂直间隔角可以快速确定周围的4个拍摄点, 从中选择最近拍摄点的纹理图片. 但真实拍摄的影像纹理图片难以精确控制其拍摄方位, 拍摄位置分布也具有不规则性等特点, 在这样的拍摄图片集中寻找合适的纹理面临较大的困难, 需要利用已有的拍摄控制点生成空间 Delaunay 三角网, 再确定观察方位点所在三角形, 最后寻找与视点最近的点所对应的纹理图片(图5).3.3 纹理加载基于自适应布告板的树木表达方法有效减少了场景交互过程中的树木渲染计算负荷, 能够在计算能力较弱的平台上更流畅地渲染三维树木. 但在图片较多的情况下, 纹理读取和加载的压力也会变大, 需要一种合适的纹理加载方法以提高效率. 本文采用异步加载以及缓存相结合的方法, 算法过程如图6所示.一般来说, 从硬盘或网络中加载纹理图片耗时长,如果减少纹理图片的加载次数将会有效减少系统的IO 压力. 利用纹理图片缓存技术, 可以减少加载重复纹理的时间消耗[15,18]. 但纹理图片缓存也有弊端: 缓存过多纹理图片会占用大量的内存, 这会导致计算机性能的严重下降. 可设置一个定长的图片缓存队列, 当缓存图片数量超过队列长度时, 主动释放哪些早先加载但使用频率较低的纹理图片.计算机系统应用2021 年 第 30 卷 第 2 期106观察方位(a)纹理图片规则(b) 纹理图片不规则拍摄控制方位垂直间隔角: 3°最短路径最短路径水平间隔角: 6°σ=33°θ=90°σ=33°θ=96°σ=27°θ=95°σ=32°θ=91°σ=30°θ=96°σ=30°θ=90°σ=30°θ=98°σ=32°θ=96°σ=30°θ=100°图5 纹理图片规则(左)与不规则(右)寻址示例, 红色圆点为观察点, 黑色圆点为拍摄控制点根据变化后视点计算相对距离以及方位角根据图片索引信息检查图片是否已缓存异步加载纹理图片到缓存获得相适应的纹理图片的索引信息从缓存中获得纹理图片否是图6 纹理图片加载流程图本方法总体的流程如图7所示.4 实验流程及结果4.1 实验环境及数据基于浏览器的三维场景渲染是三维应用的一个热点, 和桌面应用软件相比, Web 应用最大的优势是客户端免安装, 但浏览器又是一个典型的渲染计算能力比较弱的环境, 能否在浏览器环境提供可接受的渲染性能是本文方法是否可用的一个重要验证. 本文基于WebGL 技术检测浏览器端的树木渲染效果. 软件环境为Chrome 63, WebGL 1.0. 硬件环境为: CPU Intel Core i7 2.6 GHz, 内存8 GB, GPU 为NVIDIA GeForce GTX1060, 显存3 GB.实验中使用3DS 格式树木模型, 来源于 网站, 选用了6种树木模型, 顶点数84 441至1 516 168不等, 模型数据量大小为2.25~38.5 MB 不等. 使用Blender 软件将树木模型渲染生成纹理图像集合, 采用的水平角间隔和垂直角间隔均为2度, 对每种树木各渲染了8280张图片, 构成了树木的纹理图片集.三维树木模型多角度渲染纹理图片预处理加载纹理到缓存纹理缓存布告板纹理更新纹理是否已缓存纹理选择视角计算视点变化否是多视点纹理图片图7 自适应布告板法总体流程图4.2 实验结果相较于传统布告板方法, 自适应布告板树木表达方法有效改进了非水平方向观察时存在的真实感不足问题(图8). 在表达大规模树木时, 为了避免树木在观感上过于整齐一致, 为树木增加一个随机的水平扰动角度, 使得从同一方向观察的不同个体树木的效果有所差异, 增加了场景的总体真实感(图9).2021 年 第 30 卷 第 2 期计算机系统应用107自适应布告板传统布告板图8 传统布告板与自适应布告板对比在表达树林场景时, 如果使用常规的几何模型方法, 每增加一棵树木都会增加大量的几何面片, 消耗大量的计算资源. 使用纹理贴图替代几何模型表达树木后, 增加一棵树木只会增加渲染纹理图片的存储空间, 不会显著增加更大的计算压力. 此外, 由于同类树木可以共享纹理图片库, 对于这种情况, 纹理图片的存储和管理事实上不会增加过多的额外负担.图9 三维场景中树林的表达试验表明, 在包含100棵树木的三维场景中动态漫游时, 浏览器渲染帧率可达到60 fps; 在由500棵树木构成的场景中, 纹理图片加载完成后, 仍能以50 fps 以上的帧率运行.若直接使用高精度的树木三维模型, 受浏览器性能的限制, 仅包含100棵树木的三维场景就已经卡顿严重, 甚至难以运行, 十分影响用户体验; 若使用传统的布告板方法, 虽然渲染帧数得到了保障, 但有明显的“纸片感”, 这种问题在俯视的情况下尤甚.自适应布告板树木表达方法使得渲染效率显著提高, 场景交互更为流畅, 在真实感表达方面也显著优于传统的布告板技术.计算机系统应用2021 年 第 30 卷 第 2 期1085 总结与展望本文提出自适应布告板的树木表达方法, 在预先生成的树木的多方位图像中, 根据视点变化动态检取最匹配的图像作为纹理, 在布告板上实时动态切换纹理, 在有效减少场景中树木的几何复杂度的同时, 提高了树木的真实感效果, 取得了渲染效率与渲染效果的较好平衡, 对于渲染计算能力较弱的环境(如Web浏览器)也具有很好的适用性.进一步研究可考虑继续优化树木的纹理图片获取方法和纹理加载算法, 进一步降低纹理图片加载的负担; 同时考虑为树木添加阴影效果, 增强三维场景的真实感. 在此基础上, 还可以考虑为常见树木种类建立纹理图片库, 以满足更为广泛的应用需求.参考文献王祖新. 虚拟环境下自然场景的渲染研究[硕士学位论文]. 北京: 北京邮电大学, 2014.1朱庆. 三维GIS及其在智慧城市中的应用. 地球信息科学学报, 2014, 16(2): 151–157.2An augmented reality application for mobile visualization of GIS-referenced landscape planning projects. International Journal of Emerging Technologies in Learning, 2019, 14(6): 53–62.3杨垠晖, 王锐. 树木的真实感建模与绘制综述. 计算机辅助设计与图形学学报, 2018, 30(2): 191–216.4刘倩. 树木三维可视化技术的应用研究[硕士学位论文].郑州: 河南农业大学, 2008.1–7.5刘海. 大规模森林景观可视化模拟技术研究[博士学位论文]. 北京: 中国林业科学研究院, 2015.6Remolar I, Chover M, Ribelles J, et al. View-dependent multiresolution model for foliage. Journal of WSCG, 2003, 11(1–3): 370–378.7郭星辰, 佘江峰. 多细节层次的三维植被符号设计. 测绘科学, 2016, 41(6): 48–52.8Lluch J, Camahort E, Vivó R. Procedural multiresolution for 9plant and tree rendering. Proceedings of the 2nd International Conference on Computer Graphics, Virtual Reality, Visualisation and Interaction in Africa. Cape Town, South Africa. 2003. 31–38.Zhang XP, Blaise F, Jaeger M. Multiresolution plant models with complex organs. Proceedings of 2006 ACM International Conference on Virtual Reality Continuum and its Applications. Hong Kong, China. 2006. 331–334.10Li JQ, Gu XY, Li XC, et al. Procedural generation of large-scale forests using a graph-based neutral landscape model.ISPRS International Journal of Geo-Information, 2018, 7(3): 127. [doi: 10.3390/ijgi7030127]11魏迎梅, 宋汉辰, 吴玲达. 布告板对象在三维场景中的真实感表现. 第七届全国虚拟现实与可视化学术会议论文集.北京, 中国. 2007. 125–126, 137.12Lacewell JD, Edwards D, Shirley P, et al. Stochastic billboard clouds for interactive foliage rendering. Journal of Graphics Tools, 2006, 11(1): 1–12. [doi: 10.1080/2151237X.2006.10129213]13Garcia I, Sbert M, Szirmay-Kalos L. Tree rendering with billboard clouds. Proceedings of the 3rd Hungarian Conference on Computer Graphics and Geometry. Budapest, Hungary. 2005.14Maciel PWC, Shirley P. Visual navigation of large environments using textured clusters. Proceedings of 1995 Symposium on Interactive 3D Graphics. Monterey, CA, USA. 1995. 95–102.15孙学波, 张小苏. 基于动态Impostor技术的树木快速绘制方法. 计算机工程与设计, 2008, 29(12): 3126–3129.16She JF, Guo XC, Tan X, et al. 3D visualization of trees based on a sphere-board model. ISPRS International Journal of Geo-Information, 2018, 7(2): 45. [doi: 10.3390/ijgi7020045] 17Shade J, Lischinski D, Salesin DH, et al. Hierarchical image caching for accelerated walkthroughs of complex environments. Proceedings of the 23rd Annual Conference on Computer Graphics and Interactive Techniques. New Orleans, LA, USA. 1996. 75–82.182021 年 第 30 卷 第 2 期计算机系统应用109。
graphical model解释
图模型(Graphical Model)是一种用于表示和推断概率模型的图形化工具。
它是概率图论(Probabilistic Graphical Models)的一个重要分支,用于建模随机变量之间的概率依赖关系。
图模型将概率模型表示为图形结构,其中节点表示随机变量,边表示随机变量之间的依赖关系。
图模型主要用于处理不确定性问题,并在机器学习、人工智能、统计学等领域中得到广泛应用。
它提供了一种直观和紧凑的方式来描述复杂的概率模型,帮助人们更好地理解变量之间的相互作用和概率分布。
图模型可以分为两大类:贝叶斯网络(Bayesian Networks)和马尔可夫随机场(Markov Random Fields)。
贝叶斯网络:贝叶斯网络是一种有向图模型,其中节点表示随机变量,有向边表示条件概率依赖关系。
贝叶斯网络使用条件概率表来描述节点之间的依赖关系,其中每个节点的概率分布条件于其父节点的取值。
贝叶斯网络主要用于推断和预测问题,可以通过观测节点的值来推断其他节点的概率分布。
马尔可夫随机场:马尔可夫随机场是一种无向图模型,其中节点表示随机变量,无向边表示变量之间的条件独立性。
马尔可夫随机场使用势函数(Potential Function)来描述变量之间的关系,其中势函数的取值与节点及其邻居节点的取值有关。
马尔可夫随机场主要用于标注和分类问题,可以通过全局最优化方法来求解变量的最优配置。
图模型在概率推断、决策分析、模式识别等领域发挥着重要作用。
它提供了一种直观和可解释的方式来处理不确定性和复杂性问题,并在处理大规模数据和复杂系统时展现出优势。
最新雅思阅读篇
济南新航道学校IELTS READING雅思阅读高分必备习题集注:本习题集仅供济南新航道内部学员使用,严禁翻印,传阅。
Contents1.Amateur naturalist 业余自然学家(P3)municating Styles and Conflict 交流的方式与冲突(P6)3.Health in the Wild 野生动物自愈.(p10)4.The Rainmaker 人工造雨(P13)5.Shoemaker-Levy 9 Collision with Jupiter 舒梅克彗星撞木星(P16)6.A second look at twin studies 双胞胎研究(P19)7.Transit of Venus 金星凌日(P22)8.Placebo Effect—The Power of Nothing安慰剂效应(P25)9.The origins of Laughter 笑的起源(P29)10. Rainwater Harvesting 雨水收集(P32)11.Serendipity:The Accidental Scientists科学偶然性(P36)12.Terminated! Dinosaur Era! 恐龙时代的终结(P40) ADDICTION 电视上瘾(P43)14.EI nino and Seabirds 厄尔尼诺和水鸟(P46)15.The extinct grass in Britain 英国灭绝的某种草(P50)cation philosophy教育的哲学(P53)17.The secret of Yawn打哈欠的秘密(P57)18.consecutive and simultaneous translation交替传译和同声传译(P60)19.Numeracy: can animals tell numbers?动物会数数么?(P63)20.Going nowhere fast(P66)21.The seedhunters种子收集者(P69)22.The conquest of Malaria in Italy意大利征服疟疾(P72)READING PASSAGE 1You should spend about 20minutes on Questions 27-40 which are based on Reading Passage 3 below.文章背景:业余自然学家主要讲述的是有一些人,平时喜欢观察自然界的植物生长,养蜂过程,气候变化,等等与大自然相关的变化并且做记录得到一些数据,这种数据叫做“amateur data”. 本文主要介绍业余自然学家以及一些专业自然学家探讨业余自然学家的数据是否能用,以及应该如何使用这些自然学家的数据,其可信度有多少等问题。
自顶向下建立OBB层次树改进分割算法研究
中 图分 类 号 : P 9 . T 31 9
文献标识码 : A
文 章 编号 : 0 9 3 4 (0 0 3 — 7 6 0 1 0 — 0 4 2 1 )4 9 4 — 3
Re e r h O1Ne S l t g M e h d fTo - wn OBB- e n tu t n sa c 1 1 w p i i t o s o p Do tn Tr e Co sr c i o
sr fon. n w eho orslt ng dic tuc i A e m t d f p it sonn ce e soft a lsw a n r uc d,w h c c n m a BB ihtr i e td st r ng e si tod e i ih a ke O tg e.Ex rm e pei n ̄ w e e t - r om p r d 、ih c m m on s a e Ⅳ t o ph ̄ig m e ho s a d eu t ho he ne eho a s d t pl he ds o n t d . n rs lss w t w m t d c n be u e o s i t ic nne t d st ftinge . t c e eso ra ls K e o ds it lr aiy;c lson dee to yw r :v rua e lt ol i tc n;b nd n l e he ac y;bo  ̄ ngvo u e te s i i ou i g voum r ue K o ld ea dT c n l y电脑 知 识 与技术 o p t n we g n e h o g r o
matryoshka representation learning解读
matryoshka representation learning解读Matryoshka Representation Learning(玛特罗什卡表示学习)是一个相对较新的概念,它试图解决深度学习中表示学习的问题。
该方法借鉴了俄罗斯套娃(Matryoshka dolls,也称为套娃)的概念,即一个物体嵌套在另一个物体内部,形成一个层次结构。
在Matryoshka Representation Learning中,这种层次结构被应用于深度学习模型的表示学习中。
在深度学习中,表示学习是指通过训练模型来学习数据的低维表示,这些表示可以捕获数据的内在结构和关系。
然而,传统的深度学习模型通常只学习单一层次的表示,这限制了模型的表示能力。
相比之下,Matryoshka Representation Learning试图学习多个层次的表示,从而捕获更复杂的数据结构。
Matryoshka Representation Learning的核心思想是将深度学习模型视为一个嵌套的结构,每个层次都学习不同的表示。
这些层次可以看作是一个个套娃,每个套娃都嵌套在另一个套娃内部。
在训练过程中,模型会学习从低层次到高层次的表示,从而形成一个层次化的表示结构。
通过这种方式,Matryoshka Representation Learning可以提高深度学习模型的表示能力,使其能够捕获更复杂的数据结构。
此外,该方法还可以提高模型的泛化能力,因为多层次的表示可以捕获更多的数据特征,从而减少过拟合的风险。
需要注意的是,Matryoshka Representation Learning目前仍处于研究阶段,尚未广泛应用于实际任务中。
此外,该方法的实现也相对复杂,需要一定的技术储备和实践经验。
因此,对于初学者来说,可能需要更多的时间和精力来理解和掌握该方法。
topological features在中文文章中的意思
topological features在中文文章中的意思在中文文章中,"topological features"通常被翻译为“拓扑特征”。
拓扑学是数学的一个分支,它研究空间的性质,特别是空间的形状和结构。
拓扑特征是指一个空间中的基本元素(如点、线、面)以及它们之间的关系。
这些关系可以是连续的,也可以是离散的,但它们都不依赖于具体的度量或坐标系统。
拓扑特征在许多领域都有应用,包括物理学、化学、生物学、计算机科学等。
例如,在物理学中,拓扑特征可以用来描述物质的相变;在化学中,拓扑特征可以用来预测分子的稳定性;在生物学中,拓扑特征可以用来分析蛋白质的结构;在计算机科学中,拓扑特征可以用来识别图像中的模式。
基于包围盒回归的图像构图推荐
第33卷 第5期 计算机辅助设计与图形学学报Vol.33 No.5 2021年5月Journal of Computer-Aided Design & Computer GraphicsMay 2021收稿日期: 2020-08-06; 修回日期: 2020-10-20. 基金项目: 国家重点研发计划(2017YFB1002604); 国家自然科学基金(61772298, 61832016). 杨国烨(1997—), 男, 博士研究生, 主要研究方向为计算机图形学、图像分析、计算机视觉; 周文洋(1998—), 男, 博士研究生, 主要研究方向为计算机图形学、图像分析、计算机视觉; 刘兰(1996—), 女, 硕士, 主要研究方向为计算机视觉应用; 张松海(1978—), 男, 博士, 副教授, 博士生导师, CCF 会员, 论文通讯作者, 主要研究方向为图像视频处理、几何计算.基于包围盒回归的图像构图推荐杨国烨, 周文洋, 刘兰, 张松海*(清华大学计算机科学与技术系 北京 100084) (****************.cn)摘 要: 图像构图推荐旨在找到一幅图像中最具构图美学价值的裁剪, 可以辅助拍照者拍摄出构图优美、雅致、协调的照片. 由于该任务较难精确、完整地标注出所有优秀构图包围盒, 故此前基于神经网络的方法多数并不直接回归构图包围盒, 而是通过枚举预制的构图包围盒回归分数, 取分数最大者为构图结果. 而这一做法会对回归结果精度和算法效率造成负面影响. 通过提出一个由特征提取模块、包围盒回归模块和分数回归模块组成的可回归构图包围盒的端到端神经网络模型, 并设计相应的数据构造方法、训练方法和损失函数, 克服上述难点. 选择FCDB 和FLMS 这2个公开数据集作为测试集, 与现有方法相比, 该方法在IoU 和Disp 测试指标上均达到最优. 关键词: 构图推荐; 神经网络; 包围盒回归中图法分类号: TP391.41 DOI: 10.3724/SP.J.1089.2021.18560Bounding Box Regression Based Image Composition RecommendationYang Guoye, Zhou Wenyang, Liu Lan, and Zhang Songhai *(Department of Computer Science and Technology, Tsinghua University, Beijing 100084)Abstract: Image composition recommendation aims to find the most aesthetically valuable crop in an image, which can assist the photographer to take beautiful, elegant, and coordinated photos. However, most of the previ-ous methods based on neural network do not generate the composition boxes directly because it is difficult to ac-curately and completely mark all excellent composition bounding boxes. Instead, these methods first enumerate some pre-made boxes, regress their score and return the box with highest score, which will have a negative im-pact on the accuracy of regression results and algorithm efficiency. By proposing an end-to-end neural network model consisting of a feature extraction module, a bounding box regression module, and a score regression mod-ule, which can regress the composition bounding box, and designing the corresponding data construction method, training method and loss function, the above difficulties have been successfully overcome. In this paper, two pub-lic datasets, FCDB and FLMS, are selected as the test set. Compared with the existing methods, this method achieves the best IoU and Disp.Key words: composition recommendation; neural network; bounding box regression 随着手机、相机的大规模普及, 拍照留念已经成为人们生活中不可或缺的一部分, 随手拿出手机或相机拍照记录生活已经成为了人们的一种习惯. 然而, 对于缺乏摄影经验和技巧的普通用户, 拍摄出构图优秀的照片具有一定的困难和挑战性. 在这一背景下, 图像构图推荐作为一个重要的研第5期杨国烨, 等: 基于包围盒回归的图像构图推荐 747究方向, 吸引着研究者和工业界的目光. 图像构图推荐任务的目标是从一幅图像中通过简单的裁剪操作得到一幅或多幅构图较优、美学价值较高的子图.2015年以前, 大多数工作[1-4]是通过人工构建特征评价一幅图像的美学价值. 近年来, 卷积神经网络在计算机视觉中图像分类和目标检测等诸多任务上表现出了优异的性能. 在图像构图推荐任务中, 很多方法[5-9]同样使用了卷积神经网络并得到较好的结果.本文注意到, 目标检测任务与图像构图推荐任务的回归目标比较类似, 都是从图像中回归出若干个包围盒. 但是此前鲜有工作借鉴目标检测任务的思路, 通过直接回归构图包围盒的方式完成图像构图推荐任务, 这是因为图像构图推荐任务比目标检测任务有以下特殊性: (1) 一幅图像中可能有多个较好的构图包围盒, 如果直接使用目标检测任务中的方法进行学习, 则需要保证数据集中尽量不能遗落好的构图包围盒, 否则会对网络回归的目标造成混淆; (2) 目标检测任务中包围盒的定义为物体的4个边界, 比较明确, 而图像构图推荐任务中构图包围盒边界的定义相比之下较不明确. 鉴于2点特殊性, 多数已有的工作[5-9]会标注若干包围盒对的构图优劣关系, 并通过这种偏序关系训练一个单幅图像的构图评分网络, 在推断时对枚举或预制的包围盒回归得到若干分数, 并将得分最高的包围盒作为最终的结果. 而这一做法会使算法的性能在很大程度受到包围盒采样密度的影响.本文提出能够直接回归得到构图包围盒的卷积神经网络模型及其训练方法, 相对于以往的方法在FLMS(Fang, Lin, Mech, and Shen)数据集[10]和FCDB(Flickr cropping dataset)数据集[11]中取得了最优的效果.1相关工作1.1图像构图推荐图像构图推荐任务的目标是用户输入一幅图像, 算法自动从图像中裁剪出符合摄影构图评价、具有美学价值的子图. 图像构图推荐的方法可以分为传统方法和神经网络方法.1.1.1 传统方法文献[12]基于常用构图规则提出了一个启发式的优化算法, 以确定前景图像的最佳位置. 文献[13]基于优秀构图模板库完成图像构图推荐的任务, 同时设计了一种精确衡量照片构图距离的方法实现模板匹配. 文献[14]认为, 视觉信息相似的图像通常具有相似的显著性, 通过在已标注数据集中检索相似视觉信息图像, 构建显著性分类器, 随后提取图像中显著性高的区域作为缩略图. 文献[15]设计了一种视觉注意力的评价指标, 以保证充分反映图像的信息, 并基于视觉注意力完成图像自动裁剪的任务. 文献[1]设计了一套构建高层次特征的方法, 用于对图像质量进行评估, 可将高质量和低质量的图像进行分类. 文献[3]提出了一套基于内容感知的局部和全局的评估照片质量的方法. 文献[4]从构图规则、内容和天空照明3个属性构建评估图像质量的特征. 解决这一问题的传统方法多是基于规则或模板匹配进行构图推荐, 对于更复杂多样的真实数据泛化能力较差. 于是, 近年来, 更多的研究者开始使用神经网络方法解决这一问题.1.1.2 神经网络方法文献[11]首次提出在图像裁剪采用排序方法, 其强调在美学价值上, 图像没有绝对的评价指标, 只有相对的优劣. 文献[5]基于成对训练的模式构建出视图查找网络(view finding network, VFN), 通过滑动窗口的方式找到图像的最优子图. 文献[6]将强化学习技术引入图像裁剪任务, 根据历史状态和当前状态决策出下一步裁剪包围盒的移动, 多次迭代输出最优结果. 文献[7]提出了基于比较的图像构图(comparative photo composition, CPC)数据集, 并构建构图评分网络(view evaluation networks, VEN)和构图提议网络(view proposal networks, VPN)完成构图推荐的任务, VEN负责学习构图好的图像所具备的特征, VPN在VEN的监督下对895个预制包围盒进行评分, 并反馈给用户最好的构图包围盒. 文献[8-9]在此基础上对网络结构、损失函数和数据集进行了改进. 此前多数基于深度学习解决构图推荐问题的方法会先训练一个构图评价网络, 推断时通过枚举包围盒或使用预制构图包围盒的方式回归得到每个包围盒的分数, 并取分数最高的包围盒作为结果. 而本文提出的网络则可以直接回归得到构图包围盒, 因此可以取得更好的结果.1.2目标检测目标检测任务的目标是从一幅图像中检测到不同物体并回归得到其位置.在深度学习大规模应用之前, 传统方法[16]目标检测的过程一般是区域选择、特征提取和分类.748 计算机辅助设计与图形学学报第33卷区域选择一般采用滑动窗口, 通过设置不同的大小和长宽比遍历整幅图像, 但是这样做非常耗时, 且选择的区域有大量不合理的情况. 特征提取阶段常用的有方向梯度直方图(histogram of oriented gra-dient, HOG)[17]、尺度不变特征变换(scale-invariant feature transform, SIFT)[18]等. 分类阶段通常使用支持向量机(support vector machine, SVM)分类器[19].文献[20]采用选择性搜索的方法在输入图像中生成若干个区域提议, 并将提议中每幅子图像缩放为固定大小后送入SVM模型进行分类预测. 文献[21]使用神经网络代替SVM完成分类任务, 同时引入多任务, 建立了端到端的目标检测框架. 文献[22]提出区域提议网络和RoI Pooling(region of interest pooling)模块, 建立了完整的端到端的目标检测架构. 文献[23]提出了一套实例分割架构, 在文献[22]的基础上添加了分割任务, 同时在RoI Pooling的基础上进行改进并提出了RoI Align (region of interest align)模块, 在目标检测任务上取得了更优的性能.本文借鉴了部分目标检测方法的思路, 并克服了将其转移至图像构图推荐任务上的难点, 提出了本文模型, 取得了更好的结果.2基于包围盒回归的卷积神经网络模型本文提出了一种基于包围盒回归的卷积神经网络模型, 其使用基于CPC[7]构造的数据集进行训练. 本节首先介绍该数据集的构造方法, 随后介绍本文模型以及损失设计.2.1数据集构造方法CPC[7]是一个基于比较的图像构图数据集, 该数据集中包含10800条数据, 每条数据包含一幅图像、24个包围盒以及约100对包围盒间的构图优劣偏序关系. 本文在此基础上对每条数据构造了一个优秀包围盒集合, 并随机选取了300条数据作为交叉验证集, 其余10500条数据作为训练集.对于CPC数据集中的每幅图像I, 通过算法生成了包围盒集合],,[1n BBB=; 其中, 24=n, 每个包围盒表示一个对于I的构图裁剪. 随后, 该数据集分为2个阶段标注了若干包围盒对的构图优劣偏序关系],,[1m PPP=; 其中, 100≈m, ),(10iiippP=表示由包围盒0ipB裁剪I所构成子图的构图, 其优于由包围盒1ipB裁剪I所构成子图的构图.本文在以上数据的基础上对每条数据构造了一个优秀包围盒集合. CPC数据集中每幅图像由6位标注人员标注, 在标注的第2阶段, 每个标注人员会在24个包围盒中选择3个包围盒作为构图最优的包围盒. 为了训练本文提出的网络, 本文从24个包围盒中选择了一部分构成了优秀包围盒集合],,[1k GGG=, GG i∈表示iGB是被标注为构图最优包围盒次数最多的包围盒之一.本文使用偏序关系集合P和优秀包围盒集合G对提出的网络进行训练.2.2网络模型的推断与训练本文网络模型的推断流程如图1所示, 训练流程如图2所示. 该模型由特征提取模块、包围盒回归模块和分数回归模块3部分组成. 在特征提取模块中, 首先将输入图像的长宽缩放为256×256, 然后通过由VGG16(visual geometry group networks 16)[24]构成的特征提取网络得到16×16×512的特征图, 以供另2个模块使用.图1 本文网络模型的推断流程图第5期杨国烨, 等: 基于包围盒回归的图像构图推荐 749图2 本文网络模型的训练流程图2.2.1 包围盒回归模块一幅图像中可能有多种较好的构图裁剪, 直接使用目标检测的方法解决图像构图推荐问题可能因为遗漏较优构图包围盒而导致网络回归目标混淆. 本文通过观察图像构图推荐任务的特性, 发现在裁剪范围被限制在一定范围内的情况下, 最优的构图有较大概率是唯一的.基于以上发现, 本文将图像的所有裁剪方案划分为不同的裁剪集合, 称每个裁剪集合为一个局部裁剪集, 并对每个局部裁剪集回归出一个最优的裁剪方案. 下面介绍局部裁剪集的划分方式.图像的一个裁剪可以由这个裁剪左上角及右下角2个点的坐标表示. 如图3所示, 本文将一幅图像划分为88⨯的网格, 并把每个由若干网格组成的子矩形i R 作为一个局部裁剪集i C , 每个局部裁剪集内包含所有左上角位于i R 左上14部分且右下角位于i R 右下14部分的裁剪. 已有工作[7-8]证明, 一幅图像中较好的构图包围盒不会过小, 于是本文去掉了对应子矩形短边小于4个网格的局部裁剪集, 共得到局部裁剪集225个, 通过这种方式划分的裁剪集合不会遗漏除短边长度较小的任何裁剪.图3 局部裁剪集划分示例对于每个局部裁剪集i C , 本文使用RoI Align [23]从特征图中提取出子矩形i R 区域的特征图, 并回归得到i C 中的最优构图包围盒. 最优构图包围盒可以由左上角及右下角2点坐标表示, 本文将回归目标转化为其对应子矩形i R 的左上角和右下角14小矩形区域中心点的相对坐标, 并进行了归一化, 设回归目标为1122(,,,)xi yi xi yi d dy d d . 设i R 左上角和右下角坐标分别为),(11i i y x 和),(22i i y x , 宽为12i i i x x w -=, 高为12i i i y y h -=; 则i R 左上角14小矩形中心点坐标为11,88i i i i w h x y ⎛⎫++ ⎪⎝⎭, i R 右下角1/4小矩形中心点坐标为22,88i i i i w h x y ⎛⎫-- ⎪⎝⎭, 回归得到最优构图包围盒左上角x 11(,)i yi p p 和右下角坐标22(,)xi yi p p 的计算式分别为111111222222(0.5),84(0.5)84(0.5),84(0.5).84i i xi i xi i i yi i yi i ixi i xi i i yi i yi w w p x d h hp y d w w p x d h hp y d =++-⨯=++-⨯=++-⨯=++-⨯;为了将包围盒的角点限制在14小矩形区域内, 本文对网络的输出进行了截断, 即1xi d = 1max(0,min(1,))xi d , 对于122,,yi xi yi d d d 同理. 为保证截断后网络不会出现梯度消失的情况, 本文设置了截断损失(continuous)为1122C 1{,,,}1max(|0.5|0.5,0)4xi yi xi yi Ni s d d d d L s N=∈=--∑∑.750计算机辅助设计与图形学学报 第33卷其中, 225=N 表示局部裁剪集的个数.本文使用优秀包围盒集合G 监督包围盒的回归, 设优秀包围盒j G 的左上角和右下角坐标分别为11(,)xj yj g g , 22(,)xj yj g g , 如果一个优秀包围盒j G 在局部裁剪集i C 的回归范围内, 则把i C 的回归结果与j G 的1L 距离计入包围盒回归损失(box regress), 即()1111BR1|in |222211|||4|||| .j i Nxi x j yi y j i j G C xi x j yi y j p g p g L Mp g p g =-+-+=-+-∑∑ 其中, i j C G in 表示优秀包围盒j G 在局部裁剪集i C 的回归范围内; M 表示所有优秀包围盒在局部裁剪集内的对数. 值得注意的是, 因为本文合理地划分了局部裁剪集, 所以绝大多数情况下一个局部裁剪集的回归范围内只会有至多一个优秀包围盒. 2.2.2 分数回归模块为了比较不同局部裁剪集回归得到结果的优劣, 本文设计了分数回归模块, 用于预测不同裁剪结果的构图分数. 在推断时, 该模块接受包围盒回归模块得到的225组裁剪结果, 并回归得到不同裁剪结果的得分.本文参考了VEN [7]的训练方法训练所提网络的分数回归功能. CPC 数据集中的每幅图像I 对应的标注数据包含一个包围盒集合],,[1n B B B =和一个构图优劣偏序关系集合],,[1m P P P =; 其中,),(10i i i p p P =表示由包围盒0i p B 裁剪I 所构成子图的构图. 其优于由包围盒1i p B 裁剪I 所构成子图的构图.训练时, 本文使用RoI Align [23]从特征图中提取出B 内所有包围盒对应区域的特征图, 然后对于每个包围盒i B 回归得到一个分数i f , 并使用分数距离损失(score distance)对网络的分数回归功能进行训练, 即∑=-+=mi p p i i f fmL 1SD )0,1max(101. 2.2.3 损失函数设计综上所述, 本文的总损失函数为C C BR BR SD SD L L L L λλλ=++.其中, C λ,BR λ,SD λ分别为各项损失的权重. 根据实验, 本文设置0.10C =λ,0.10BR =λ,0.1SD =λ.2.3 实现细节本文提出的框架会将输入图像尺寸缩放至256×256, 并将VGG16网络去掉最后的3个全连接层及最后一个最大池化层的剩余网络作为特征提取模块的主干网络. 包围盒回归模块包含3个全连接层: 第1个全连接层输入维度为25 088, 输出维度为4 096; 第2个全连接层输入维度为4 096, 输出维度为4 096; 第3个全连接层输入维度为4 096, 输出维度为4, 表示2点坐标偏移量. 分数回归模块与之类似, 包含3个全连接层: 第1个全连接层输入维度为25 088, 输出维度为4 096; 第2个全连接层输入维度为4 096, 输出维度为4 096; 第3个全连接层输入维度为4 096, 输出维度为1, 表示包围盒构图得分.本文中的网络使用在MS COCO(Microsoft common objects in context)数据集[25]上训练的Faster R-CNN [22]进行初始化, 并使用随机梯度下降优化器训练本文中的网络, 设置参数批大小(batch size)为1, 随机梯度下降冲量(stochastic gradient descent momentum)为0.9, 权重衰减(weight decay)为0.000 5, 初始学习率为0.000 1, 每100 000次迭代将学习率乘0.1. 本文使用一块NVIDIA GeForce 1080 Ti 显卡进行训练和测试, 共训练150 000轮次, 平均每次迭代需要0.18 s. 本文模型使用清华大学Jittor [26]深度学习框架实现.3 实验结果与讨论3.1 测试数据集本文在FCDB [11]和FLMS [10]2个公开的图像构图推荐数据集上评测本文的效果.参考已有的工作[7,11], 使用交并比(intersection over union, IoU), 即g c g c 1()1()IoU Ni i i i iA W W N A W W ==∑ , 和边界位移误差(boundary displacement error, Disp)Disp=g c,,1{,,,}||||14Ni j i j i j l r b u B B N=∈-∑∑.作为性能评估指标. 其中, g i W 表示第i 幅图像所标注的最优构图包围盒; c i W 表示第i 幅图像通过算法生成的最优构图包围盒; g c ()i i A W W 代表2个包围盒相交部分的面积; g c ()i i A W W 代表2个包围盒相并部分的面积; N 为数据集中图像的数量; g ,j i B 表示第i 幅图像所标注最优构图包围盒的边界j ; c ,j i B 表示第i 幅图像通过算法生成最优构图包围盒的边界j ; ),,,(u b r l 分别代表包围盒的第5期杨国烨, 等: 基于包围盒回归的图像构图推荐 751左、右、下、上边界.在FCDB数据集上, 本文使用其提供的脚本获取了321幅图像, 每幅图像都被标注了一个包围盒作为该图像的最优构图包围盒.FLMS数据集共包含500幅图像, 每幅图像都被10个不同的标注人员分别标注了一个最优构图包围盒. 与已有的工作[6]一样, 本文在测试时对于每个方法输出的最优包围盒, 都会从该图像的10个标注包围盒中选一个与最优包围盒IoU最大的包围盒,将算法输出的包围盒与该包围盒计算IoU与Disp.3.2实验结果对比3.2.1 效果对比在FCDB数据集上分别对VFN[5], VEN[7],A2-RL (aesthetics aware reinforcement learning)[6], VPN[7], GAIC(grid anchor based image cropping)[8]和LVRN(listwise view ranking networks)[9]这6种方法进行了评测. 在FLMS数据集上分别对4种方法VEN[7], A2-RL[6], VPN[7]和GAIC[8]进行了评测, 其中, VFN[5]和LVRN[9]方法的论文中没有提供在FLMS数据集上的实验结果或可执行的源码, 故无法在该数据集上对其进行比较. 在图像构图推荐任务中, 预制包围盒的个数很大程度决定了网络的性能, 如LVRN通过增加预制包围盒个数得到了较大的性能提升. 为了更好地反映方法本身的性能优劣, 本文比较了各方法预制包围盒个数不超过1000的版本. 值得强调的是, 本文方法相当于只使用了225个预制包围盒. 此外, 部分方法的预制包围盒中包含了数据集中标注的最优构图包围盒, 还有部分方法对回归结果进行了针对数据集的后处理. 为了公平起见, 本文将比较预制包围盒中不包含标注包围盒且未经后处理的各个方法结果. 表1和表2分别展示了不同方法在FCDB数据集和FLMS数据集上的性能, 受益于包围盒回归的使用, 本文方法在2个数据集上的性能都超过了对比方法, 取得了最优的指标.表1不同方法在FCDB数据集上实验结果方法IoU (↑) Disp(↓)VFN[5] 0.6378 0.0962A2-RL[6] 0.6561 0.0914VEN[7] 0.6407 0.0953VPN[7] 0.6660 0.0849LVRN[9] 0.6841 GAIC[8] 0.6802 0.0804本文0.6878 0.0802注: 加粗表示最优指标.表2不同方法在FLMS数据集上实验结果方法IoU (↑) Disp(↓) A2-RL[6] 0.8136 0.0472VEN[7] 0.8126 0.0438VPN[7] 0.8233 0.0399GAIC[8] 0.8025 0.0470本文0.8534 0.0345注. 加粗表示最优指标.图4展示了各方法在FLMS数据集上的结果示例, 每1列展示了不同方法的输出, 绿色包围盒展示了方法的输出, 红色包围盒展示了FLMS数据集中与输出包围盒最接近的标注结果. 图5展示了各方法在FCDB数据集上的结果示例, 第1列中红色包围盒为标注结果, 第2~7列的绿色包围盒展示了不同方法的输出.图4 5种方法在FLMS数据集的结果对比3.2.2 效率对比本文比较了VFN[5], VEN[7], A2-RL[6], VPN[7], GAIC[8], LVRN[9]这6种方法的效率, 如表3所示. 本文方法虽然在效率上与部分算法相比没有优势, 但是能够取得更好的效果, 并且已经达到了实时的速度. 本文将把效率优化作为未来的工作之一.3.3消融实验为了验证本文所提模型中各个模块的有效性, 本文在所提模型的基础上进行了消融实验.752计算机辅助设计与图形学学报 第33卷图5 6种方法在FCDB 数据集的结果对比表3 不同方法效率对比方法每秒平均帧数(↑)GAIC [8]125.0 LVRN [9] 125.0VPN [7] 75.0VEN [7] 0.2A2-RL [6]4.1 VFN [5]0.5本文 24.0为了验证分数回归模块的有效性, 本文设置SD 0λ=并训练网络, 得到Ours_w/o_SD, 结果如表4的第1行所示. 该结果表明本文的分数回归模块能够较好地回归得到不同构图裁剪的得分, 帮助网络找到最优的构图裁剪.为了验证本文提出的包围盒回归功能的有效性, 本文实验了将包围盒回归模块的输出结果固定时网络的效果. 本文分别将包围盒回归模块的输出固定为局部裁剪集回归范围内的最大裁剪(本文_big)、中等裁剪(本文_middle)和最小裁剪(本文_small), 并保持特征提取模块和分数回归模块的参数不变. 表4的后4行展示了实验的结果, 结果表明本文所提出包围盒回归的概念确实改进了网络的性能, 模型能够回归得到更多样且质量更高的构图包围盒, 算法性能不再受到预制包围盒的约束.表4 本文方法在FCDB 数据集上消融实验结果方法 IoU (↑) Disp (↓) 本文_w/o_SD 0.347 1 0.189 0 本文_small 0.554 4 0.175 4 本文_middle 0.611 6 0.131 6 本文_big 0.677 0 0.092 5 本文0.687 8 0.0802 注: 加粗表示最优指标.第5期杨国烨, 等: 基于包围盒回归的图像构图推荐 753图6展示了本文方法的部分输出结果, 对于相邻的一对图像, 左图为输入图像, 其中的红框为本文方法回归得到的构图包围盒; 右图为将输入图像按照该构图包围盒裁剪得到的结果.图6 本文方法结果示例4结语本文弥补了已有工作中网络性能受制于枚举或预制包围盒的缺陷, 通过消融实验证明了本文所提包围盒回归概念的重要性, 并且通过与已有工作在多个公开数据集上的对比实验, 证明了本文方法在图像构图推荐任务中达到了目前最好的效果.在实验中注意到现有的工作对于多个主体图像效果较差, 较难对于每个主体都得到较好的结果. 此外, 现有数据集的评价指标对于多主体图像回归结果的评价也不够客观, 可能出现算法结果构图优秀但是得分较低的情况. 基于此, 未来将考虑在图像构图推荐任务中增加对主体因素的考虑,并构建更加客观的数据集及评价指标.参考文献(References):[1] Ke Y, Tang X O, Jing F. The design of high-level features forphoto quality assessment[C] //Proceedings of the IEEE Con-ference on Computer Vision and Pattern Recognition. Los Ala-mitos: IEEE Computer Society, 2006: 419-426[2] Datta R, Joshi D, Li J, et al. Studying aesthetics in photo-graphic images using a computational approach[C]//Proceedings of European Conference on Computer Vision.Heidelberg: Springer, 2006: 288-301[3] Luo W, Wang X G, Tang X O. Content-based photo quality as-sessment[C] //Proceedings of the IEEE Conference on Com-puter Vision and Pattern Recognition. Los Alamitos: IEEEComputer Society Press, 2011: 2206-2213[4] Dhar S, Ordonez V, Berg T L. High level describable attributesfor predicting aesthetics and interestingness[C] //Proceedingsof the IEEE Conference on Computer Vision and Pattern Rec-ognition. Los Alamitos: IEEE Computer Society Press, 2011:1657-1664[5] Chen Y L, Klopp J, Sun M, et al. Learning to compose withprofessional photographs on the web[C] //Proceedings of the25th ACM International Conference on Multimedia. New York:The Association for Computing Machinery, 2017: 37-45[6] Li D B, Wu H K, Zhang J G, et al. A2-RL: aesthetics aware re-inforcement learning for image cropping[C] //Proceedings ofthe IEEE Conference on Computer Vision and Pattern Recog-nition. Los Alamitos: IEEE Computer Society Press, 2018:8193-8201[7] Wei Z J, Zhang J M, Shen X H, et al. Good view hunting:learning photo composition from dense view pairs[C] //Pro-ceedings of the IEEE Conference on Computer Vision and Pat-tern Recognition. Los Alamitos: IEEE Computer Society Press,2018: 5437-5446[8] Zeng H, Li L D, Cao Z S, et al. Reliable and efficient imagecropping: a grid anchor based approach[C] //Proceedings of theIEEE Conference on Computer Vision and Pattern Recognition.Los Alamitos: IEEE Computer Society Press, 2019: 5949-5957[9] Lu W R, Xing X F, Cai B L, et al. Listwise view ranking forimage cropping[J]. IEEE Access, 2019, 7: 91904-91911[10] Fang C, Lin Z, Mech R, et al. Automatic image cropping usingvisual composition, boundary simplicity and content preserva-tion models[C] //Proceedings of the 22nd ACM InternationalConference on Multimedia. New York: The Association forComputing Machinery, 2014: 1105-1108[11] Chen Y L, Huang T W, Chang K H, et al. Quantitative analysisof automatic image cropping algorithms: a dataset and com-parative study[C] //Proceedings of the IEEE Winter Conferenceon Applications of Computer Vision. Los Alamitos: IEEE Com-puter Society Press, 2017: 226-234[12] Zhang F L, Wang M, Hu S M. Aesthetic image enhancement bydependence-aware object recomposition[J]. IEEE Transactionson Multimedia, 2013, 15(7): 1480-1490[13] Liang Y, Wang X T, Zhang S H, et al. PhotoRecomposer: in-teractive photo recomposition by cropping[J]. IEEE Transac-tions on Visualization and Computer Graphics, 2017, 24(10):2728-2742[14] Marchesotti L, Cifarelli C, Csurka G. A framework for visualsaliency detection with applications to image thumbnailing[C]//Proceedings of the 12th IEEE International Conference onComputer Vision. Los Alamitos: IEEE Computer Society Press,2009: 2232-2239[15] Stentiford F. Attention based auto image cropping[C]//Proceedings of the 5th International Conference on ComputerVision Systems. Los Alamitos: IEEE Computer Society Press,。
圆盘自同构迭代的零点序列与blaschke乘积
圆盘自同构迭代的零点序列与blaschke乘积圆盘自同构迭代是一种用来求解欧几里得型不等式的方法。
在这种方法中,我们将不等式中的复数表示成圆盘坐标的形式,并对圆盘坐标进行迭代计算。
圆盘自同构迭代的零点序列是指在迭代过程中,所得到的圆盘坐标的模长为0 的数的序列。
这些数称为零点。
Blaschke 乘积是一种复数函数,可以用来表示一个复数的点集。
这个点集可以是一个圆盘,也可以是一个复平面内的任意点集。
Blaschke 乘积的形式如下:$$B(z) = \prod_{k=1}^n \frac{|z_k|}{z_k} \frac{z_k - z}{1 -\overline{z_k}z}$$其中,$z_k$ 是点集中的第$k$ 个点,$\overline{z_k}$ 表示$z_k$ 的共轭复数。
Blaschke 乘积与圆盘自同构迭代的零点序列之间的关系是,如果将圆盘自同构迭代的零点序列作为Blaschke 乘积中的点集,那么得到的Blaschke 乘积就是一个圆盘自同构函数。
圆盘自同构函数是一种特殊的复数函数,它可以在复平面内的某个区域内取值,并且在该区域内满足欧几里得型不等式。
通过圆盘自同构函数可以用来解决复数不等式的求解问题。
例如,对于欧几里得型不等式:$$|z - w| \leq 1$$我们可以将不等式中的复数$z$ 和$w$ 表示成圆盘坐标的形式,并使用圆盘自同构迭代求解。
在迭代过程中,如果出现了$|z| = 0$ 或$|w| = 0$ 的情况,就说明不等式有解。
此时,我们可以通过计算圆盘自同构函数的值,来求解不等式的解。
圆盘自同构函数的另一个重要性质是,它可以用来求解欧几里得型不等式的最小解和最大解。
通过圆盘自同构函数的值,我们可以得到欧几里得型不等式的最小解和最大解。
cart 模型产生的树结构简洁明了,便于理解和说明。
cart 模型产生的树结构简洁明了,便于理解和说明。
下载温馨提示:该文档是我店铺精心编制而成,希望大家下载以后,能够帮助大家解决实际的问题。
文档下载后可定制随意修改,请根据实际需要进行相应的调整和使用,谢谢!并且,本店铺为大家提供各种各样类型的实用资料,如教育随笔、日记赏析、句子摘抄、古诗大全、经典美文、话题作文、工作总结、词语解析、文案摘录、其他资料等等,如想了解不同资料格式和写法,敬请关注!Download tips: This document is carefully compiled by the editor. I hope that after you download them, they can help you solve practical problems. The document can be customized and modified after downloading, please adjust and use it according to actual needs, thank you!In addition, our shop provides you with various types of practical materials, such as educational essays, diary appreciation, sentence excerpts, ancient poems, classic articles, topic composition, work summary, word parsing, copy excerpts, other materials and so on, want to know different data formats and writing methods, please pay attention!一、介绍在软件开发中,数据模型的设计是非常重要的环节。
Banach空间几何理论中的局部结构
Banach空间几何理论中的局部结构在数学领域中,Banach空间是一种特殊的向量空间,其中定义了一种距离函数。
Banach空间几何理论研究了这些空间的局部结构,深入探讨了其内部的性质和特征。
本文将探讨Banach空间几何理论中与局部结构相关的几个重要概念和结果。
1. 完备性在Banach空间中,完备性是指每个柯西序列都收敛于该空间中的某个元素。
完备性是Banach空间的一个重要性质,它保证了空间中的极限存在性和一致连续性。
对于局部结构的讨论而言,完备性是一个关键条件,确保了空间内部的连续性。
2. Hilbert空间的局部结构Hilbert空间是一种具有内积的完备的Banach空间。
由于其内积结构,Hilbert空间具有较强的几何性质,特别是正交性。
正交性使得我们能够定义垂直、平行等几何概念,并对向量进行投影和分解。
Hilbert 空间的局部结构表现为其内部的几何特征,使得我们能够更加深入地理解和研究空间的性质。
3. Banach流形Banach流形是指局部同胚于Banach空间的特殊集合。
它们是Banach空间的局部结构的一种抽象化表示。
Banach流形的研究对于理解Banach空间之间的映射、高阶导数和曲率等概念非常重要。
通过将Banach空间视为Banach流形,我们可以将其局部结构简化为流形上的切空间和切向量等概念。
4. 泛函分析中的线性算子线性算子是Banach空间中的一个重要研究对象。
它们描述了空间之间的映射关系,并涉及到局部结构的变换和变形。
泛函分析中的线性算子研究了线性算子的性质、迹、核和像等,这些结果对于揭示Banach空间的局部结构提供了重要线索。
5. 极值问题和最优控制极值问题和最优控制是Banach空间几何理论中的热门研究方向之一。
这些问题涉及到在给定约束条件下寻找能满足某种最优条件的函数或曲线。
通过研究极值问题和最优控制,我们可以更好地了解Banach空间的局部结构和优化性质,以及在实际问题中的应用。
树枝状树木的电缆和隔室模型
树枝状树木的电缆和隔室模型IDAN SEGEV5.1引言在前一章中,我们使用单室模型来研究激活电压激活通道的机制,这些通道产生神经元放电。
接下来,我们需要了解神经元的输入如何影响包含这些通道的体细胞和其他区域的潜力。
以下章节讨论神经元对突触输入产生突触后电位(PSP)的反应。
在本章中,我们专注于通过树突树对PSP的传播进行建模。
树枝状结构是非常精致和独特的结构。
它们是大脑表面积和体积中最大的组分,它们的特定形态用于将神经元分类为金字塔形,浦肯野,无长突,星状等(图5.1)。
但最有意义的是,大多数突触信息被传递到树突树上,并且在那里处理这些信息。
实际上,树突是大脑的基本计算设备。
典型的树突树接收分布在树突表面上的大约一万个突触输入。
当激活时,这些输入中的每一个对突触后膜处的特定离子产生局部电导变化,随后在突触后膜的两侧之间流动相应的离子电流。
结果,产生膜电位的局部变化,然后沿树枝状分支扩散。
这种扩散如何取决于其形态(分支模式)树和膜和细胞质的电性质?这个问题是一个基本问题;它的答案将提供对分布在树突树上的各种突触输入如何在时间和空间上相互作用以确定神经元的输入-输出特性以及因此它们对神经元网络的计算能力的影响的理解。
他们构成了树枝状晶体的电缆理论由W.Rall于1959年开发,正是为此目的。
图5.1树突具有独特的形状,用于将神经元表征为类型。
(A)豚鼠的小脑浦肯野细胞(由Moshe Rapp重建),(B)来自猫脊髓的a-运动神经元(由Robert Burke重建),(C)来自大鼠的Neostriatal多刺神经元(Wilson 1992),(D)蝗虫的无轴中间神经元(由Giles Laurent重建)。
在许多神经元类型中,来自给定源的突触输入优先映射到树突树的特定区域。
例如,在浦肯野细胞中,一个兴奋性输入来自大量突触(超过100,000)特异性接触细小三级分支上的刺,而另一个兴奋性输入来自接触厚(光滑)树突的攀爬纤维。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
R1
R2
R3
a
c d
b
B
R1
R2
R4
a
c
d
b
R3
R1R3
R2
a
c
d
b
R4
1e-061e-05
0.0001
0.001
0.01
0.1
110
01234B o
x /
P i
e -S l
i
c e
A
v e
r a g e
V
o l
u
m
e Level in Hierarchy Axis-Parallel Box Maximum Principal Component Box Minimum Principal Component Box
All Principal Components Box
Maximum Principal Component Pie Slice Minimum Principal Component Pie Slice
0.111001234B o x /P i e -S l i c e A v e r a g e S u r f a c e A r e a Level in Hierarchy Axis-Parallel Box Maximum Principal Component Box Minimum Principal Component Box All Principal Components Box Maximum Principal Component Pie Slice Minimum Principal Component Pie Slice 1e-061e-05
0.00010.001
0.010.1
01234B
o
x /
P i
e -
S l
i
c e
A v e
r a
g e
V o l
u
m
e
Level in Hierarchy Axis-Parallel Box Maximum Principal Component Box Minimum Principal Component Box All Principal Components Box
Maximum Principal Component Pie Slice Minimum Principal Component Pie Slice 0.010.101234
B o x /P i e -S l i c e A v e r a g e S u r f a c e A r e a Level in Hierarchy Axis-Parallel Box Maximum Principal Component Box Minimum Principal Component Box All Principal Components Box Maximum Principal Component Pie Slice Minimum Principal Component Pie Slice
1e-050.0001
0.0010.01
0.11
012345B
o
x /
P i
e -S
l
i
c e
A
v e
r a
g e
V
o l
u
m
e
Level in Hierarchy Axis-Parallel Box Maximum Principal Component Box Minimum Principal Component Box All Principal Components Box
Maximum Principal Component Pie Slice Minimum Principal Component Pie Slice 0.1110012345B o x /P i e -S l i c e A v e r a g e S u r f a c e A r e a Level in Hierarchy Axis-Parallel Box Maximum Principal Component Box Minimum Principal Component Box All Principal Components Box Maximum Principal Component Pie Slice Minimum Principal Component Pie Slice 1e-061e-05
0.0001
0.001
0.01
0.1
110
0123B o
x /
P i
e -
S l
i
c e
A v e
r a g e
V o l
u
m
e Level in Hierarchy Axis-Parallel Box Maximum Principal Component Box Minimum Principal Component Box
All Principal Components Box Maximum Principal Component Pie Slice Minimum Principal Component Pie Slice
0.110123B o x /P i e -S l i c e A v e r a g e S u r f a c e A r e a Level in Hierarchy Axis-Parallel Box Maximum Principal Component Box Minimum Principal Component Box All Principal Components Box Maximum Principal Component Pie Slice Minimum Principal Component Pie Slice 1e-061e-05
0.0001
0.001
0.01
0.1
1
10100
01234B
o
x
/
P i
e -S
l
i
c
e
A v
e
r
a
g e
V o l
u
m
e
Level in Hierarchy Axis-Parallel Box
Maximum Principal Component Box Minimum Principal Component Box
All Principal Components Box Maximum Principal Component Pie Slice Minimum Principal Component Pie Slice
0.010.111001234
B o x /P i e -S l i c e A v e r a g e S u r f a c e A r e a Level in Hierarchy Axis-Parallel Box Maximum Principal Component Box Minimum Principal Component Box All Principal Components Box Maximum Principal Component Pie Slice Minimum Principal Component Pie Slice。