多Kinect实时室内动态场景三维重建_邓念晨
基于Kinect的智能家居系统
基于Kinect的智能家居系统作者：郭哲陈培涛胡孟凯薛媛博韩先锋来源：《现代电子技术》2016年第18期摘要：针对传统基于物联网技术的智能家居系统用户参与感不强、无法进行自定义手势操控等问题，设计一套基于Kinect的智能家庭管理系统。
通过深度传感器得到彩色数据流、深度数据流以及骨骼数据流，从而获取人体的动作轨迹，并自定义手势操控方式来实现家居的智能控制。
由于深度数据对光照和背景干扰等因素有较强的鲁棒性，提高了手势及轨迹识别的准确性和可靠性。
在明暗两种光照条件下，对该文定义的4种手臂姿势、3种动作任务和5种微小手势的识别实验表明，该文设计的系统能够满足智能家居的基本需求。
关键词： Kinect；深度传感器；手势识别；智能家居系统中图分类号： TN915⁃34； TP391 文献标识码： A 文章编号： 1004⁃373X（2016）18⁃0149⁃04Abstract： Since the traditional smart home system based on Internet of Things technology has the poor user participation，and can’t perform the user⁃defined gesture control， a smart home management system based on Kinect was designed. The color data flow， depth data flow and skeleton data flow are got by means of the depth transducer， so as to obtain the movement track of human behavior. The gesture control pattern is self⁃defined to realize the home smart control. The depth data has strong robustness for light and background disturbance， which can improve the accuracy and reliability of gesture and track recognition. The defined four arm gestures， three movement missions and five tiny hand gestures were recognized in the experiments at the bright and dark lighting conditions. The results show that the designed system can satisfy the basic demand of smart home.Keywords： Kinect； depth sensor； gesture recognition； smart home system0 引言自21世紀初，智能家居在欧美国家发展迅速，而在中国，智能家居尚处于萌芽期，目前仍处于基本模型的探索阶段[1]。
基于Kinect的实时稳定的三维多手指跟踪算法
（ Ｓ ｔ ａ ｔ ｅ Ｋｅ ｙ Ｌ ａ ｂ ｏ ｒ ａ ｔ ｏ ｒ ｙ ｏ ｆ Ｃ ＡＤ ＆ Ｃ Ｇ．Ｚ ｈ ￣ｉ ａ ｎ ｇ Ｕｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ．Ｈａ ｎ ｇ ｚ ｈ ｏ ｕ ３ １ ０ ０ ５ ８ ）
Ｄｅ ｃ ． ２Ｏ１ ３
基 于 Ｋｉ ｎ ｅ ｃ ｔ 的 实 时稳 定 的 三维 多手指 跟踪 算 法
晏 浩 ” ， 张明敏” ， 童 晶 ∞ ， 潘志庚ｈ 。
１ ’ （ 浙江大学 Ｃ ＡＤ ＆ Ｃ Ｇ国家重点实验室 杭 州 ３ １ ０ ０ ５ ８ ）
。 （ 杭州师范大学数字媒体与人机交互研究中心
ｍｅ ｔ ｈ ｏ ｄ ｂ ａ ｓ ｅ ｄ ｏ ｎ ｐ ｉ ｘ ｅ ｌ ｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｃ ａ ｔ ｉ ｏ ｎ ｔ ｏ ｇ ｅ ｔ ｔ ｈ ｅ ２ Ｄ ｆ ｉ ｎ ｇ ｅ ｒ ｔ ｉ ｐ ｓ ．Ｆ ｉ ｎ ａ ｌ ｌ ｙ ， ｗｅ ｓ ａ ｍｐ ｌ ｅ ｏ ｎ ｔ ｈ ｅ ｄ ｅ ｐ ｔ ｈ ｍａ ｐ ａ ｒ ｏ ｕ ｎ ｄ ｔ ｈ ｅ ｄ ｅ ｔ ｅ ｃ ｔ ｅ ｄ ｆ ｉ ｎ ｇ ｅ ｒ ｔ ｉ ｐ ｔ ｏ ｇ ｅ ｔ ｔ ｈ ｅ Ｚ－ ｖ ａ ｌ ｕ ｅ ｏ ｆ ｔ ｈ ｅ ｆ ｉ ｎ ｇ ｅ ｒ ｔ ｉ ｐ ｓ ａ ｎ ｄ ｔ ｈ ｅ ｎ ｃ ｏ ｍｂ ｉ ｎ ｅ ｔ ｈ ｅ Ｋａ ｌ ｍａ ｎ ｆ ｉ ｌ ｔ ｅ ｒ ａ ｎ ｄ ｔ ｈ ｅ ｃ ｏ ｎ ｔ ｉ ｎ ｕ ｉ ｔ ｙ ｂ ｅ ｔ ｗｅ ｅ ｎ ｆ ｒ ａ ｍｅ ｓ ｔ ｏ ｔ ｒ ａ ｃ ｋ ｔ ｈ ｅ ３ Ｄ ｐ ｏ ｓ ｉ ｔ ｉ ｏ ｎ ｏ ｆ ｆ ｉ ｎ ｇ ｅ ｒ ｔ ｉ ｐ ｓ ． Ｔｈ ｅ ｆ ｉ ｎ ｇ ｅ ｒ ｔ ｉ ｐ ｄ ｅ ｔ ｅ ｃ ｔ ｉ ｏ ｎ
基于kinect传感器的物体三维重建
基于kinect传感器的物体三维重建郭连朋;陈向宁;徐万朋;刘田间【期刊名称】《四川兵工学报》【年(卷),期】2014(000)011【摘要】随着计算机视觉的发展及深度传感器的出现，基于kinect传感器的物体三维重建技术得到了广泛的研究。
针对现有的基于kinect传感器的物体重建算法需要将待重建物体置于转台并随转台转动的局限性，提出了一种通用的基于kinect传感器获取的物体彩色和深度图像完成物体三维重建的方法，对深度图像进行预处理以平滑噪声并获取三维点云，提取彩色图像匹配点并根据彩色图像特征点与三维点云之间的关系得到三维特征点，并通过SVD方法完成点云初始配准，然后利用改进的ICP算法完成点云的精确配准，得到物体表面的三维点云，重建出物体的三维模型。
实验结果表明，该方法能有效去除深度图像的噪声，并对各个视角下的点云数据进行精确配准，完成物体的三维重建并得到较好的重建效果。
【总页数】5页(P119-123)【作者】郭连朋;陈向宁;徐万朋;刘田间【作者单位】中国人民解放军装备学院，北京101400;中国人民解放军装备学院，北京 101400;国家遥感中心航空遥感一部，北京 100076;中国人民解放军装备学院，北京 101400【正文语种】中文【中图分类】TP391.4【相关文献】1.基于Kinect传感器的三维重建算法研究 [J], 李秦;夏选太2.深度学习在基于单幅图像的物体三维重建中的应用 [J], 陈加;张玉麒;宋鹏;魏艳涛;王煜3.基于Kinect传感器多深度图像融合的物体三维重建 [J], 郭连朋;陈向宁;刘彬;刘田间4.基于单目视觉的非刚性物体动态三维重建综述 [J], 施云飞; 张元月; 许安宁; 徐柳5.基于KLT多视图特征跟踪的物体三维重建 [J], 吴正斌;彭业萍;曹广忠;曹树鹏因版权原因，仅展示原文概要，查看原文内容请购买。
室内实景三维重建技术综述
2097-3012(2024)01-0001-10 Journal of Spatio-temporal Information 时空信息学报收稿日期: 2023-11-15；修订日期: 2024-02-10基金项目: 国家自然科学基金项目（42371453，42201486）作者简介: 康志忠，研究方向为激光雷达技术、三维建模及月球与行星遥感。
E-mail:***************.cn 通信作者: 杨俊涛，研究方向为激光雷达语义理解与植物表型监测。
E-mail:****************.cn室内实景三维重建技术综述康志忠1，杨俊涛21. 中国地质大学（北京） 土地科学技术学院，北京 100083；2. 山东科技大学 测绘与空间信息学院，青岛 266590摘 要：构建语义丰富、几何精确且拓扑完备的室内三维模型是实景三维中国建设中一项富有挑战性的任务，在室内导航与位置服务、虚拟现实、智能家居等领域都有重要的应用价值。
室内空间结构布局复杂、实体要素类型多样及杂乱遮挡等因素给室内实景三维重建带来诸多挑战。
近些年，室内实景三维重建受到广泛关注，然而关于现有方法的系统性总结仍较为欠缺。
本文对室内实景三维重建最新技术的研究进展进行整理和归纳。
首先，简要总结当前主流的室内空间三维数据采集手段；其次，从室内实景三维模型构建过程中涉及的关键环节出发，从实体要素语义识别和分类、实体要素几何模型生成、空间拓扑特征组织与表达方面对现有方法及其优缺点进行综述；最后，对室内实景三维重建相关研究现存的技术挑战进行分析总结，并对未来研究趋势进行展望。
关键词：室内实景三维；数据配准；实体要素分类；空间拓扑模型；实体要素几何模型引用格式：康志忠, 杨俊涛. 2024. 室内实景三维重建技术综述. 时空信息学报, 31(1): 1-10Kang Z Z, Yang J T. 2024. Review of indoor real scene 3D reconstruction technology. Journal of Spatio-temporal Information, 31(1): 1-10, doi: 10.20117/j.jsti.2024010011 引 言由于城镇化的快速推进，商业中心、交通枢纽、停车场等大型公共场所空间结构日益复杂，随之而来的城市建筑信息更新也越来越快，传统的二维建筑数据已逐渐无法满足人们对建筑分析、管理及应用的需求（Kang 等，2020）。
基于Kinect的室内场景三维重建共3篇
基于Kinect的室内场景三维重建共3篇基于Kinect的室内场景三维重建1随着科技的不断发展，人工智能、计算机视觉等领域正在逐步改变人们的生活方式和工作方式。
在这些技术中，Kinect作为一种能够实现深度感知、人体识别等功能的传感器，其应用领域也越来越广泛。
其中，基于Kinect的室内场景三维重建技术，成为了近年来备受关注的研究方向之一。
一、Kinect技术概述Kinect是由微软公司开发的一个结合了摄像头、深度感知器和麦克风的设备，通过人体轮廓的捕捉和分析，实现人体动作捕捉等各种应用。
Kinect可以通过红外光点的反射、深度感应的计算等技术，将人体的各种动作准确地捕捉到计算机中，并将其转化为计算机能够识别和处理的数据。
二、室内场景三维重建技术室内场景三维重建技术利用计算机视觉技术和三维重建算法，将室内场景或对象的图像和数据转化为三维建模，进而实现对室内场景或对象的快速、精确的重建、分析和数字化。
基于Kinect技术的室内场景三维重建技术，利用Kinect设备可以实时获取场景中的深度图像等数据，并通过循环设备测距算法将这些数据转换为三维坐标信息。
然后，根据这些坐标信息，可通过三维重建算法，对室内场景进行建模和重建。
三、基于Kinect的室内场景三维重建的应用1. 建筑物侦查利用Kinect设备，可快速捕捉建筑物内部空间的三维模型信息，对现场进行快速、准确的测量和分析，为建筑物改建、翻新和维护提供重要的数据支持。
2. 教育仿真基于Kinect的室内场景三维重建技术，可用于创建虚拟实验室、仿真实验场景、虚拟教学交互等，为学生提供更加生动、直观、互动的学习体验。
3. 游戏开发基于Kinect的室内场景三维重建技术，可用于游戏场景的建模与重建，在游戏中创造更加真实、生动的虚拟世界，提高玩家的游戏体验。
四、基于Kinect的室内场景三维重建技术存在的问题及解决方案1. 对环境的要求高Kinect设备对环境要求较高，对灯光、噪声、阴影等都有严格的限制。
【CN110047144A】一种基于Kinectv2的完整物体实时三维重建方法【专利】
(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201910257175.3(22)申请日 2019.04.01(71)申请人 西安电子科技大学地址 710071 陕西省西安市太白南路2号(72)发明人 卢朝阳 郑熙映 (74)专利代理机构 郑州芝麻知识产权代理事务所(普通合伙) 41173代理人 董晓勇(51)Int.Cl.G06T 17/20(2006.01)(54)发明名称一种基于Kinectv2的完整物体实时三维重建方法(57)摘要本发明涉及一种基于Kinectv2的完整物体实时三维重建方法，包括数据采集→深度补全→点云处理→ICP点云配准→点云融合→曲面重建。
本发明的有益效果是：该基于Kinect2.0的物体完整实时三维重建方法通过数据采集、深度补全、点云处理、ICP点云配准、点云融合及曲面重建等步骤的共同作用，使得该方法对物体完整实时三维重建的效果提升，替代传统的三维重建一般使用多张照片、单目或双目相机进行深度获取，这个过程计算量大，在实时性和精度方面很难同时保证，而专业的高精度三维扫描设备价格过高，使得三维重建技术的应用和普及度存在限制的缺陷。
权利要求书2页 说明书11页 附图4页CN 110047144 A 2019.07.23C N 110047144A1.一种基于Kinect2.0的物体完整实时三维重建方法，其特征在于，包括数据采集→深度补全→点云处理→ICP点云配准→点云融合→曲面重建。
2.根据权利要求1所述的一种基于Kinect2.0的物体完整实时三维重建方法，其特征在于：所述基于Kinect2.0的物体完整实时三维重建方法如下：(1)数据采集：通过Kinect2.0获取深度图像和彩色图像数据，对获取的深度图像进行噪声预处理，而后将彩色图与降噪后的深度图进行对齐，将结果输入进深度补全网络中。
(2)深度补全：在Torch框架中将彩色图与深度图放入设计好的深度补全网络中，利用彩色图的信息对深度图缺失部分进行预测，并将结合原始深度图进行全局优化，得到补全后深度图后通过相机内参矩阵将其转化为点云数据。
kinectfusion算法详解
kinectfusion算法详解KinectFusion算法是一种利用微软Kinect传感器进行三维重建的技术。
它能够实时地将物体或环境的三维形状转化为点云数据，从而实现对实时场景的三维建模。
本文将对KinectFusion算法进行详细解析，包括算法原理、实现步骤以及应用场景等方面。
我们来看一下KinectFusion算法的原理。
该算法主要依赖于Kinect传感器提供的深度图像和彩色图像。
深度图像是通过红外光和红外摄像头测量物体与Kinect传感器之间的距离而得到的。
而彩色图像则是通过普通的RGB摄像头获取的。
基于这两个输入，KinectFusion算法能够实时地生成环境中物体的三维模型。
KinectFusion算法的实现步骤如下：1. 初始化：首先，需要将深度图像和彩色图像进行配准，以保证它们的空间对齐。
这一步骤通常需要使用传感器提供的内置标定参数。
2. 预处理：在进行三维重建之前，需要对深度图像进行预处理。
这包括去除噪声、填充空洞等操作，以提高后续处理的准确性和稳定性。
3. 三维重建：在预处理完成后，可以开始进行三维重建。
首先，需要根据深度图像和内置标定参数计算相机的内外参数。
然后，将深度图像转化为点云数据，并将其与彩色图像进行配准。
最后，利用体素格网（Voxel Grid）等方法将点云数据进行三维重建，生成物体的三维模型。
4. 实时更新：一旦生成了初始的三维模型，KinectFusion算法可以实时地将新的深度图像与已有的模型进行融合。
这样，即使物体在移动或者场景发生变化，也能够及时地更新模型，保持模型的准确性和完整性。
KinectFusion算法在虚拟现实、增强现实等领域具有广泛的应用。
例如，在虚拟现实游戏中，可以利用该算法实时地将玩家的动作转化为三维模型，实现身临其境的游戏体验。
在医学领域，可以利用该算法进行手术模拟和病灶分析等工作。
此外，KinectFusion算法还可以应用于室内导航、机器人感知等领域，为相关应用提供三维环境模型。
基于多Kinect的物体三维点云数据重建技术研究
基于多Kinect的物体三维点云数据重建技术研究Keywords Kinect, Point Clouds Registration, 3D Scanning, Surface Reconstruction目录1绪论 (1)1.1课题研究背景及意义11.2国内外研究现状11.3本文主要工作和章节安排32多台Kinect深度数据预处理..52.1OPENCV简介 (5)2.2数据采集52.3背景移除72.4双边滤波降噪73多Kinct三维点云处理..103.1OSG平台简介.103.2初始拼接..113.3基于ICP算法的点云拼接..114面向3D打印机的三维模型优化..134.1点云数据三角化..134.2点云格网空洞修补..154.3三维模型表面重建..175实现成果与分析.20结论241总结242展望24致谢25参考文献..261 绪论1.1 课题研究背景及意义随着当今数字化技术水平的飞速发展，人们的生活方式和制造业生产流程出现了巨大变化。
由于各种三维扫描设备的普及，三维数字化技术也渗入了生产生活中的多种领域，如医药工业的器械生产、航天制造中的零部件生产、军事中地形模拟乃至日常生活中的立体电影、电子游戏场景等娱乐设备。
如今三维激光扫描设备不仅在精度、扫描速度和平民化方面得到有了巨大突破[1]，人们对于扫描对象数据采集速度和三维模型精度要求也在逐渐提高，因此三维点云数据的处理问题也逐渐成为了研究关注的重心和难点。
对于传统的三维扫描设备，例如三维激光扫描仪，虽然能获得精确的物体三维信息，但是由于它昂贵的价格和复杂的操作，一般人很难利用它来进行人体三维重构。
而近年来兴起的深度相机[2]引起了的关注量也在逐年上升，相比传统的三维扫描设备，深度相机价格低廉（例如微软的 Kinect 摄像机约 600 人民币），而且能方便、快速地获取物体表面的彩色和深度信息。
经过研究，在现实三维扫描中，因为光是通过直线传播的，所以三维激光扫描设备在固定视角下对于某些具有复杂表面或奇异形状的实物的经常会出现扫描死角[3]，此时就需要不停转换视角或多次测量才能达到完整模型数据的采集。
基于Kinect传感器的移动机器人室内三维环境创建
基于Kinect传感器的移动机器人室内三维环境创建刘继忠;吴文虎;程承;曾成;王光辉【期刊名称】《广西大学学报（自然科学版）》【年(卷),期】2017(042)006【摘要】针对移动服务机器人需要感知室内工作环境问题,提出了一种基于低成本Kinect传感器的三维环境创建实用方法.机器人在移动过程中,Kinect传感器实时采集RGB信息和深度信息,将RGB图像信息映射到深度图像信息中,采用联合双边滤波对深度图像进行预处理,获得质量比较高的点云数据.对采集到的大量点云数据,采用半径滤波器算法对点云进行精简,剔除离群点,减少点云数量,提高匹配速度.点云配准时,采用NDT算法完成初始配准,从而得到图像帧间粗略的转换关系,并运用GICP 算法对采集的多视角点云数据进行精确配准,得到拼接的三维点云场景.实验结果表明:本文方法具有更好的重建效果和更高的效率,可以应用于室内场景三维环境创建.%In order to solve the problem of indoor environment self-perception for mobile service robots, a new 3D environment reconstruction method based on low cost Kinect sensor is proposed. Kinect sensor can collect RGB information and depth information in course of robot moving. Firstly, the RGB image information is mapped to the depth image information;and then, the Joint Bilateral filtering is used to preprocess the depth image to obtain the high quality point cloud data. Secondly, the radius filtering algorithm is used for the simplification of the collected large point cloud data to eliminate outliers, reduce the number of cloud points, and improve the matching speed. Thirdly, the NDT ( Normal Distributions Transform)algorithm is adopted to complete the initial registration, and the rough transition relation between frames is obtained. Finally, the GICP( Generalized Iterative Closest Point) algorithm is used to register the multi view point cloud data accurately and the reconstruction 3D scenes of indoor environment are obtained. The experimental results show that the proposed method has better reconstruction effect and higher efficiency, and can be applied to 3D scene construction of indoor environment.【总页数】6页(P2134-2139)【作者】刘继忠;吴文虎;程承;曾成;王光辉【作者单位】南昌大学机电学院,江西南昌 330031;南昌大学机电学院,江西南昌330031;南昌大学机电学院,江西南昌 330031;南昌大学机电学院,江西南昌330031;南昌大学机电学院,江西南昌 330031;堪萨斯大学电子工程与计算机科学系,堪萨斯州劳伦斯 66045【正文语种】中文【中图分类】TP391【相关文献】1.一种用于室内环境三维探测和数字化的三维激光测距自主移动机器人 [J], Hamnut Surmann;Andreas Nu chter;Joachim Hertzberg;王其军;周平2.基于Kinect传感器的移动机器人环境检测及行为学习 [J], 段勇;盛栋梁;于霞3.基于Kinect传感器的移动机器人环境检测方法 [J], 张博4.基于深度信息的移动机器人室内环境三维地图创建 [J], 张毅;汪龙峰;余佳航5.基于Kinect传感器的移动机器人室内环境三维地图创建 [J], 杨鸿;钱堃;戴先中;马旭东;房芳因版权原因，仅展示原文概要，查看原文内容请购买。
基于Kinect传感器的移动机器人室内环境三维地图创建
Ａｂｓ ｅ ｒ ｃ ｅ ｐ ｔ ｉ ｏ ｎ ｐ ｒ ｏ ｂ ｌ ｅ ｍ ｏ ｆ ｍｏ ｂ ｉ ｌ ｅ ｓ ｅ ｒ ｖ ｉ ｃ ｅ ｒ ｏ ｂ ｏ ｔ ｓ ｉ ｎ ｕ ｎ ｋ ｎｏ ｗｎ ｉ ｎｄ ｏ ｏ ｒ ｅ ｎｖ ｉ ｒ ｏ ｎ ｍｅ ｎ ｔ ｓ ， ａ ｐ ｒ ａ ｃ ｔ ｉ ｃ ａ ｌ ａ ｐ ｐｒ ｏ ａ ｃ ｈ ｔ ｏ ｂ ｕｉ ｌ ｄ ｉ ｎｇ ３ Ｄ ｍａ ｐｓ ｕｓ ｉ ｎ ｇ ａ ｌ ｏ ｗ— ｃ ｏ ｓ ｔ Ｋｉ ｎ ｅ ｃ ｔ ｓ ｅ ｎ ｓ ｏ ｒ ｉ ｓ ｐ ｒ ｏ ｐ ｏ ｓ ｅ ｄ ．Ｓ ｕｃ ｃ ｅ ｓ ｓ ｉ ｖ ｅ
基础上进一步开发 了移动机器人三维地 图创建应用系统， 实验验证 了该方法的可行性和有效性．
关 键 词 ：Ｋ ｉ ｎ ｅ ｃ ｔ 传 感器 ； Ｓ ＵＲ Ｆ； 地 图创 建 ； 广义 Ｉ Ｃ Ｐ； 移 动机器 人
中图分 类 号 ：Ｔ Ｐ ２ ４ 文献 标志 码 ：Ａ 文章 编 号 ：１ ０ ０ １一 ｏ ５ ０ ５ （ ２ ０ １ ３ ） 增刊（ Ｉ ） ４ ） １ ８ ３ － ０ ５
杨 鸿 钱 垄 戴先 中 马旭东 房 芳
（ 东南大学 自动化学 院 ， 南京 ２ １ ０ ０ ９ ６ ） （ 东南大 学复杂工程系统测量与控制教育部重 点实验室 ， 南京 ２ １ ０ ０ ９ ６ ）
摘要 ：针 对移 动服 务机器 人 在未 知 室 内环境 下 的三 维感 知 问题 ， 提 出 了一 种 基 于低 成 本 Ｋ ｉ ｎ ｅ ｃ ｔ 传 感器 的 三维地 图创 建 实用 方法 ． 对 于机器 人在 运 动过 程 中连 续采 集 的 多帧 Ｒ Ｇ Ｂ— Ｄ信息， 首 先 利用 Ｓ Ｕ Ｒ Ｆ算 子 对 Ｒ ＧＢ 图像 提 取 稳 定 特 征 点 并 进 行 特 征 点 匹配 ， 然 后 结 合 深 度 图像 ， 采 用 Ｒ Ａ ＮＳ Ａ Ｃ算 法 剔 除可能存 在 的误 匹配 点并 完成 初始 配准 ， 从 而估 计 得 到 图像 帧 间粗 略 的相 对 转 移 关 系， 最 后运用 广 义 Ｉ Ｃ Ｐ算法 对采 集 的深度 图像 进 行精 确 配 准 ， 得 到拼 接 的三维 点云 图． 在 此
基于Kinect动作控制的智能家居系统
功 能 视 场
工 作 范 围 彩 色 视 额 流 深 度 视 额 流 主 动 红 ，｝视 额 流 配 准 音 额 捕 捉 接 口 延 迟 倾 斜 马 选
Ｋｉｎｅｃｔ２ ０传 感 器
７０７ｚ￣．平 ６０＇ｒ￣ 直
０ ８ ｍ ．＞ ４ ０ｍ
１９２０ ｘ１０８０ Ｘ１６ ｂｐｐ１６ ９ＹＵＹ２＠ ３０印
一 ８４一 科 学技 术 创新 ２０１９．０３
基于 Ｋｉｎｅｃｔ 动作控制 的智能 家居 系统
刘 冰 周赛 青 邹雪 宇 （东北 石 油 大学 电气信 息 工程 学 院，黑龙江 大庆 １６３３１８）
摘 要 ：体 感识 别模 块接 收 Ｋｉｎｅｃｔ摄 像 头捕 捉 到 的人 体 动作 数据 ，然后 对其 做 出相 应的 解 读 ，并把 控 制指 令 传给 无 线数 据 传
来 越喜 欢便捷 、安全 、舒适 的生活 ，而智 能 家居控 制正 是智 能家 居 更 高的 深度 保 真 和大 幅 改进 的 噪 声基 底，Ｋｉｎｅｅｔ ２．０能够 打 造
的核 心领域 。随 着经 济的发展，人们 对于智能 家居的要求越来越 大， 空前 的 ３Ｄ视觉 效 果 。除 此 之外 ，Ｋｉｎｅｅｔ ２．０还提 供 了脸 部 表情识
输模 块 。无线 数据 传 输模 块会 通过 Ｗ ｉＦｉ网络 向 家居 控 制模 块传 送该指 令 ，家居控 制模 块 在接 收 到控 制指 令后控 制对应 的 家 电改
变状 态。除 此之 外 ，用户 可根据 上位 机 界 面查 看人体 动作 ，根 据下位 机界 面查 看和 控 制 家 电控 制 状 态
５１２ ｘ ４２４ ｘ １６ ｂｐｐ ｌ３一ｂｉｔ ｄｅｐｔｈ
５ｉ２ ｘ ４２４．１１．ｂｉｔ动 态 范 围 彩 色 （－ 椿 度 和 主 动 红 外 ４阵 列 衰 克 风 ４８Ｋ Ｈｚ ａｕｄｉｏ
基于kinect摄像机的多运动目标实时跟踪
基于kinect摄像机的多运动目标实时跟踪WAN Qin;YU Hong-shan;WU Di;LIN Guo-han【摘要】多运动目标跟踪是视频监控中的关键问题,在目标相互运动发生遮挡时,采用二维摄像头监控容易丢失信息而造成跟踪失败.本文采用kinect摄像机获取目标的RGB图像及深度图像,并分别获取基于RGB图像信息的目标颜色模型和基于深度信息的目标三维空间模型,在视频帧间将颜色、空间模型分别匹配得到目标帧间匹配度,通过Mahalanobis距离算法实现多目标匹配,从而得到多目标识别跟踪结果.实验表明,在RGB-D数据集及拍摄的视频序列上均取得了较好的跟踪结果,实现了kinect三维视觉下的实时多目标的跟踪.【期刊名称】《湖南工程学院学报（自然科学版）》【年(卷),期】2018(028)004【总页数】5页(P1-5)【关键词】多运动目标跟踪;三维视觉系统;Kinect摄像机【作者】WAN Qin;YU Hong-shan;WU Di;LIN Guo-han【作者单位】【正文语种】中文【中图分类】TP3911 概述三维视觉系统能提供三维空间的信息，基于三维视觉系统的跟踪可依靠三维信息，建立三维目标模型，从而实现在复杂情况下(如多目标互相遮挡等)的精确跟踪，大幅提高跟踪的准确性，更可应用到交通、机场、银行等安防领域的视觉监控中，如采用三维视频融合的监控系统，集成空间位置信息，可增强位置感知、辅助应急决策等.同时，三维视觉在环境感知方面的显著特性和巨大应用潜力，近年来引起了世界范围企业巨头和研究机构的普遍关注，如微软、Apple、Intel公司均在近年发布了三维视觉传感器；Google公司也开展了基于三维视觉传感器的场景识别，但利用三维视觉系统进行视觉监控还较少，基于三维视觉的复杂多运动目标跟踪研究是一个充满希望和挑战的方向[1-2].基于kinect的三维视觉跟踪处于起步阶段，多是以RGB和深度信息配准得到三维点云[3-5]，在此基础上进行目标识别跟踪，计算复杂度较高[6-7]，还不能完全应用于实时视频监控中的多目标跟踪[8].为解决上述技术问题，本文采用kinect摄像机提供的二维图像和深度图像，无须建立RGB和深度信息相融合的三维点云，提出一种分别建立RGB和三维深度模型的多运动目标跟踪方法，能在监控场景固定的情况下，准确、有效、实时跟踪多目标.首先建立目标三维模型：对检测到的多个连通目标区域，首先分别建立颜色直方图；然后将该区域外接矩形框的长、宽值作为该目标的形状模型；再对目标区域的外接矩形框划分为上、下两部分，并分别对各部分提取中心点在二维图像中的坐标，和与其对应的深度图像的深度值，构成三维坐标信息.再预测下一帧的目标信息：采用匀速运动模型，由当前帧预测下一帧目标外接矩形框上下部分的中心点位置，再根据形状模型的长、宽值，得到目标在下一帧的预测区域的颜色直方图.然后进行帧间匹配，实现实时多目标跟踪.2 目标模型在采用背景减除方法检测出目标前景连通区域后，用外接矩形框标注检测区域.如目标发生遮挡，则检测算法只能检测到由相互遮挡人体构成的前景连通区域.接下来需要对二维检测区域选取特征，并结合深度图像中的深度信息，分别建立RGB外观颜色模型、形状模型及基于深度信息的空间三维模型，将此模型作为跟踪依据在连续视频帧中识别其对应的人体.因此，检测区域的特征选取及建立的三维模型准确与否，直接影响跟踪结果.将目标外观的颜色特征、形状及三维空间特征结合，进行帧间匹配及实现多目标跟踪.(1)颜色模型：对检测到的多个目标区域，首先建立颜色直方图Ht(下标t为当前帧时刻t)，做为该目标的颜色模型；我们选择了与人类视觉特征具有一致性的HSV颜色空间[9].HSV颜色空间定义彩色信号由三种属性构成：颜色(Hue)、饱和度(Saturation)和亮度(Value)，其中亮度又可用L(Lightness)或I(Intensity)表示，相比于RGB颜色空间更符合人类视觉感知特征，特别适合于人类肉眼对颜色的识别，下面给出在HSV空间建立颜色直方图的主要步骤：将目标检测区域中对应的每个前景像素由RGB空间转换到HSV空间，但是由于HSV空间包含H、S、V三个分量，在实时跟踪中需要将HSV三维分量转换为一维标量表示[9]：h=9H+3S+V(1)则可通过上式得到H、S、V三个分量的一维标量表达，得到h为HSV空间颜色直方图，其位数取值为：[1，2，…，72].(2)形状模型：目标形状模型由二维形状模型及三维深度形状模型构成，为了跟踪准确，我们利用目标遮挡前的最近三帧的平均目标外接矩形框的长、宽值构建目标形状模型如下：S(t)=g(t)/w(t)(2)式中，g(t)、w(t)分别表示第t帧时刻目标外接矩形框三帧内的平均长、宽值. (3)三维空间结构模型：将外接矩形框均分为上、下两部分，记录上半部中心点的二维坐标(xt1,yt1)、深度坐标zt1；下半部中心点的二维坐标(xt2,yt2)、深度坐标zt2.以上模型在每一帧得到跟踪结果后进行更新替换.3 预测目标信息建立目标模型后，需要预测目标在下一帧中各模型的信息，从而为后续匹配跟踪提供依据.首先，对于实时视频序列，每两帧时间间隔比较小，可以认为目标在相邻帧间运动变化缓慢，近似为匀速运动，由动力学公式：xt=xt-1+(Δt)vt-1(3)vt=vt-1其中Δt为两帧时间间隔.在此运动模型基础上，预测目标在下一帧的各模型信息：(1)三维空间位置预测：由当前帧中心点1的二维位置(xt1,yt1)、深度坐标zt1和中心点2的二维位置(xt2,yt2)、深度坐标zt2，根据运动学公式，分别得到两个中心点在下一帧的预测位置(xt+1,1，yt+1,1，zt+1,1)、(xt+1,2，yt+1,2，zt+1,2)；(2)外观颜色模型预测：根据当前帧长Lt、宽Wt，预测下一帧外接矩形框长Lt+1、宽Wt+1，根据两个中心点在下一帧的二维位置点(xt+1,1,yt+1,1)、(xt+1,2，yt+1,2)预测下一帧目标外接矩形框，则可得到目标在下一帧的预测颜色直方图Ht+1；同样可得形状模型预测值St+1.4 帧间匹配在得到当前帧目标各模型和其在下一帧的预测值后，进行当前帧目标检测区域各模型和对应的预测信息之间的匹配，从而确定各检测区域对应的跟踪目标，实现多目标实时跟踪.(1)位置匹配：针对目标运动模型，采用Mahalanobis距离得到目标预测值(xt+1,1，yt+1,1，zt+1,1)、(xt+1,2，yt+1,2，zt+1,2)、和当前帧测量值(xt,1，yt,1，zt,1)、(xt,2，yt,2，zt,2)之间的相似度：δ=(z-u)T(Z+U)-1(z-u)(4)其中，z是测量值，Z是测量值的协方差矩阵；u表示预测值，U是预测值的协方差矩阵.δ称为u和z之间的Mahalanobis距离，可将其看成u和z的欧氏距离平方被它们的协方差矩阵之和的倒数加权，可见δ服从自由度为n的卡方(χ2)分布，n即为测量向量的维数(当向量的各分量互相独立)或其协方差矩阵的秩，如果Mahalanobis距离比较小，即：δ≤ε时，那么u和z没有显著差异，认为u、z代表同一特征，互相匹配；否则它们很可能不代表同一特征.通过查χ2分布表，可选取适当的阈值ε，通常设真假设被接受的概率为95%，通过查卡方分布表，可得ε=3.8.根据Mahalanobis距离得到运动模型匹配度为：(5)上式使Mij取值范围在0到1，δij表示当前帧目标i的测量值与上一帧目标j在当前帧的预测值之间的Mahalanobis距离.分别对上一帧和当前帧矩形框两个中心点分别匹配：上一帧的矩形框中心点1(xt,1，yt,1，zt,1)与当前帧矩形框中心点1(xt+1,1，yt+1,1，zt+1,1)之间的Mahalanobis距离M1,上一帧矩形框中心点2(xt,2，yt,2，zt,2)，与当前帧矩形框中心点2(xt+1,2，yt+1,2，zt+1,2)之间的Mahalanobis距离M2：(2)外观颜色匹配：对当前帧目标的颜色直方图Ht,i和预测目标颜色直方图Ht+1,j，每两个颜色直方图计算颜色直方图相似度Lij：,Ht,i}(6)上式i,j表示颜色直方图位数(在一维HSV直方图中，为72位).(3)形状模型匹配：对当前帧目标形状模型St,i、和预测目标形状模型St+1,j求形状模型匹配度：(7)则上一帧和当前帧每两个目标之间的匹配度为：α=(M1+M2+Lij+Sij)/4(8)(4)根据匹配度，确定跟踪结果：首先建立匹配矩阵，行代表当前帧目标，列代表上一帧目标，矩阵元素是各行代表的当前帧目标与各列代表的上一帧目标的匹配度，分为三种情况：(1)如行、列数一致，则跟踪正常，无需改变行列数；(2)如行数少于列数，表明列所对应的上一帧目标发生了在当前帧消失的情况，用0补齐行，使得行、列数相同；(3)如列数少于行数，表明行所对应的当前帧目标是新出现目标，用0补齐列，使得行、列数相同；再求该匹配矩阵的最佳匹配，即为获得匹配矩阵的最大匹配度，用求解指派问题的匈牙利算法计算[10]，得到行、列元素的最大匹配结果，当前帧目标与上一帧目标对应匹配，得到跟踪结果；匹配结果中全为0的行列，则其对应为如上面所列出的目标消失、或目标新出现的跟踪情况.5 实验与结果本文提出的方法在公开的Kinect RGB-D数据集和我们用Kinect拍摄的视频序列上分别进行了测试.实验一是在公开的Kinect RGB-D数据集视频序列上完成，如图1所示，分别是第262、504、540帧原图，图2是目标区域检测图，用蓝色外接矩形框表示目标前景区域；图3对应的是Kinect三维深度图，可获取各像素点在三维空间中的深度值(即z坐标值)，像素的灰色值大小对应像素在空间中距离摄像机的前后距离值. 图4是二维RGB中的预测信息，红、黄、绿色虚线矩形框分别表示上一帧目标在当前帧中的预测位置；图5是三维深度中的预测信息，根据当前帧检测结果和预测信息匹配后得到跟踪结果，如图6所示.实验二是在实验室用kinect拍摄的RGB-D视频序列，采用本文的方法得到如图7所示的跟踪结果.实验采用的计算机处理器为Intel(R) Core(TM)i5-4200U，CPU为1.60 GHz 2.30 GHz,内存8.00 GB，在实验一、二中的运算速度均可达到18帧/s，达到了实时跟踪的处理速度.可见本文提出的方法在Kinect提供的RGB-D视频序列中可有效实现多运动目标实时跟踪.6 总结本文提出了一种基于Kinect提供的RGB-D视频序列中的多运动目标跟踪方法，无须将RGB和深度信息融合，分别针对二维RGB图像和三维深度图像建立目标模型，并预测下一帧中目标信息，和当前帧匹配得到多目标跟踪结果，在公开的数据集及实验室拍摄视频序列上的实验表明，本方法能有效地实现多目标实时跟踪.不仅能应用于大多数Kinect监控场景，还可推广应用于机器人目标识别避障、智能交通等领域，具有较好的应用前景.下一步将继续研究基于Kinect的RGB-D信息的三维目标建模及跟踪方法，扩大视频监控范围，分析复杂情况下的跟踪.参考文献【相关文献】[1] 陈宝权.基于三维视频融合的监控分析系统[C].ITS 2013深圳国际智能交通展览会，2013.5.26-5.28，深圳会展中心.[2] 赵科，余洪山，王耀南，等.基于视觉映射的三维相机信息可视化改善方法[J].电子测量与仪器学报，2012,26(6)：529-534.[3] Jun Liu, Ye Liu, Guyue Zhang, et al. Detecting and Tracking People in Real Time with RGB-D Camera[J]. Pattern Recognition Letters, 2015,53:16-23.[4] Jungong Han, Eric J. Pauwels, Paul M. de Zeeuw, and PeterH.N.de With, Employing a RGB-D Sensor for Real-Time Tracking of Humans Across Multiple Re-Entries in a Smart Environment, IEEE Trans[J]. On Consumer Electronics, 2014,58(2):255-263.[5] Hao Zhang, Christopher Reardon, Lynne E. Parker. Real-time Multiple Human Perception with Color-depth Cameras on a Mobile Robot[J]. IEEE Trans on Cybernetics, 2013,43(5):1429-1440.[6] Zhao Yang, Liu Zicheng, Cheng Hong. RGB-Depth Feature for 3D Human Activity Recognition[J]. China Communications, 2013(7):93-103.[7] Shan Gao, Zhenjun Han, Ce Li, et al. Real-Time Multipedestrian Tracking in Traffic Scenesvia an RGB-D-Based Layered Graph Model[J]. IEEE Trans OnIntelligentTransportation Systems,2015,16(5):2814-2825.[8] 杨晗芳，张国山，王欣博,等.基于Snake算法的深度图像人体目标跟踪[J].天津理工大学学报，2014，30(5): 41-45.[9] 李国辉，柳伟，曹莉华.一种基于颜色特征的图像检索方法[J].中国图象图形学报，1999，4(3):248-251.[10]韩中庚.用“匈牙利算法”求解一类最优化问题[J].信息工程大学学报，2004,35(1)：60-62.。
实时三维重建算法的实现--基于Kinect与单目视觉SLAM的三维重建
实时三维重建算法的实现--基于Kinect与单目视觉SLAM的三维重建夏文玲;顾照鹏;杨唐胜【期刊名称】《计算机工程与应用》【年(卷),期】2014(000)024【摘要】作为计算机视觉技术的一个重要分支，基于单目视觉的三维重建技术以其要求简单、成本低廉、易于实现等优点，得到了越来越多的关注。
在室内环境下就智能机器人的同步定位以及环境地图创建（SLAM）算法展开了研究，引入RGB-D相机Kinect直接获取3D场景的深度信息，实现了一种基于单目视觉SLAM与Kinect的实时三维重建方法。
%As an important branch of the computer vision technology, the 3-D reconstruction techniques based on the Monocular vision get more and more attention, for it’s simple, low cost and easy to implement. This paper launches a study on the algorithm of the SLAM(Simultaneous Localization and Mapping)by introducing the RGB-D camera Kinect to obtain the depth information of the 3D scene. An algorithm of the 3-D reconstruction based on the Kinect and monocular vision SLAM is achieved.【总页数】5页(P199-203)【作者】夏文玲;顾照鹏;杨唐胜【作者单位】湖南大学电气与信息工程学院，长沙 410000;北京大学深圳研究院信息工程学院，广东深圳 518000;北京大学深圳研究院信息工程学院，广东深圳518000【正文语种】中文【中图分类】TP391【相关文献】1.基于Kinect传感器的三维重建算法研究 [J], 李秦;夏选太2.基于Kinect的人体实时三维重建及其应用 [J], 马旋;薛原;杨若瑜3.基于单目视觉SLAM的实时三维场景重建 [J], 孙玉柱;方向忠;卢盼峰4.基于Kinect深度信息的实时三维重建和滤波算法研究 [J], 陈晓明;蒋乐天;应忍冬5.基于Kinect的人体实时三维重建及其应用 [J], 农旭安;吴嘉仪;蔡晓文因版权原因，仅展示原文概要，查看原文内容请购买。
基于Kinect的旋转刚体三维重建方法
基于Kinect的旋转刚体三维重建方法
韦羽棉;尚赵伟
【期刊名称】《计算机与现代化》
【年(卷),期】2014(0)5
【摘要】针对在非匀速非定轴旋转条件下利用Kinect进行刚体三维重建问题,提出一种改进的基于Kinect传感器的旋转刚体三维重建方法.首先利用Kinect采集深度图像,然后用改进的加权ICP(Iterative Closest Point)算法在非匀速非定轴旋转条件下进行配准,再将各点云变换到同一坐标系下,最后根据所得点云生成三维模型表面,通过GPU(Graphic Processing Unit)编程技术来提高计算速度以满足实际需求.实验结果表明:该方法具有重建效果良好的特点.
【总页数】6页(P89-93,98)
【作者】韦羽棉;尚赵伟
【作者单位】重庆大学计算机学院,重庆400030;重庆大学计算机学院,重庆400030
【正文语种】中文
【中图分类】TP391
【相关文献】
1.基于Kinect的建筑物外墙损伤三维重建方法研究与应用 [J], 翟清昊;萧圣达;苏子恒;周宸宇;李苏豪
2.基于旋转变换的平面体轴测草图三维重建方法 [J], 田怀文;郭仕章;杨宁学
3.基于刚体几何不变性的雷达目标运动路径拟合和三维优化重建方法 [J], 张颖康;肖扬;马晓涛
4.基于Kinect的人体三维重建方法 [J], 李翔;李泽丰;李治江
5.基于旋转多视角深度配准的三维重建方法 [J], 李怀泽;沈会良;程岳
因版权原因，仅展示原文概要，查看原文内容请购买。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
： ， 男， 山东潍坊人 ， 作者简介 ： 邓念晨 （ 硕士研究生 ， 研究方向为计算机图形学 ． ９ ９ ０—） Ｅ－ｍ ａ ｉ ｌ ｄ ｅ ｎ ｎ ｉ ａ ｎ ｃ ｈ ｅ ｎ ｔ ｕ． ｅ ｄ ｕ． ｃ ｎ １ ＠ｓ ｇ ｊ ： ， 杨旭波 （ 男， 教授 ， 联系人 ） ａ ｉ ｌ ａ ｎ ｘ ｕ ｂ ｏ ｔ ｕ． ｅ ｄ ｕ． ｃ ｎ Ｅ－ｍ ＠ｓ ｙ ｇ ｊ
层次则完全构建模型网格表面， 不受任何假设的 限 制 ，用 于 对 物 体 或 场 景 精 确 建 模 以 便 重 现
第４ １卷 第４期 ０ １ ５年８月 ２
东华大学学报 （ 自然科学版 ）
Ｊ ＯＵＲ ＮＡ Ｌ Ｏ Ｆ Ｄ ＯＮＧＨＵＡ ＵＮ Ｉ Ｖ Ｅ Ｒ Ｓ Ｉ Ｔ Ｙ（ ＮＡ ＴＵＲ Ａ Ｌ Ｓ Ｃ Ｉ Ｅ Ｎ Ｃ Ｅ）
Ｖ ｏ ｌ ． ４ １，Ｎ ｏ ． ４ ． Ａ ｕ ２ ０ １ ５ ｇ
（ ） ６ ７ １－０ ４ ４ ４ ２ ０ １ ５ ４－０ ４ ４ ８－０ ７ １ ０ 文章编号 ：
， ， ） （ ｃ ｈ ｏ ｏ ｌ ｏ ｆ Ｓ ｏ ｆ ｔ ｗ ａ ｒ ｅ Ｓ ｈ ａ ｎ ｈ ａ ｉ Ｊ ｉ ａ ｏ ｔ ｏ ｎ Ｕ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ Ｓ ｈ ａ ｎ ｈ ａ ｉ ２ ０ ０ ２ ４ ０， Ｃ ｈ ｉ ｎ ａ Ｓ ｇ ｇ ｙ ｇ
：Ｍ Ａ ｂ ｓ ｔ ｒ ａ ｃ ｔ ｕ ｌ ｔ ｉ ｌ ｅ Ｋ ｉ ｎ ｅ ｃ ｔ ｄ ｅ ｖ ｉ ｃ ｅ ｓ ａ ｒ ｅ ｕ ｓ ｅ ｄ ｔ ｏ ｃ ａ ｔ ｕ ｒ ｅ ａ ｓ ｃ ｅ ｎ ｅ ｆ ｒ ｏ ｍ ｄ ｉ ｆ ｆ ｅ ｒ ｅ ｎ ｔ ｖ ｉ ｅ ｗ ｓ ａ ｔ ｔ ｈ ｅ ｓ ａ ｍ ｅ ｔ ｉ ｍ ｅ ． Ｄ ｅ ｔ ｈ ｐ ｐ ｐ ｒ ｏ ｃ ｅ ｓ ｓ ｍ ａ ｉ ｎ ｌ ｉ ｎ ｃ ｌ ｕ ｄ ｅ ｓ ａ ｎ ｄ Ｒ Ｇ Ｂ ｉ ｍ ａ ｅ ｓ ｏ ｆ ｔ ｈ ｅ ｓ ｃ ｅ ｎ ｅ ａ ｒ ｅ ｃ ｏ ｍ ｂ ｉ ｎ ｅ ｄ ｔ ｏ ｍ ｏ ｄ ｅ ｌ ｔ ｈ ｅ ｓ ｃ ｅ ｎ ｅ ． Ｔ ｈ ｅ ｒ ｅ ｃ ｏ ｎ ｓ ｔ ｒ ｕ ｃ ｔ ｉ ｏ ｎ ｐ ｙ ｇ ， ， ｒ ｏ ｃ ｅ ｓ ｓ ｅ ｓ ｒ ｅ ｒ ｏ ｃ ｅ ｓ ｓ ｉ ｎ ｖ ｅ ｒ ｔ ｅ ｘ ｃ ｏ ｎ ｓ ｔ ｒ ｕ ｃ ｔ ｉ ｏ ｎ ｏ ｉ ｎ ｔ ｃ ｌ ｏ ｕ ｄ ｓ ｒ ｅ ｉ ｓ ｔ ｒ ａ ｔ ｉ ｏ ｎ ａ ｎ ｄ ｓ ｕ ｒ ｆ ａ ｃ ｅ ｒ ｅ ｃ ｏ ｎ ｓ ｔ ｒ ｕ ｃ ｔ ｉ ｏ ｎ． Ａ ｌ ｌ ｄ ａ ｔ ａ ｐ ｐ ｐ ｇ ｐ ｇ ａ ｒ ｅ Ｇ Ｐ Ｕ ｉ ｍ ｌ ｅ ｍ ｅ ｎ ｔ ｅ ｄ ｔ ｏ ｓ ｅ ｅ ｄ ｕ ｔ ｈ ｅ ｃ ａ ｌ ｃ ｕ ｌ ａ ｔ ｉ ｎ ．Ｋ ｅ ａ ｌ ｏ ｒ ｉ ｔ ｈ ｍ ｓ ｉ ｍ ｌ ｅ ｍ ｅ ｎ ｔ ｅ ｄ ｉ ｎ ｔ ｈ ｉ ｓ ｓ ｕ ｂ ｅ ｃ ｔ ｉ ｎ ｃ ｌ ｕ ｄ ｅ ｐ ｐ ｐ ｇ ｙ ｇ ｐ ｊ ， ， ｏ ｉ ｎ ｔ ｂ ａ ｓ ｅ ｄ ｏ ｎ Ｇ Ｐ Ｕ ｏ ｃ ｔ ｒ ｅ ｅ ｃ ｏ ｎ ｓ ｔ ｒ ｕ ｃ ｔ ｉ ｏ ｎ ｂ ａ ｓ ｅ ｄ ｏ ｎ Ｇ Ｐ Ｕ ｓ ｕ ｒ ｆ ａ ｃ ｅ ｒ ｅ ｃ ｏ ｎ ｓ ｔ ｒ ｕ ｃ ｔ ｉ ｏ ｎ ｂ ａ ｓ ｅ ｄ ｏ ｎ ｉ ｔ ｅ ｒ ａ ｔ ｉ ｖ ｅ ｃ ｌ ｏ ｓ ｅ ｓ ｔ ｐ ／ ｔ ｈ ｅ ｓ ｉ ｎ ｅ ｄ ｄ ｉ ｓ ｔ ａ ｎ ｃ ｅ ｆ ｕ ｎ ｃ ｔ ｉ ｏ ｎ． Ｅ ｘ ｅ ｒ ｉ ｍ ｅ ｎ ｔ ａ ｌ ｒ ｅ ｓ ｕ ｌ ｔ ｓ ｓ ｈ ｏ ｗ ｔ ｈ ａ ｔ ｔ ｈ ｅ ａ ｌ ｏ ｒ ｉ ｔ ｈ ｍ ｅ ｆ ｆ ｉ ｃ ｉ ｅ ｎ ｃ ｒ ｅ ａ ｃ ｈ ｅ ｓ ８． ７ ４ｆ ｓ ａ ｎ ｄ ｇ ｐ ｇ ｙ ， ｔ ｈ ｅ ｒ ｅ ｓ ｏ ｌ ｕ ｔ ｉ ｏ ｎ ｏ ｆ ｍ ｏ ｄ ｅ ｌ ｓ ｒ ｅ ｃ ｏ ｎ ｓ ｔ ｒ ｕ ｃ ｔ ｅ ｄ ａ ｒ ｅ ａ ｂ ｏ ｕ ｔ ５． ９ ｍｍ．Ｔ ｈ ｅ ｅ ｘ ｅ ｒ ｉ ｍ ｅ ｎ ｔ ａ ｌ ｒ ｅ ｓ ｕ ｌ ｔ ｓ ｒ ｏ ｖ ｅ ｔ ｈ ａ ｔ ｔ ｈ ｅ ｐ ｐ ｔ ｒ ｅ ｃ ｏ ｎ ｓ ｔ ｒ ｕ ｃ ｔ ｉ ｏ ｎ ｒ ｏ ｃ ｅ ｓ ｓ ｉ ｍ ｌ ｅ ｍ ｅ ｎ ｔ ｅ ｄ ｍ ｅ ｅ ｔ ｓ ｔ ｈ ｅ ｒ ｅ ｕ ｉ ｒ ｅ ｍ ｅ ｎ ｔ ｓ ｏ ｆ ｔ ｈ ｅ ｒ ｅ ａ ｌ ｉ ｍ ｅ ｄ ｎ ａ ｍ ｉ ｃ ｓ ｃ ｅ ｎ ｅ ｒ ｅ ｃ ｏ ｎ ｓ ｔ ｒ ｕ ｃ ｔ ｉ ｏ ｎ － ｐ ｐ ｑ ｙ ｅ ｘ ａ ｃ ｔ ｃ ａ ｌ ｃ ｕ ｌ ａ ｔ ｉ ｏ ｎ ａ ｌ ｉ ｃ ａ ｔ ｉ ｏ ｎ． ａ ｎ ｄ ｔ ｈ ｅ ｒ ｅ ｃ ｉ ｓ ｉ ｏ ｎ ｏ ｆ ｒ ｅ ｃ ｏ ｎ ｓ ｔ ｒ ｕ ｃ ｔ ｅ ｄ ｍ ｏ ｄ ｅ ｌ ｓ ｍ ｅ ｅ ｔ ｓ ｔ ｈ ｅ ｎ ｅ ｅ ｄ ｏ ｆ ｎ ｏ ｎ － ｐ ｐ ｐ ： ； ； ； Ｋ ｅ ｗ ｏ ｒ ｄ ｓ ３ Ｄ ｒ ｅ ｃ ｏ ｎ ｓ ｔ ｒ ｕ ｃ ｔ ｉ ｏ ｎ ｉ ｎ ｄ ｏ ｏ ｒ ｄ ｎ ａ ｍ ｉ ｃ ｓ ｃ ｅ ｎ ｅ ｍ ｕ ｌ ｔ ｉ ｌ ｅ Ｋ ｉ ｎ ｅ ｃ ｔ ｄ ｅ ｖ ｉ ｃ ｅ ｓ ｉ ｔ ｅ ｒ ａ ｔ ｉ ｖ ｅ ｃ ｌ ｏ ｓ ｅ ｓ ｔ ｏ ｉ ｎ ｔ ｙ ｐ ｐ ｙ ；Ｍ ｏ ｒ ｅ ｉ ｓ ｔ ｒ ａ ｔ ｉ ｏ ｎ ａ ｒ ｃ ｈ ｉ ｎ Ｃ ｕ ｂ ｅ ｓ ａ ｌ ｒ ｉ ｔ ｈ ｍ ｇ ｇ ｇ
多Ｋ ｉ ｎ ｅ ｃ ｔ实时室内动态场景三维重建
邓念晨 ，杨旭波
（ ） 上海交通大学 软件学院 ， 上海 ２ ０ ０ ２ ４ ０ 摘要 ：采 用 多 个 Ｋ 将它们的深度图和彩色图结合在一起， 通过数 ｉ ｎ ｅ ｃ ｔ从 不 同 角 度 同 时 捕 获 场 景 ， 据预 处 理 、 顶点构建、 点云注册和表面重建等步骤得到场景三维模型． 整个流程均在 Ｇ Ｐ Ｕ 上实现 以加速运算， 实现了基于 Ｇ 基于 Ｇ 基于有向距离函数 Ｐ Ｕ 的迭代最近点算法、 Ｐ Ｕ 的八叉树构建、 ／ ； 重 建 分 辨 率 达 到 约 ５． 的表面重建等关键算法． 试验中， 整 个 算 法 运 行 帧 率 达 到 ８． ７ ４ｆ ｓ ９ ｍｍ． 试验表明， 算法基本满足实 时 动 态 场 景 重 建 的 要 求， 重建模型的精度满足非精确计算类应用的 需求． 迭代最近点配准 ； 关键词 ：三维重建 ； 室内动态场景 ； 多Ｋ ｉ ｎ ｅ ｃ ｔ设备 ； ａ ｒ ｃ ｈ ｉ ｎ Ｃ ｕ ｂ ｅ ｓ算法 Ｍ ｇ 中图分类号 ： Ｐ ３ ９ １ 文献标志码 ：Ａ Ｔ
于深 度 数 据 的 ． 基于纹理数据的方法具有硬件成本 低廉 的 优 势 ， 但物体表面的纹理本身受环境光影响 而且重建 过 程 包 含 大 量 经 验 和 假 设， 一般情 较大 ， 况下的重 建 精 度 往 往 不 能 满 足 要 求． 而基于深度 稳 定， 易于推广 数据的三 维 重 建 方 法 更 为 简 单、 根据 重 建 模 型 的 抽 象 等 级， 三维重建技术 应用．
收稿日期 ： ０ １ ４－１ １－１ ４ ２ ） 基金项目 ： 国家自然科学基金资助项目 （ ６ １ １ ７ ３ １ ０ ５， ６ １ ３ ７ ３ ０ ８ ５
活领域的推广应用 ． 因此 ， 基于廉价设备的实时场 景 三维重建技术 具 有 巨 大 的 研 究 意 义 和 应 用 价 值 ． 本 文以远程协作应用为背景 ， 采用 Ｋ ｉ ｎ ｅ ｃ ｔ设 备捕获场 景数据 ， 研究如 何 实 时 重 建 满 足 一 般 用 户 视 觉 精 度 要求的场景模型 ． 人们对三维重建技术的研究已达数十年， 也提
４］ ： 可以分为３个 层 次［ 高层次关注的是一种或者 ８］ ； 一类物体， 主 要 用 于 物 体 识 别［ 中层次使用基 １］ ； 本几何图 元 构 建 模 型， 主 要 用 于 物 体 分 割［ 低
图 １ 硬件系统布局示意图 Ｆ ｉ ． １ Ｈ ａ ｒ ｄ ｗ ａ ｒ ｅ ｓ ｓ ｔ ｅ ｍ ｌａ ｏ ｕ ｔ ｇ ｙ ｙ
通 场景三维 重 建 技 术 是 利 用 传 感 器 和 计 算 机 ， 过对场景的纹 理 、 深度等元数据进行分析和处理后 自动 （ 或半自动 ） 地构建场景的三维模型 ． 目前 ， 场景 重建技术在工 业 模 拟 、 智能机器人等诸多方面都发 挥着十分重要的作用 ． 然而 ， 较长的计算时间和昂贵 的设备极大地阻碍了这一技术在协作办公和日常生
包括对所有 Ｋ 对所有 ｉ ｎ ｅ ｃ ｔ设备分别进行内参标定 ， 内参和外参标定均 Ｋ ｉ ｎ ｅ ｃ ｔ设备统一进 行 外 参 标 定 ． 采用棋盘格标定法 ． １． ２ 算法流程概览 实时动态场景重建算法的主要流程为获取数 据 （ 、 深度数据和纹理色彩数据等 ） 对数据进行预处理 、 根据深度数据构建三维点云 、 对多组点云进行注册 、 从点云构建网格表面 ， 具体如下所述 ． （ ）对数 据 进 行 预 处 理 ． 从传感器获取的数据 １ 因此 ， 需要对原始 存在一定的噪声和误差分布特性 ， 的深度数据进 行 特 殊 的 预 处 理 以 降 低 噪 声 的 干 扰 ， 从原始数据的层面减少误差 ． （ ）根据 深 度 数 据 构 建 三 维 点 云 ． 对于每个传 ２ 感器获得的深 度 数 据 和 彩 色 图 像 数 据 ， 根据传感器 的内参和外参 信 息 计 算 点 云 中 各 点 的 三 维 坐 标 、 颜 这时将它们可视化已经可以看出一定 色和法向量 ． 但是由于基于棋盘格的外参标定并不 的重建效果 ， 十分精确 ， 从结 构 和 纹 理 上 可 以 看 出 多 组 点 云 并 不 能完全匹配 ． （ ）对多 组 点 云 进 行 配 准 ． 旨在减小多组点云 ３ 之间存在的变换偏差 ． 许多有关三维重建的研究 （ 例 ）都 使 用 迭 代 最 近 点 配 准 算 法 如文 献 ［ ５，１ １］ ［ １ ４］ （ 本文亦在该算法基础上提出了改进方案 ． Ｉ Ｃ Ｐ） ， （ 从三维点云中构建 ４）从 点 云 构 建 网 格 表 面 ． 较为完整的表 面 网 格 模 型， 具体涉及基于 Ｇ Ｐ Ｕ的 有向距离函数计算和三角面片生成等 八叉树构建、 算法．