基于Kinect骨骼信息的机械臂体感交互系统的设计与实现
基于Kinect的动作捕捉系统设计与实现-第1-2章
基于Kinect的动作捕捉系统设计与实现动作捕捉技术在电影特效制作、电脑动画制作、游戏制作、运动分析等领域发挥着重要作用。
传统的动作捕捉系统存在价格昂贵、穿戴复杂、实时性差、对环境要求高等问题，很难被广泛应用。
随着技术的创新，微软推出了无标记动作捕捉设备Kinect，该设备依靠低廉的价格和先进的骨骼跟踪算法有效地解决了以上问题，从而得到了广泛的应用。
现有的基于Kinect的动作捕捉系统普遍存在着运动数据抖动、骨骼数据关节缺失、动作数据无法复用等不足。
针对上述问题，本文主要研究以下内容：优化Kinect骨骼动作数据；将优化后的动作数据重定向到三维人物模型，驱动模型模仿真人的动作；录制并保存动作脚本。
在此基础上，设计并实现了基于Kinect的动作捕捉系统。
首先，本文概述了动作捕捉技术与动作重定向技术国内外发展现状，通过分析各种动作捕捉系统的优缺点，分析了系统需求，在此基础上提出了基于Kinect 的动作捕捉系统的总体方案。
根据MVC设计模式，将系统分为数据采集层、数据交互中间件、数据处理层和UI界面层，其中数据处理层是系统的关键部分，包括骨骼数据优化模块、动作重定向模块和动作录制模块。
然后，针对目前基于Kinect的动作捕捉系统存在的问题，本课题对人体单关节修复算法进行了改进，提出了丢失关节修复算法，以解决连续丢失多个关节点的问题；提出骨骼动作平滑处理算法，以解决肢体末端关节抖动问题；使用基于正向运动学重定向算法，以解决模型驱动问题；研究DAE模型结构，为录制动作脚本的实现提供理论依据。
其次，本文详细设计并实现了系统功能，包括用户界面、Kinect数据获取模块、骨骼数据优化模块、动作重定向模块、可视化模块和运动录制模块。
最后，为验证基于Kinect的动作捕捉系统的可行性和正确性，对本文所做工作进行了测试和分析。
测试结果表明，本文所做工作符合预期目标。
第1章绪论1.1 研究背景动作捕捉技术诞生前，在传统的三维动画、电影特效及游戏制作过程中，角色模型的动作效果基本都是由人工手动调整来完成[1]。
基于Kinect的机器人人机交互系统及方法与制作流程
图片简介:本技术涉及一种基于Kinect的机器人人机交互系统及方法，系统包括Kinect信息采集模块、人机交互模块、姿态控制模块、语音控制模块、Kinect三维传感器、机器人控制箱和机器人；首先通过Kinect信息采集模块，将图像数据流和音频数据流传递给人机交互模块，通过人机交互模块的语音/文字提示引导用户选择不同的控制模式，进而调用不同的控制模块，实现对机器人的操控。
本技术综合体感、声音、手势多种交互方式，可实现对机器人的运动控制，代替人工在非结构化场景中进行作业，提高机器人的作业能力和智能水平。
技术要求1.一种基于Kinect的机器人人机交互系统，其特征在于，包括Kinect信息采集模块、人机交互模块、姿态控制模块、语音控制模块、Kinect三维传感器、机器人控制箱和机器人；Kinect信息采集模块利用Kinect三维传感器，获取图像数据流及语音数据流；通过人机交互模块选择不同的控制模式，调用姿态控制模块或语音控制模块；姿态控制模块基于图像数据，根据人体姿态控制机器人机械臂运动；语音控制模块基于语音数据，实现语音指令的识别，控制机器人进行相应动作。
2.根据权利要求1所述的基于Kinect的机器人人机交互系统，其特征在于，人机交互模块提示用户选择控制模式，包括语音提示和文字提示。
3.一种基于权利要求1所述基于Kinect的机器人人机交互系统的人机交互方法，其特征在于，包括以下步骤：利用Kinect三维传感器，获取图像数据流及语音数据流；基于图像数据，根据人体姿态控制机器人机械臂运动；基于语音数据处理结果，实现语音指令的识别，控制机器人进行相应动作；通过人机交互模块的语音/文字提示选择不同的控制模式，调用不同的控制模块，实现人机交互。
4.根据权利要求3所述的基于Kinect的机器人人机交互方法，其特征在于，利用Kinect三维传感器，获取多种图像数据信息流及语音信息流，具体为：步骤1-1、利用Kinect三维传感器的深度摄像头直接获取深度图像，利用Kinect三维传感器的麦克风阵列对语音进行捕获；步骤1-2、将图像数据流和音频数据流放入缓冲区。
基于Kinect的人机交互系统设计毕业设计论文
毕业设计论文基于Kinect的人机交互系统设计摘要随着技术的不断进步，人机交互的方式也越来越先进，通过肢体动作来操作计算机和游戏机已经成为现实。
自从微软推出Kinect体感外设以来，自然的人机交互成为当前的研究热点，通过Kinect外设，可以解除人们受键盘、鼠标等传统交互方式的束缚，具有重要的意义。
本论文介绍的就是基于Kinect的人机交互的程序设计。
本设计通过Kinect的骨骼跟踪接口，自定义动作，如手臂平伸，手臂前伸，手臂上举等，触发事件后映射为键盘事件，达到操作应用程序的目的。
使用者可以选择被控制的对象程序。
为了防止他人干扰操作，本程序默认只追踪离Kinect传感器最近的人。
本设计的程序可以让使用者通过手臂动作操作俄罗斯方块、播放PPT、控制音乐播放器、控制视频播放器。
未来还可以扩展其他基于键盘控制的程序的操作。
关键词：Kinect 人机交互骨骼跟踪The Design of Man-machine Interaction SystemBased on KinectABSTRACTAs technology continues to progress, human-machine interaction is more and more advanced, and body movements to operate computers and game consoles has become a reality.This paper will introduce a program of Kinect-based human-machine interaction design.Since Microsoft launched Kinect somatosensory peripheral,natural human-computer interaction has become a research hotspot.People can lift their shackles of traditional interact such as keyboard, mouse, and others through the Kinect peripheral, and this will be a important significance.This design achieve the purpose of operating applications through Kinect's skeleton tracking interface,such as stretch your arms,reach your arms,and uplift your arms.custom actions and an triggered event which is mapped to keyboard event.The user can select the object of control program.In order to prevent the interference of other people, this design procedures only tracks the people who is nearest to the Kinect sensor.The program of this design allows the user to operate Tetris, Powerpoint,music and video player.It can be extended to other keyboard-based control programs operating in the future.Key Words: Kinect Human-machine interaction Skeleton tracking目录第一章引言 (1)1.1 选题理由 (1)1.2 自然人机交互技术的发展 (1)1.3 国内外发展情况 (1)1.4 你就是控制器 (2)1.5 Kinect的应用 (2)1.6 需求分析 (3)第二章认识Kinect (4)2.1 两款Kinect对比 (4)2.2 Kinect的硬件组成 (5)2.2.1 Kinect的“心脏”——PS1080 SoC (6)2.2.2 Kinect的“三只眼”——投影仪和两个摄像头 (8)2.2.3 Kinect的“四只耳朵”——麦克风阵列 (9)2.3 Kinect相关的技术规格 (10)2.4 Kinect工作原理 (11)2.4.1 Kinect for Xbox360的产品设计 (11)2.4.2基于“管道”的系统架构 (12)第三章总体设计 (14)3.1 软件概述 (14)3.2 软件用户群 (14)3.3 软件功能 (14)3.4 运行环境 (14)3.5 开发环境 (15)3.6 软件框架图 (15)3.7 软件各模块设计 (15)3.7.1 初始化窗口 (15)3.7.2 注册Kinect变化事件 (15)3.7.3 骨骼事件处理 (16)第四章详细设计与算法分析 (17)4.1 初始化相关模块 (17)4.1.1 定义变量 (17)4.1.2 Window_Loaded窗口载入事件 (17)4.2 注册Kinect变化事件 (17)4.2.1 事件方法主体 (17)4.2.2 事件方法中引用的方法 (17)4.3 骨骼事件处理 (18)4.3.1 隐藏骨骼跟踪提示标签 (18)4.3.2 判断窗口是否关闭中 (18)4.3.3 获取最近的骨骼跟踪跟踪实例 (18)4.3.4 判断获取的距离Kinect最近的骨骼跟踪实例 (18)4.3.5 提示用户可以进行应用程序控制 (18)4.3.6 判断Kinect的控制对象 (19)4.3.7 定义判断骨骼跟踪事件的阈值 (19)4.3.8 控制俄罗斯方块的方法 (19)4.3.9 控制PPT播放的方法 (22)4.3.10 控制音乐播放器的方法 (24)4.3.11 控制视频播放器的方法 (27)4.3.12 模拟键盘输入工具类 (29)4.3.13 窗口关闭方法 (30)第五章软件测试 (31)5.1 Kinect控制俄罗斯方块的测试 (31)5.1.1 骨骼跟踪图 (31)5.1.2 运行结果 (31)5.2 Kinect控制PPT播放的测试 (33)5.2.1 骨骼跟踪图 (33)5.2.2 运行结果 (33)5.3 Kinect控制音乐播放器的测试 (34)5.3.1 骨骼跟踪图 (34)5.3.2 运行结果 (34)5.4 Kinect控制视频播放器的测试 (35)5.4.1 骨骼跟踪图 (35)5.4.2 运行结果 (35)第六章总结与展望 (37)6.1 总结 (37)6.2 展望 (37)参考文献 (40)附录 (41)致谢 (48)第一章引言1.1 选题理由人机交互技术是指通过计算机输入、输出设备，以有效的方式实现人与计算机对话的技术。
基于Kinect的机械臂体感操控系统设计
基于Kinect的机械臂体感操控系统设计作者：蒋意张晨付亚鹏李璇来源：《世界家苑·学术》2018年第03期摘要：本文介绍了一个基于Kinect的机械臂体感操控系统。
该系统基于机器视觉的动态手勢识别算法，能够跟踪人的手部运动，并且把手部的运动还原到六自由度机械臂上，从而达到对机器人自然控制的目标。
实验结果表明：在正常环境下，该系统对于手臂的识别率高达99%，对手势动作的识别率能够达到90%左右。
对相机进行标定，其标定误差约为0.16114，该结果不大于标定限制误差0.5。
关键词：Kinect；手势识别；仿人末端执行器；体感交互1硬件平台选择机械手臂的体感系统硬件部分选择主要是摄像机和机械手臂的选择。
图像采集和机械手臂的控制直接影响到后续算法的执行和系统的识别率。
1.1摄像头根据设计的要求，选择Kinect 1.0作为图像获取的摄像传感器设备。
Kinect传感器不但可以获得较好的景深图像，还可以获得640*480的RGB彩色图像，其本身的SDK软件包是开源的，这非常有利于后续的开发。
1.2机械臂机械臂的主要组成是舵机，六个舵机与相应的机械架构组成六自由度的机械手臂。
六自由度的机械手臂的舵机采用Futaba S-9001，该舵机在4.8V时扭力为3.9kg/cm，速度为0.22s/60°，在6.0V时扭力为5.2kg/cm、速度为0.18s/60°。
结合铝合金机械架构，可以组成完整的六自由度机械手臂。
1.3开发平台本设计采用Kinect for Windows SDK 1.8 作为第一代Kinect的开发工具，1.8版本的SDK 结合了不同的开发者的开源代码、WPF设计等，为后续的开发提供了开发条件，包括20个骨骼识别、深度图像的采集、RGB图像采集、电机控制等。
该源码采用的是多种语言编程，含有C++、Java、C#等，易于学习。
2核心算法2.1RGB图像的获取与处理Kinect获取RGB图像使用的是Kinect上面的CMOS摄像头硬件。
基于Kinect的体感交互机械臂
相关程序截图
Kinect前台代码 xaml语言 Kinect后台代码 C#语言
下位机代码用Keil 5环境编译
创新特色性
一、采用了PC端图像识别技术，实现 了体感交互。
二、实现图像处理与下位机的交互，达到 控制机械臂的目的。
三、视觉处理难度大，但是精确度， 灵敏度远超各类光电传感器。
体感交互基本过程获取图像摄像头图像处理识别人体动作姿态pc数据传输串口通信控制机械臂kinect开发环境本次开发使用c语言visualstudio2010netframework40wpf界面深度图像kinect图像处理在pc端获取深度数据以深度图像方式呈现
基于Kinect的体感交互机械臂
用最自然的方式
识别人体动作姿态
PC
串 口 通 信
控制机械臂
Kinect 开发环境
本次开发使用C#语言 Visual Studio 2010 .NET Framework 4.0 WPF界面
Kinect 图像处理
在PC端获取深度数据，以 深度图像方式呈现； 在Visual Studio产生景深 数据，通过灰度值的不同， 代表深度数据的大小。
与机器对话
体感交互
让机器读懂我们 的身体语言。
用我们的手势和 姿态控制机械。
Kinect 简介
Kinect是微软推出的
一款图像识别设备，可用于 体感游戏或PC开发。
Kinect利用其独有的红
外深度摄像头，可以将二维 的图像数据扩展至三维。
体感交互基本过程
数据传输
摄 像 头
获取图像
图 像 处 理
深Hale Waihona Puke 图像Kinect 图像处理
通过扫描深度图像， 有效的将人体与背 景分离，识别人体 轮廓以及骨骼结点， 实时追踪人体动作 与姿态。
基于kinect的自然人机交互系统的设计与实现
基于kinect的自然人机交互系统的设计与实
现
简介：
本文介绍了一种基于Kinect的自然人机交互系统的设计和实现。
该系统使用Kinect作为输入设备，通过识别人类的姿势和动作，实现了自然的人机交互。
该系统可以应用于游戏、教育、医疗等领域，可以提高用户的交互体验。
设计：
该系统的设计主要包括三个部分：图像处理、人体姿态识别和人机交互控制。
1. 图像处理
该部分的主要任务是对图像进行预处理，以提高人体姿态识别的准确性。
常用的图像处理技术包括去噪、平滑、增强等。
2. 人体姿态识别
该部分的主要任务是通过Kinect获取人体所处的空间位置和姿态信息，并将其转换为计算机可以识别的数据。
常用的人体姿态识别算法包括SVM、Adaboost、神经网络等。
3. 人机交互控制
该部分的主要任务是将识别到的姿态和动作转换为计算机命令，以实现自然的人机交互。
常用的人机交互控制技术包括手势识别、语音识别、头部追踪等。
实现：
该系统的实现主要包括以下步骤：
1. 使用Kinect获取人体姿态信息，并进行图像预处理。
2. 使用OpenNI、NITE等软件库，对人体姿态进行识别和分析。
3. 将识别得到的姿态转换为命令，并发送给计算机。
4. 根据命令，控制计算机实现相应的功能。
结论：
基于Kinect的自然人机交互系统可以实现自然的人机交互，提
高用户的交互体验，具有广泛的应用前景。
同时，该系统还存在一些
问题，如姿态识别的准确性、响应时间等，需要进一步的研究和改进。
基于Kinect机器人与人肢体交互系统的设计与实现
基于Kinect机器人与人肢体交互系统的设计与实现曹阳;邢述达;任福继;李锦义【期刊名称】《中国科技论文》【年(卷),期】2017(012)014【摘要】设计了1个基于Kinect体感技术的机器人和人的近距离肢体交互系统,实现了机器人追踪人体并与人握手的功能.利用Kinect摄像机提取人体骨骼点并获取相应的骨骼点位置,使用改进的模板匹配算法对机器人进行跟踪并通过计算控制机器人运动参数和机器人的肢体动作,实现了机器人自动与人握手的功能.实验探究了机器人与人体之间距离变化、机器人初始角度变化等因素对系统成功率的影响,结果表明,当机器人初始角度为零时,测试范围内可实现机器人与人稳定的握手动作;机器人的初始角度在-45°～45°变化时,距人1～1.5 m、左右各0.75 m范围内可实现机器人与人稳定的握手动作.【总页数】6页(P1596-1601)【作者】曹阳;邢述达;任福继;李锦义【作者单位】南通大学机械工程学院,江苏南通226019;南通大学机械工程学院,江苏南通226019;德岛大学工学部,日本德岛770-8506;德岛大学工学部,日本德岛770-8506;南通大学机械工程学院,江苏南通226019【正文语种】中文【中图分类】TP242.6【相关文献】1.基于Kinect骨骼信息的机械臂体感交互系统的设计与实现 [J], 林海波;梅为林;张毅;罗元2.基于Kinect的通用式肢体训练系统的设计与实现 [J], 曲毅;张承凯;3.基于Kinect机器人与人肢体交互系统的设计与实现 [J], 曹阳;邢述达;任福继;李锦义;;;;;4.基于Kinect的机器人交互系统设计与研究 [J], 高日; 张雷; 郭亮5.基于Unity3D与Kinect的康复训练机器人情景交互系统 [J], 秦超龙;宋爱国;吴常铖;刘玉庆;姜国华因版权原因，仅展示原文概要，查看原文内容请购买。
基于Kinect的通用式肢体训练系统的设计与实现
Ｅ ｌ ｅ ｃ ｔ ｒ ｏ ｎ ｉ ｃ Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ ＆Ｓ ｏ ｆ ｔ ｗ ａ ｒ ｅ Ｅ ｎ ｇ ｉ ｎ ｅ ｅ ｒ ｉ ｎ ｇ 电子技 术 与软 件工程 ・８１
该结 点的序 号通过 ｂ ｏ ｎ ｅ Ｉ ｎ ｄ ｅ ｘ ２ Ｍｅ ｃ ａ ｎ ｉ ｍＭ ａ ｐ找
以及完整 的开 发手册 ，可让软件开发人员使用 远 离电脑，在训练时也无法通过 鼠标或者键盘 控 制播放状态 ，所 以在这里 引入手 机无线控制 主流 的高级程 序设计 语言在 ｖ ｉ ｓ ｕ ａ ｌ ｓ ｔ ｕ ｄ ｉ ｏ开 发 端 ，手机端通过无线与训练端进 行连接，主要 平台下轻 易开发体感 系统和 支持 自然人机交互 负责控 制动作回放时 的播放和暂停 ，作 为训练 的应用 。本文正 是在这 样的背景下 ，在基于对 端 的控 制器而 存在。 Ｋ ｉ ｎ ｅ ｃ ｔ 体感 识别技术研 究的基 础上，设计实现 就整 个系 统而 言，可 以将 系 统分 为输 入 款通用肢体训练体感教 育系统 部分 、存储 部分、输 出部分和控制部分 ，系统
弊端 。
虑 如何 通过 Ｋ ｉ ｎ ｅ ｃ ｔ 获 取到 真实 人物 的骨 骼动
系 ，训练 者 可 以练习 来 自所有 教练 的所 有 动 作 ，再将真实 的骨骼动作 同步到虚拟人物上从 作 ，而 教练 员的动作也可 以供所有训练 者下载 而 实现虚 拟 人物 与真 实动 作 的 同步。系 统要
端还需要获取训练者 的动作 ，并将 自身动作数 人物骨 骼结点的 Ｒ ｏ ｔ ａ ｔ ｉ ｏ ｎ来使骨骼进行平滑 的
据与标准动作数据进 行比对 ，得到比对结果后 再 反馈 给训练者；考虑到训练者在 训练时需要 移 动 。使 用 Ｄ ｉ ｃ ｔ ｉ ｏ ｎ ａ ｒ ｙ ＜ ｉ ｎ ｔ ， Ｈ ｕ ｍａ ｎ Ｂｏ ｄ ｙ ｒ Ｂ ｏ ｎ ｅ ｓ ＞ 这 个键 值对 来将 人体 骨 骼结 点序 号依 次 与 Ａｖ ａ ｔ ａ ｒ 系 统 的骨骼 结 点 对应起 来。即：当人物某个结点移动之后根据
基于kinect体感控制机器人设计与实现
• 159•基于kinect体感控制机器人设计与实现桂林电子科技大学 谭花花【摘要】针对体感技术，本文将提出一套关于kinect体感设备的机器人控制系统。
该系统采用kinect体感设备通过摄像头和红外发射器捕捉人体的动作信息，通过PC机对所获取到的动作信息做算法处理得到骨骼跟踪的关节点，通过骨骼空间坐标映射转化到屏幕坐标，PC机又通过无线串口将手势动作信息传输到MCU的主机设备操作机器人响应手势动作，使机器人保持与人体手势同步。
本作品操作简单便捷，支持个性化体感操作，形成了全新的用户体验。
【关键词】人机交互；Kinect；MCU；机器人引言在人类迅速进步的现在，计算机所表现出来的形态越来越繁多，所具备的功能也越来越强大。
随着现在摄像头技术的不断进步，计算算法越发的强大。
目前体感交互式技术也得到了广泛应用。
本文根据实际应用需求设计了一种采用kinect体感设备通过摄像头和红外发射器捕捉人体的动作信息通过PC机操控的机器人。
1.本项目总体设计方案基于Kinect的体感控制机器人系统主要如下几个部分组成。
第一部分为Kinect对人体图像的捕捉以及捕捉后的算法处理，第二部分为将捕捉处理的数据通过电脑串口发送到无线模块的主机，第三部分是无线模块从机接收到主机发过来的数据传输到MCU上，MCU通过获得的数据表现为驱动电机后机器人的运动状态。
系统整体设计框图如图1.1所示。
图1.1 系统整体设计框图动作2.kinect体感控制机器人的硬件电路设计微控制器：MCU采用STM32RBT6它是ST公司推出的一款控制器，采用了Cortex-M3的内核，使用目前主流ARM V7-M的架构，拥有低功耗、低成本、高性能三大特点。
电源：电源供电电路的设计需要综合每一个芯片或模块的工作电压，本系统硬件主要有三个需要考虑，主控制器STM32RBT6、ESP8266模块和舵机。
STM32RBT6输入电源电压范围2.0 - 3.6V，ESP8266的输入电源电压范围为3.0 - 3.6V，舵机的输入电源电压范围为3.5 - 6.0V。
体感技术研究：基于kinect的体感控制系统研究与实现-论文
武汉理工大学毕业设计（论文）体感技术研究：基于kinect的体感控制系统研究与实现学院（系）：专业班级：学生姓名：指导教师：学位论文原创性声明本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。
除了文中特别加以标注引用的内容外，本论文不包括任何其他个人或集体已经发表或撰写的成果作品。
本人完全意识到本声明的法律后果由本人承担。
作者签名：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保障、使用学位论文的规定，同意学校保留并向有关学位论文管理部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。
本人授权省级优秀学士论文评选机构将本学位论文的全部或部分内容编入有关数据进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。
本学位论文属于1、保密囗，在年解密后适用本授权书2、不保密囗。
（请在以上相应方框内打“√”）作者签名：年月日导师签名：年月日摘要随着计算机在人们生活中的普及和深入，传统的鼠标和键盘难以满足日益多样化的控制需求。
基于视觉的体感控制是实现新一代人机交互所不可缺少的一项关键技术。
Kinect 作为一款革命性的产品，正在提供一项全新的人机交互的方式，使人机互动的理念更加彻底的展现出来。
它能够捕捉、跟踪以及识别人体的动作，手势以及声音。
本文内容涵盖对人机交互技术应用的介绍，Kinect硬件设备构造与原理的分析，Kinect 开发技术的介绍，并利用Kinect在Windows 7系统下，使用C#语言设计了一套体感控制系统。
本系统通过设置合适的阈值，判断用左手与头部在Kinect空间Y轴的距离是否超过阈值控制鼠标左键的按下与弹起。
通过右手在空气中的移动的坐标映射到屏幕坐标控制鼠标移动。
最后，在不同光照环境下，利用PC游戏中《水果忍者》测试了本系统。
测试结果表明：本系统在光照变化的条件下鲁棒性较好。
本设计与其他同类设计相比，主要创新之处有以下几点：1) 本系统在使用前无需对系统进行训练，提高了体感控制系统的便捷性。
基于Kinect的动态控制机械臂系统的设计
A c a d e m i c F o r u m / 学术论坛基于K in e c t 的动态控制机械臂系统的设计梁佳雪，刘锡琳(江苏大学，江苏镇江212013)摘要：本文详细阐述了利用LabV 丨E W 平台动态控制Dobot 机械臂系统的设计。
该系统借助Kinect 体感器对人体关节信息进行采集，经过LabVIEW 平台的算法计算处理，最后由Dobot 机械臂实现抓取移动的操作。
本文 设计的系统应用于危险、恶劣环境下人工作业有危险的情况，同时不同于以往的传统机器人，本文涉及的机械 臂可以随人体运动而改变运行轨道，具有智能性、应变性和适应性等优点。
关键词：LabVIEW 平台；动态控制；Dobot 机械臂；Kinect 体感器本文是基于K in ect 体感器的动态控制机械臂系统 的整体设计，旨在利用K in ect 传感器及L ab V IE W 实 现一种自然人机交互方式，实现对6自由度D ob ot 机 械臂的动作运动控制。
通过L ab V IE W 访问K in ect 接 口，实现对K in ect 体感器深度数据和R G B 数据的采 集和处理，将提取到的手部深度图像坐标利用坐标变 换到D o b o t 机械臂坐标，实现手势的深度图像坐标对 D o b o t 坐标映射。
系统采用基于深度图像处理的方式 实现自然人机交互，免除了传统机器人控制复杂的操 作过程，提高深度图像处理精度同时也会增加机器人 控制的有效性和使用价值。
1系统整体实现1.1构件组成(1) 整体。
基于K in ect 体感器的动态控制机械 臂系统的硬件由K in e ct 体感器、D o b o t 机械臂组成， 软件平台选择L ab V IE W 编程环境。
(2) 硬件组成。
该系统的硬件由K in ect 体感器 与D o b o t 机械臂组成。
K in ect 体感器对人的手势及 手臂的图像信息进行采集，同时K in ect 体感器定义一 个常量（一般是20 )来对人体骨骼进行识别与跟踪。
基于Kinect体感技术的班会活动实践
基于Kinect体感技术的班会活动实践随着科技的快速发展，体感技术逐渐走入人们的生活，为我们的日常生活带来了前所未有的变化。
Kinect作为微软推出的一种体感设备，具有高精度、高速度的特性，可以捕捉使用者的动作和语音，实现人机交互。
本文将介绍如何基于Kinect体感技术开展班会活动，提高活动的互动性和参与度。
一、活动背景介绍为了丰富班级文化生活，增强班级凝聚力，我们班级决定举行一次基于Kinect体感技术的班会活动。
本次活动旨在通过Kinect设备，让同学们在互动中增进友谊，提高班级的默契度。
二、活动准备工作1、设备准备：Kinect设备及相关软件。
2、场地准备：宽敞明亮的教室或活动室。
3、人员准备：班级全体同学及一名熟悉Kinect操作的专业教师。
4、活动内容准备：选取适合Kinect体感技术的游戏或节目，如舞蹈表演、互动游戏等。
三、活动实施过程1、活动开始：专业教师介绍Kinect设备及使用方法，确保同学们了解操作流程。
2、分组与任务分配：根据班级人数，将同学们分成若干小组，每组分配一个Kinect设备，以便更好地参与活动。
3、活动展开：各小组按照活动内容要求，通过Kinect设备进行表演或游戏。
例如，舞蹈表演可以通过Kinect捕捉同学们的肢体动作，实现人机共舞；互动游戏则可以通过Kinect捕捉同学们的位置信息，实现人机互动。
4、活动评价与总结：活动结束后，教师对各小组的表现进行评价，总结本次活动的收获与不足之处。
同时，鼓励同学们在今后的班级活动中积极参与，发挥自己的特长和才能。
四、活动效果评价本次基于Kinect体感技术的班会活动取得了圆满成功。
同学们积极参与，互动热情高涨，班级凝聚力得到了有效提升。
同时，通过Kinect 设备的运用，同学们对体感技术有了更深入的了解和认识，拓宽了视野。
今后，我们将在更多的班级活动中引入Kinect体感技术，为同学们打造更加丰富多彩的校园生活。
五、结语在信息化时代背景下，体感技术为我们的生活带来了诸多便利和乐趣。
基于Kinect骨骼信息的机械臂体感交互系统的设计与实现
基于Kinect骨骼信息的机械臂体感交互系统的设计与实现林海波;梅为林;张毅;罗元【摘要】In the paper we present a robot arm somatosensory interaction manner based on the human skeletal information. First, we use Kinect sensor to capture image depth of field data, and deal with the data by skeletal tracking technology to match various parts of the human body followed by further establishing the 3D coordinates of every joint of human body. Then, we utilise the 3D coordinates to calculate the rotation angle of human waist, shoulder, elbow and wrist joints. These four joints of human body are in one-to-one correspondence with the four joints of 4-DOF robot arm. Finally, we transform the calculation results to control commands and sent them to controller of the robot arm by serial ports to realise somatosensory interaction. Experimental results show that the method can effectively control the robot arm to rotate and grab objects.%提出一种基于人体骨骼信息的机械臂体感交互方式.首先利用Kinect传感器获取图像景深数据,并通过骨骼追踪技术处理景深数据,以匹配人体的各个部分,进而建立人体各个关节的3D坐标.然后利用3D坐标值计算出入体腰、肩、肘和腕4个关节的转动角度,人体的这4个关节与四自由度机械臂的4个关节一一对应.最后将计算结果转换成控制指令通过串口发送给机械臂的控制器,实现体感交互.实验表明,该方法能够有效地控制机械臂的转动以及抓取物件.【期刊名称】《计算机应用与软件》【年(卷),期】2013(030)002【总页数】5页(P157-160,176)【关键词】Kinect;骨骼信息;机械臂【作者】林海波;梅为林;张毅;罗元【作者单位】重庆邮电大学国家信息无障碍工程研发中心智能系统及机器人研究所重庆400065【正文语种】中文【中图分类】TP3190 引言为了给老年人和残障人士提供性能优越的操作工具，帮助他们提高行动自由度，许多国家对移动机器人进行了研究[1]。
基于Kinect骨骼信息提取的机械臂远程体感控制系统设计
基于 Kinect骨骼信息提取的机械臂远程体感控制系统设计作者简介：王静娴，女，生于1999年11月，回族，河北唐山人，江苏大学本科在读，测控技术与仪器专业基金项目：江苏大学第18批大学生科研课题立项资助项目，项目编号：18B089摘要:基于Kinect进行人体骨骼信息提取，进而实现对机械臂的远程体感控制。
主要研究内容为通过Kinect获取人体手势图像信息并进行处理，进而检测到人体的骨骼关节坐标，经无线传输方式传输给上位机，上位机采用LabVIEW平台，由程序处理进行坐标转化，从而控制机械臂的运动，建立机械臂的远程体感控制系统。
经过实验表明，设计的系统可以通过人机交互体感技术对机械臂进行远距离控制，实现机械臂末端执行部件对物体的准确抓取动作。
关键词：Dobot机械臂;人机交互;Kinect;体感控制由于在高压、辐射等恶劣环境下工作会威胁人体健康，因此控制机器人完成在这些特定环境下的工作成为科研人员的关注热点。
传统机器人存在灵活性差、缺乏智能性等缺点，体感机器人应运而生。
而人机交互是体感机器人最重要的技术之一，目前此技术主要分为接触式和非接触式交互。
接触式人机交互常用可接触式传感器，采用可穿戴设备进行控制，然而此类设备会阻碍操作人员的行动，同时成本过高，因此诞生了非接触式交互技术。
将非接触式人机交互技术引入机械臂控制上，通过模仿人体动作来操控机器人，这种体感控制技术具有较大的实用价值，并在一定程度上实现了机器人控制方式的创新，使机器人的控制更加多样灵活。
1.Kinect骨骼信息提取技术1.Kinect简介Kinect是2010年由Microsoft公司推出的一款姿态传感输入设备，不同于传统输入设备，该设备可以实现使用者直接控制终端，实现自然人机交互。
本文采用Kinect V1.0设备，其传感器组具有可编辑性强、成本低等优点。
该组传感器中间镜头是RGB彩色摄像头，左右两镜头分别为红外线发射器和红外线CMOS摄像机所构成的3D深度感应器[1]。
基于手臂体感器与机械臂的人机交互系统设计
基于手臂体感器与机械臂的人机交互系统设计摘要：本文所设计的系统主要通过手臂体感器获取手臂的移动情况，利用信息捕捉加坐标转化的方法，转化为相应的指令传输到机械臂的系统中，使得机械臂能在非特殊情况下，按照手臂的运动轨迹做相应的运动。
获取移动轨迹的途径由手臂体感器提供，并将之体现为三维空间中的坐标，使得机械臂的运动更加接近手臂的运动，为进一步的研究开发建立了基础。
关键词：：体感器；机械臂；人机交互；系统设计随着网络和技术的发展，各种新产品和交互方式越来越多，人们也越来越重视交互的體验。
对用户来说，交互设计就是一种让产品更易用，更有效的技术，它致力于了解目标用户和他们的期望，了解用户在同产品交互时彼此的行为，了解“人”本身的心理和行为特点。
交互设计还涉及心理学、计算机等多个学科。
[1]1 设计说明本系统首先通过手臂体感器和人体建立联系，获取人体手臂空间运动轨迹以及对应的坐标变化，通过系统转换为相应的指令，然后发送给机械臂，从而实现机械臂和人体手臂的同步运动。
1.1设备介绍1.1.1手臂体感器目前市面上的一些姿态传感器在芯片层面集成了陀螺仪与加速度计，可以同时输出角速度与加速度数据，有效避免了轴间差问题。
[2]不过，本系统的设计过程将采用包含摄像头、深度传感器、红外线收发器、麦克风阵列等设备的体感器。
具备包括动态捕捉、影像辨识、麦克风输入、语音识别等功能，可以利用该体感器动态捕捉人体手臂坐标。
1.1.2机械臂在一些系统中所用的机械臂属于关节型机器人，关节型机器人的实质是由许多转动和移动关节链接起来的连杆系统。
关节型机器人每一个独立的关节都代表机器人的一个自由度，我们可以在每个关节上设立一个坐标系，用坐标系之间的相互关系来描述各个关节之间的位姿关系。
[3]而本系统采用号称家用工业级性能桌面机器人的桌面机械臂，承重达600g，动作精度达0.3mm，动力部分使用三台步进电机驱动，配备两个角度传感器，移动部分由四个关节点组成，使得其在三维坐标空间中能够灵活的移动。
基于Kinect的机械臂视觉伺服系统设计研究
基于Kinect的机械臂视觉伺服系统设计研究在危险恶劣的灾害环境中,机械臂系统可以完成搬运、挖掘和拆卸等功能,代替或辅助人们进行危险操作。
机械臂视觉伺服系统不仅可以通过视觉传感器对环境信息进行采集,还可以对危险物品进行处理。
因此,对机械臂视觉伺服系统的应用无论在军工还是社会都占有很重要的地位,因此需要对其进行系统性设计及研究。
本文的主要工作如下:首先,分析国内外救援机器人机械臂系统的研究情况,确定机械臂的基本设计参数及总体设计过程,利用Pro/Engineer完成三维虚拟样机设计,并利用ANSYS对重要零件进行静力学分析,验证结构设计的合理性,利用蒙特卡洛法求解机械臂的运动空间,为后续工作奠定基础。
其次,对设计的机械臂模型进行正运动学及逆运动学分析和仿真,利用ADAMS分析机械臂动力学,得到机械臂在运动过程中各关节所受力及力矩曲线,
验证电机选择的合理性。
再次,完成了视觉系统的设计,采用Kinect作为视觉传感器,分析了其成像模型,采用张正友标定法得到彩色及深度相机的内参。
分别通过基于彩色图像的模版匹配法和基于深度图像的背景相减法实现了物体识别,得到物体的三维坐标,并分析了矿山环境的特点,给出改进方案。
最后,在移动机器人平台上进行目标识别及机械臂抓取实验,验证机械臂视觉伺服系统的可行性;同时,在开源机器人操作系统(ROS)上实现机械臂建模及控制仿真,为后续基于ROS系统的视觉伺服系统的实现奠定基础。
基于kinect骨骼追踪技术的机器人运动系统的设计与实现
基于kinect骨骼追踪技术的机器人运动系统的设计与实现李茜;宋梦;文豪【期刊名称】《计算机与数字工程》【年(卷),期】2017(045)011【摘要】In order to achieve the natural human computer interaction,and improve the user experience, Microsoft 's a mo-tion-sensing peripheral device of peripheral equipment is introduced,using human body skeleton tracking device sensors to identify point,combining with opencv image processing algorithms,drawing three gestures state and then using TCP/IP protocol through Windows Socket network programming the corresponding commands to the robot motion,the interaction with the system control is re-alized,the results show that by this way the human-computer interaction can be better realized.%为了实现自然人机交互,提高用户体验,尝试引入微软公司的一款体感周边外设Kinect设备,利用Kinect传感器获取的人体骨骼追踪识别点,结合Opencv图像处理算法,画出左右手六种手势状态,然后利用通过Windows Socket网络编程的TCP/IP协议把相应的运动指令传输给机器人,实现与系统的交互控制,结果表明,通过此方式能较好地实现人机交互.【总页数】5页(P2187-2190,2268)【作者】李茜;宋梦;文豪【作者单位】陕西科技大学电气与信息工程学院西安 710021;陕西科技大学电气与信息工程学院西安 710021;陕西科技大学电气与信息工程学院西安 710021【正文语种】中文【中图分类】TP391【相关文献】1.基于Kinect的家庭助理机器人系统设计与实现 [J], 党宏社;侯金良;张超2.基于kinect体感控制机器人设计与实现 [J], 谭花花3.基于Kinect骨骼信息的机械臂体感交互系统的设计与实现 [J], 林海波;梅为林;张毅;罗元4.基于Kinect骨骼追踪技术的智能教学控制系统的设计与实现 [J], 顾客;何益明;金丽燕5.基于Kinect移动机器人导航设计与实现 [J], 许志强;翟漪璇;韩金鑫;颜义鹏;成怡因版权原因，仅展示原文概要，查看原文内容请购买。
基于Kinect体感器的康复机械手臂系统算法设计与实现
基于Kinect体感器的康复机械手臂系统算法设计与实现杨文璐;李唯杰【摘要】设计实现一种新的机械手臂康复系统.利用Kinect体感器获取人体右肩、右肘和右腕3个关节的三维坐标,计算得出所需控制参数.建立体感器与机械手臂之间通信机制,通过数据反馈调整所需控制参数.实现多自由度同时协调运动的康复型机械手臂控制方法.实验表明,该系统控制下的机械手臂能够平滑无明显停顿感地模仿人类手臂的自然动作,提高患者使用时的舒适度,增强康复效果.【期刊名称】《电子设计工程》【年(卷),期】2014(022)020【总页数】4页(P27-30)【关键词】中风患者;康复训练;康复机械臂;Kinect【作者】杨文璐;李唯杰【作者单位】上海海事大学信息工程学院,上海201306;上海海事大学信息工程学院,上海201306【正文语种】中文【中图分类】TN02医学理论和临床医学证明,除了手术治疗和药物治疗外,科学的康复训练对中风偏瘫患者的肢体运动控制功能的康复起着重要的作用[l—3]。
科学康复训练可以恢复患者部分或者全部的运动控制功能[4]。
传统的康复型机械手臂能够帮助中风患者进行被动康复训练，但也存在如下不足：首先，训练师需要手动键入控制参数，无法使用直观的自身动作进行机械手臂的操控；其次，传统康复型机械手臂虽然可以实现前屈、后伸、外展、内收、上举以及旋转等简单动作[5]，但训练动作模式固定，运动轨迹单一，无法完成非常规动作的训练；最后，传统机械臂分步动作衔接时机械停顿感强，患者使用体验差。
本系统的创新之处有：现有Kinect体感器的研究中，缺乏运用到康复型机械手臂的案例，并且缺乏对速度控制的分析论述[6]；本系统Kinect体感器控制的康复型机械臂除转动角度控制外，通过输入信息与反馈信息比较的方法，获得转动角速度控制参数，使机械手臂平滑运动，有效降低机械停顿感，使患者在使用时更加舒适自然；可控制机械手臂完成非常规动作，多自由度动作的同时协调运动，提高患者康复效果。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
ｂ ｏ ｄ ｙ ｆ ｏ ｌ ｌ ｏ ｗ ｅ ｄ ｂ ｙ ｆ ｕ ｒ ｔ ｈ ｅ ｒ ｅ ｓ ｔ ａ ｂ ｌ ｉ ｓ ｈ ｉ ｎ ｇ ｔ ｈ ｅ ３ Ｄ ｃ ｏ ｏ ｒ ｄ ｉ ｎ ａ ｔ ｅ ｓ ｏ ｆ ｅ ｖ ｅ ｒ ｙ ｊ ｏ ｉ ｎ ｔ ｏ ｆ ｈ ｕ ｍａ ｎ ｂ ｏ ｄ ｙ ．Ｔ ｈ ｅ ｎ ， ｗ ｅ ｕ ｔ ｉ ｌ ｉ ｓ ｅ ｔ ｈ ｅ ３ Ｄ ｃ ｏ ｏ ｒ ｄ ｉ ｎ ａ ｔ ｅ ｓ ｔ ｏ ｃ ａ ｌ ｃ ｕ ｌ ａ ｔ ｅ ｔ ｈ ｅ
Ｋｉ ｎ ｅ ｃ ｔ ｓ ｅ ｎ ｓ ｏ ｒ ｔ ｏ ｃ ａ ｐ ｔ ｕ ｒ ｅ ｉ ｍａ ｇ ｅ ｄ ｅ ｐ ｔ ｈ ｏ ｆ ｉ ｆ ｅ ｌ ｄ ｄ ａ ｔ ａ，ａ ｎ ｄ ｄ ｅ ａ ｌ ｗ ｉ ｔ ｈ ｔ ｈ ｅ ｄ ａ ｔ ａ ｂ ｙ ｓ ｋ ｅ ｌ ｅ ｔ ａ ｌ ｔ ｒ ａ ｃ ｋ ｉ ｎ ｇ ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ ｔ ｏ ｍａ ｔ ｃ ｈ ｖ ａ ｉ ｒ ｏ ｕ ｓ ｐ ａ ｒ ｔ ｓ ｏ ｆ ｔ ｈ ｅ ｈ ｕ ｍａ ｎ
ｆ ｏ ｕ ｒ ｉ ｏ ｉ ｎ ｔ ｓ ｆ ｏ ４一 ＤＯ Ｆ ｒ ｏ ｂ ｏ ｔ ａ ｍ ．Ｆ ｒ ｉ ｎ ｌｌ ａ ｙ，ｗ ｅ ｔ ｒ ａ ｎ ｓ ｆ ｏ ｒ ｉ ｌ ｌ ｔ ｈ ｅ ｃ ｌｃ ａ ｕ ｌ ａ ｔ ｉ ｏ ｎ ｒ ｅ ｓ ｕ ｌ ｔ ｓ ｔ ｏ ｃ ｏ ｎ ｔ ｒ ｏ ｌ ｃ ｏ ｍｍａ ｎ ｄ ｓ ａ ｎ ｄ ｓ ｅ ｎ ｔ ｔ ｈ ｅ ｍ ｔ ｏ ｃ ｏ ｎ ｔ ｒ ｏ ｌ ｌ ｅ ｒ ｏ ｆ ｔ ｈ ｅ ｒ ｏ ｂ ｏ ｔ ａ ｒ ｎ ｌ
文献标识码
ＤＥＳ Ｉ ＧＮ ＡＮＤ Ｉ ＭＰ ＬＥＭ ＥＮＴＡＴＩ ｏ Ｎ ｏＦ ＲｏＢｏＴ ＡＲＭ Ｓ ｏＭ ＡＴｏＳ ＥＮＳ Ｏ ＲＹ Ｉ ＮＴ ＥＲＡＣＴ Ｉ ｏＮ Ｓ ＹＳ Ｔ ＥＭ ＢＡＳ ＥＤ ｏＮ ＫＩ ＮＥＣＴ Ｓ ＫＥＬＥＴＡＬ Ｉ ＮＦｏＲＭ ＡＴＩ ｏＮ
节 的转动角度 ， 人体 的这 ４个关 节与四 自由度 机械 臂 的４个关节 一一对应。最后将 计算结果 转换成控 制指令通过 串 口发送给机械
臂 的控制器 ， 实现体感交互 。实验表 明， 该方法 能够有效地控 制机械臂 的转动 以及抓取物件。 关键词 中图分 类号 Ｋ ｉ ｎ ｅ ｃ ｔ 骨骼信 息 Ｔ Ｐ ３ １ ９ 机械 臂 Ａ Ｄ Ｏ Ｉ ： １ ０ ． ３ ９ ６ ９ ／ ｊ ． ｉ ｓ ｓ ｎ ． １ ０ ０ ０ － ３ ８ ６ ｘ ． ２ ０ １ ３ ． ０ ２ ． ０ ４ ０
Ａｂ ｓ ｔ ｒ ａ ｃ ｔ Ｉ ｎ ｔ ｈ ｅ ｐ ａ ｐ ｅ ｒ ｗ ｅ ｐ ｒ ｅ ｓ ｅ ｎ ｔ ａ ｒ ｏ ｂ ｏ ｔ ａ ｎ ｎ ｓ ｏ ｍａ ｔ ｏ ｓ ｅ ｎ ｓ ｏ ｒ ｙ ｉ ｎ ｔ ｅ ｒ ａ ｃ ｔ ｉ ｏ ｎ ｍａ ｎ ｎ ｅ ｒ ｂ ａ ｓ ｅ ｄ ｏ ｎ ｔ ｈ ｅ ｈ ｕ ｍａ ｎ ｓ ｋ ｅ ｌ ｅ ｔ ａ ｌ ｉ ｎ ｆ ｏ ｒ ｍａ ｔ ｉ ｏ ｎ ．Ｆ ｉ ｒ ｓ ｔ ，ｗ ｅ ｕ ｓ ｅ
第３ ０卷 第 ２期 ２ ０ １ ３年 ２月
计算机 应 用 与软件
Ｃｏ ｍｐ ｕ ｔ ｅ ｒ Ａｐ ｐ ｌ ｉ ｃ ａ ｔ ｉ ｏ ｎ ｓ ａ ห้องสมุดไป่ตู้ｄ Ｓ ｏ ｆ ｔ ｗａ ｒ ｅ
Ｖ０ １ ． ３ ０ Ｎｏ． ２
Ｆ ｅ ｂ ．２ ０１ ３
基 于 Ｋｉ ｎ ｅ ｃ ｔ 骨 骼 信 息 的机 械 臂 体 感 交 互 系统 的设 计 与 实现
Ｌ ｉ ｎ Ｈａ ｉ ｂ ｏ Ｍｅ ｉ Ｗｅ ｉ ｌ ｉ ｎ Ｚ ｈ ａ ｎ ｇ Ｙｉ Ｌ ｕ ｏ Ｙｕ ａ ｎ
（ Ｒ ｅ ｓ ｅ ａ ｒ ｃ ｈ Ｃ ｅ ｎ ｔ ｅ ｒ ｏ ｆ Ｉ ｎ ｔ ｅ ｌ ｌ ｉ ｇ ｅ ｎ ｔ Ｓ 把 ｍ ａ ｎ ｄ Ｒ ｏ ｂ ｏ ｔ ， Ｎ ａ ｔ ｉ ｏ ｎ ａ ｌ Ｅ ｎ ｇ ｉ ｎ ｅ ｅ ｒ ｉ ｎ ｇ Ｒ ｅ ｓ ｅ ａ ｒ ｃ ｈ ａ ｎ ｄ Ｄ ｅ ｖ ｅ ｌ ｏ ｐ ｍ ｅ ｎ ｔ Ｃ ｅ ｎ ｔ ｅ ｒ ｆ ｏ ｒ Ｉ ｎ ｆ ｏ ｒ ｍａ ｔ ｉ ｏ ｎ Ａ ｃ ｃ ｅ ｓ ｓ ｉ ｂ ｉ ｌ ｉ ｔ ｙ Ｃ ｈ ｏ ｎ ｇ ｑ ｉ ｎ ｇ Ｕ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ ｏ ｆ Ｐ ｏ ｓ ｔ ｓ ａ ｎ ｄ Ｔ ｅ ｌ ｅ ｃ ｏ ｍｍ ｕ ｎ ｉ ｃ ａ ｔ ｉ ｏ ｎ ｓ ， Ｃ ｈ ｏ ｎ ｇ ｑ ｉ ｎ ｇ ４ ０ ０ ０ ６ ５， Ｃ ｈ ｉ ｎ ａ ）
林海波 梅为林 张 毅 罗 元
（ 重庆邮电大学国家信息无障碍工程研 发中心智能系统及机器人研究所 重庆 ４ ０ ０ ０ ６ ５ ）
摘
要
提 出一种 基于人体骨骼信息 的机械臂体感 交互方式。首先利用 Ｋ ｉ ｎ ｅ ｃ ｔ 传感器 获取 图像 景深数据 ， 并通过 骨骼追踪技术
处 理景深数据 ， 以匹配人体 的各个部 分 ， 进 而建 立人体各 个关节 的 ３ Ｄ坐标。然后 利用 ３ Ｄ坐标 值 计算 出人体 腰 、 肩、 肘 和腕 ４个 关
ｒ ｏ ｔ ａ ｔ ｉ ｏ ｎ ａ ｎ ｇ ｌ ｅ ｆ ｏ ｈ ｕ ｍａ ｎ ｗ ａ ｉ ｓ ｔ ， ｓ ｈ ｏ ｕ ｌ ｄ ｅ ｒ ，ｅ ｌ ｂ ｏ ｗ ａ ｎ ｄ ｗ ｒ ｉ ｓ ｔ ｊ ｏ ｉ ｎ ｔ ｓ ．Ｔ ｈ ｅ ｓ ｅ ｆ ｏ ｕ ｒ ｊ ｏ ｉ ｎ ｔ ｓ ｆ ｏ ｈ ｕ ｍ ａ ｎ ｂ ｏ ｄ ｙ ａ ｒ ｅ ｉ ｎ ｏ ｎ ｅ — ｔ ｏ — ｏ ｎ ｅ ｃ ｏ ｒ ｒ ｅ ｓ ｐ ｏ ｎ ｄ ｅ ｎ ｃ ｅ ｗ ｉ ｔ ｈ ｔ ｈ ｅ