基于智能手机的网络机器人人机交互系统

设备、 控制指令解析、 机器人运动控制等划分为各个分离无关 模块。各模块利用通用平台 （Linux、 Windows） 及程序语言 （C、 C++） 进行开发， 模块间留有独立松散的接口， 可根据具体需求 对相关部分进行扩展或裁减。如图 1， 本人机交互系统主要包 括 iPhone 控制端、 服务器端、 控制器端、 机器人端及图像采集 模块。
电动 云台 Webview 和文本 控件 反馈信息 Internet 姿态调节 控制指令 视频反馈 iPhone控制端 （MacOS ）
2011， 47 （15）
控制器程序 控制器端 （QNXOS ）
65
控人 加速计、 多点 制机 触屏、 按钮等 程交 序互 发送控制指令 3G 网络
经逆运动学 转为关节值 接收笛卡尔 空间指令
轨迹 规划 发送关 节指令
服务器端 （ windowOS ） 解析转发程序 捕获错 反馈信息 错误处理 误信息 笛卡尔空间 控制指令 指令解析 控制指令 TCP/IP 协议 网络视 频模块 光学信息 机器人端
CAN 总线 关节指令 状态反馈
PCI-1980 RH-6 机器人
图像数据 处理
机器人 控制柜
基金项目： 国家自然科学基金 （the National Natural Science Foundation of China under Grant No.60905061） ； 天津市自然科学基金资助项目 （No.08JCYBJC12700） ； 南开大学 “国家大学生创新性实验计划” 资助项目 （No.091005516） 。 作者简介： 李宗玮 （1988—） ， 男， 主研方向为计算机及智能机器人； 孙雷 （1977—） ， 男， 副教授。E-mail： 171566@mail.nankai.edu.cn 收稿日期： 2010-11-24； 修回日期： 2011-03-24
李宗玮， 孙 雷： 基于智能手机的网络机器人人机交互系统 灵活性， 不符合人们自然行为习惯。多通道用户界面与虚拟 现实技术这类多模态人机交互方式可以弥补图形界面方式人 机交互的不足， 利用摄像头、 触屏、 三维鼠标、 力矩球等设备并 通过表情解释、 OCR 与手写识别、 手势解释等技术可以实现具 有极好交互性的自然、 灵活的人机交互。目前在机器人控制 领域， 尤其是服务机器人， 也有基于此类技术的相关研究， 如 语音控制[8]和手势识别控制[9-11]等。其中应用的这些交互技术， 如语音控制技术， 虽然控制直接方便， 但有易受操作环境噪音 干扰、 识别精度低、 能识别的输入信息有限等缺点， 技术尚待 成熟； 又如虚拟现实技术与手势识别技术， 需要佩戴传感器或 是需要仿真头盔、 摄像投影仪等额外设备， 难以随身携带随时 使用。不仅如此， 由于控制机器人使用了专用控制器， 只能对 既定类型机器人进行控制， 其封闭专用的体系结构也难以进 行扩展及改进。 鉴于现有机器人控制人机交互系统的不足， 理想的人机 交互系统应是多模态的， 具有高友好度人机接口、 便携通用性 及开放式系统结构。与此同时， 若能利用网络通讯技术解决 机器人远程控制问题， 无疑将大大提高机器人控制便利性并 拓宽应用范围。随着机器人深入地应用到各个领域， 尤其是 服务机器人逐步进入千家万户， 机器人控制领域迫切需要一 种将机器人遥操作、 多模态人机交互、 友好人机界面、 通用便 携等要素整合起来， 形成一种突破距离限制、 高效通用、 新颖 便携的高易用性的网络机器人人机交互系统[12]。 智能手机这类通用设备恰为构建上述通用便携、 控制自 然灵活的网络机器人人机交互系统提供一个有效手段。利用 其内置 3 维加速计可获取人体动作信息， 并基于隐马尔科夫模 型 （HMM） 解析人的操作意图。结合 iPhone OS 开发平台成熟 的图形界面与 MULTI-TOUCH 触屏等交互技术可实现灵活便 捷、 自然高效的机器人多模态人机交互。其通用便携， 无需额 外设备便可随时随地通过 Internet 对机器人进行突破距离限制 的 6 自由度遥操作的人机交互系统。这不仅是一种创新实用 的机器人控制模式， 随着服务性机器人的普及， 更将给人们的 未来生活带来极大便利。 直观的远程控制。
1
引言
21 世纪， 服务型机器人在世界各地都受到了极大的推
择以人为中心的交互方式及相应设备 [5]。纵观人机交互的发 展， 其经历了命令界面、 图形界面、 多媒体界面等主要阶段， 目 前正向虚拟现实技术和多通道用户界面的方向发展[6-7]。早期 使用终端显示与键盘等设备基于字符界面实现人机交互。这 类交互方式对于某些问题 （计算密集型问题） 或是应用情境 （嵌入式系统开发） 是简洁高效的， 但其抽象复杂性及对记忆 负荷要求令非专业人员望而生畏， 且不适于处理空间的、 非数 值的问题 （图像文字处理） 。当前主流的人机交互方式采用户 图形界面 （WINP/GUI） 或多媒体用户界面， 也是时下国内外机 器人控制系统普遍采用的交互方式， 主要使用键盘、 鼠标与显 示器等 IO 设备。与传统命令界面相比， 具有图形界面的人机 交互更简便直观， 尤其是多媒体技术引入了音频、 视频等动态 媒体， 大大丰富了计算机表现信息的形式。然而， 由于这类交 互方式仍使用键盘、 鼠标等常规输入设备， 这种单通道的输入 不仅存在人机交互通信带宽不平衡的瓶颈， 而且效率差、 缺乏
图 1 体系结构图
2.2
服务器端
服务器端程序使用通用开放的 Windows OS 下的标准 C++
语言开发， 利于体系移植重构。服务器端通过 Internet 接收 iPhone 控制端发送的用户操作信息并进行解析， 然后结合指 令标记位将一系列指令码映射为笛卡尔坐标下机器人的某一 动作或行为。对于不同应用， 服务器端只需将用户的动作操 作信息映射为合适的指令即可， 从而使系统具备更强的通用 可重构性。交互系统中提供了基于行为的机器人控制， 提高 了机器人部分的自主性， 使得控制更智能化， 人机交互更加便 捷高效并减小遥操作网络时延对控制影响[16]。 在本系统中， 服务器端、 控制器端、 机器人端均与同一条 CAN 总线相连， 彼此可通过 CAN 总线直接通讯。服务器即是 通过 CAN 总线将转化后的笛卡尔空间机器人动作指令发送给 控制器端。此外， 对于多用户、 多机器人的应用需求， 可进一 步扩展服务器端的功能， 实现共享的机器人资源管理[17-18]。
速计等） 与机器人技术进行有机融合， 实现基于 HMM 的人体动作控制解析功能的高易用性人机接口 （HMI） 。使用 3G 技术接入 Internet 来构建具有实时网络视频反馈的远程机器人控制平台， 开发出一种通用便携、 控制灵活、 无距离限制的高友好度的机器人 人机交互系统。该系统将作为服务机器人进入千家万户的一个契机， 改变人们未来生活的模式。经实验验证， 该系统实时实用 性能良好， 实现了便携通用的高友好度网络机器人控制。 关键词： 人机交互系统； 人体动作解析； 便携通用； 智能手机 DOI： 10.3778/j.issn.1002-8331.2011.15.018 文章编号： 1002-8331 （2011） 15-0064-05 文献标识码： A 中图分类号： TP872.2
64
2011， 47 （15）
Computer Engineering and Applications 计算机工程与应用
基于智能手机的网络机器人人机交互系统
李宗玮 1， 孙 雷2 LI Zongwei1， SUN Lei2
1.南开大学 信息技术科学学院， 天津 300071 2.南开大学 机器人所， 天津 300071 1.College of Information Technology Science， Nankai University， Tianjin 300071， China 2.Institute of Robot， Nankai University， Tianjin 300071， China LI Zongwei， SUN Lei.Human-machine interaction network robot system based on smart phone.Computer Engineering and Applications， 2011， 47 （15） ： 64-68. Abstract： To break through the constraints of the complexity and exclusivity of conventional method， a novel way of controlling robots is proposed in this paper.By combining the advanced interactive technology of iPhone， such as multi-touch technique， with robotic technology， a promising and effective HMI （Human Machine Interface） based on HMM is developed that can analyze human motion.The latest 3G technology is utilized to realize the video feedback based on the Internet.And finally an interaction system is achieved that is universal， portable， and without limitation of distance.Moreover， this system might become the milestone of service robot who will change our life style.In the experiment， this system has shown perfect real-time ability， highly friendliness， and extreme portability. Key words：human-machine interaction system； resolution of human motion； portable and universal； smart phone 摘 要： 突破传统机器人控制的专用复杂性与封闭性， 创新地将 iPhone 各种硬件资源和先进的交互技术 （如 MULTI-TOUCH、 加
2.3
控制器端
本系统控制器端使用 QNX OS 来提高控制实时性， 控制
周期 16 ms。控制器端从 CAN 总线接收服务器端的笛卡尔空
2ห้องสมุดไป่ตู้
系统结构设计
本人机交互系统采用开放分布式系统结构 ， 将控制交互
[13]
间机器人动作指令， 利用逆运动学计算出目标位置的机器人 可用的关节角度值 （几何法加解析法） 、 利用逆雅克比矩阵求 出机器人可用的关节角速度值 （逆运动学方程求解） ， 再进行 轨迹规划来对各时刻机器人的位姿进行精确控制， 从而完成 某一基本指定动作。控制器端除了实现路径规划算法、 实时 控制算法， 控制器端也实现了避碰算法及关节限位以保证机 器人在工作空间的安全运动和避免机器人关节电机和机械装 置的硬件损伤。
崇。国内外均将发展服务型机器人列为重点项目课题， 或已 开始投入使用
[1-3]
。比尔 · 盖茨在 《科学美国人》 中预言： 机器人
将与 30 年前的个人电脑一样迈入家家户户， 彻底改变人类的 生活方式。虽然服务型机器人有着广阔的发展前景， 但是机 器人自诞生以来， 采用的控制器基本都是开发者基于自己的 封闭独立系统架构开发的。它们采用专用计算机、 专用机器 人编程语言、 专用操作系统， 其昂贵的费用及专用性将严重制 约服务型机器人走进普通家庭这一长远目标。另一方面， 这 些专用的设备不仅不便携带， 而且在使用范围上受到限制， 从 用户角度考虑， 现有的控制手段 （如鼠标、 键盘、 终端显示等 IO 设备） 也不够人性化。一种通用的， 廉价的， 使用方便的服务 型机器人控制器的研发势在必行[4]。 为构建具有良好用户体验的机器人人机交互系统， 应选