基于OpenCV的鼻尖特征点鼠标实时控制系统实现
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
关键词 鼻尖跟踪 鼠标控制系统 特征点跟踪 ＯｐｅｎＣＶ
中图分类号 ＴＰ３９１ 文献标识码 Ａ ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１８．０２．０３９
ＩＭＰＬＥＭＥＮＴＡＴＩＯＮ ＯＦＮＯＳＥＴＩＰＦＥＡＴＵＲＥＭＯＵＳＥＲＥＡＬＴＩＭＥ ＣＯＮＴＲＯＬＳＹＳＴＥＭ ＢＡＳＥＤＯＮＯＰＥＮＣＶ
收稿日期：２０１７－０５－１８。国家自然科学基金项目（６１２６３０１７）。吴博，硕士生，主研领域：实时控制，导航技术，图像处理。王 彬，副教授。翁政魁，博士生。熊新，高工。刘辉，副教授。
wenku.baidu.com 第 ２期
吴博等：基于 ＯｐｅｎＣＶ的鼻尖特征点鼠标实时控制系统实现
２１３
以随时随地使用。 目前关于鼠标控制系统的研究大都集中在基于视
线和眼部生理特征的特征点选取和定位跟踪算法。秦 华标等［４］采用若干个红外光源，利用反射光斑的相对 距离对瞳孔角膜反射向量进行标准化，通过精确定位 瞳孔位置来达到视线跟踪的目的。吴广发等［５］提取人 眼图像中瞳孔角膜反射向量作为视线方向计算模型 所需的视觉信息，通过搭建红外光源设备提取瞳孔角 膜反射向量构建基于瞳孔角膜反射技术的视线跟踪 系统。徐岩柏等［６］提出了一种改进的 Ｃｏｎｄｅｎｓａｔｉｏｎ人 脸特征点跟踪算法，利用增量主元分析的方法对特征 观测模型进行分析，更新面部特征点的特征基和样本 均值。金欢等［７］提出一种基于虹膜识别的视线跟踪方 法，通过调用用户第一次标定时的眼部数据结合当前 的眼部偏转角和偏移量得到当前标定参数，解决了视 线跟踪过程中需反复进行标定的问题。梁洋洋等［８］提 出了一种基于深度自编码器网络的人脸特征点定位方 法，以整张人脸图像为输入，通过对人脸轮廓的分析， 得到三部分特征点并进行定位预测。朱麒文、祝宝龙 等对基于视线跟踪技术的眼部特征点控制鼠标系统进 行了具体的设计和实现［９－１０］。
碍的人群来说，由于手指活动受限，难以使用鼠标操控 计算机。因此亟需为这类人群提供合适的功能代偿类 辅具。鉴于人的面部具有直接性、自然性和双向性等 其他信息所无法具备的特点，使用面部特征点进行鼠 标的控制是近年来研究的热点。面部特征点跟踪属于 一种非侵入式 跟 踪 方 法 ［１－３］，它 可 以 使 用 普 通 摄 像 头 而不需要配备额外的辅助装置，成本低且方便，用户可
摘 要 针对当前基于视线跟踪或眼部特征的机器视觉鼠标控制系统在实际应用中对环境和条件适应性较差 的问题，提出将鼻尖作为人脸局部特征点的实时人脸特征跟踪方法。采用一种带预测机制的改进 ＶｉｏｌａＪｏｎｅｓ框 架，在帧间使用 Ｋａｌｍａｎ滤波算法对下一帧特征点出现位置进行预测，明显提高了特征点跟踪效率。采用 ＶＳ２０１２ 和 ＯｐｅｎＣＶ实现了基于该方法的鼠标指针控制系统。实验结果表明，所实现的鼠标控制系统跟踪处理速度相比 传统方法提高了 ４０％左右。同时该鼠标控制系统实时跟踪效果快速、稳定、平滑，具有良好的环境适用性和鲁 棒性。
Ａｂｓｔｒａｃｔ Ａｉｍｉｎｇａｔｔｈｅｐｒｏｂｌｅｍ ｔｈａｔｔｈｅｃｕｒｒｅｎｔｖｉｓｕａｌｍｏｕｓｅｃｏｎｔｒｏｌｓｙｓｔｅｍ ｂａｓｅｄｏｎｇａｚｅｔｒａｃｋｉｎｇｏｒｅｙｅｆｅａｔｕｒｅｓ ｈａｄｐｏｏｒａｄａｐｔａｂｉｌｉｔｙｔｏｅｎｖｉｒｏｎｍｅｎｔａｎｄｃｏｎｄｉｔｉｏｎｓｉｎｐｒａｃｔｉｃａｌａｐｐｌｉｃａｔｉｏｎｓ，ａｒｅａｌｔｉｍｅｆａｃｉａｌｆｅａｔｕｒｅｔｒａｃｋｉｎｇｍｅｔｈｏｄ ｕｓｉｎｇｎｏｓｅｔｉｐａｓｔｈｅｌｏｃａｌｆｅａｔｕｒｅｐｏｉｎｔｏｆｈｕｍａｎｆａｃｅｗａｓｐｒｏｐｏｓｅｄ．ＴｈｉｓｍｅｔｈｏｄｕｓｅｄａｍｏｄｉｆｉｅｄＶｉｏｌａＪｏｎｅｓｆｒａｍｅｗｏｒｋ ｗｉｔｈａｐｒｅｄｉｃｔｉｏｎｍｅｃｈａｎｉｓｍ ｔｏｐｒｅｄｉｃｔｔｈｅｐｏｓｉｔｉｏｎｏｆｔｈｅｎｅｘｔｆｅａｔｕｒｅｐｏｉｎｔｕｓｉｎｇＫａｌｍａｎｆｉｌｔｅｒｂｅｔｗｅｅｎｆｒａｍｅｓ，ｗｈｉｃｈ ｏｂｖｉｏｕｓｌｙｉｍｐｒｏｖｅｄｔｈｅｆｅａｔｕｒｅｐｏｉｎｔｔｒａｃｋｉｎｇｅｆｆｉｃｉｅｎｃｙ．Ｔｈｅｎｔｈｅｍｏｕｓｅｐｏｉｎｔｅｒｃｏｎｔｒｏｌｓｙｓｔｅｍ ｗａｓａｃｈｉｅｖｅｄｂｙｕｓｉｎｇ ｔｈｅＶＳ２０１２ａｎｄＯｐｅｎＣＶｂａｓｅｄｏｎｔｈｅｍｅｔｈｏｄ．Ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｅｄｔｈａｔｔｈｅｔｒａｃｋｉｎｇｓｐｅｅｄｏｆｔｈｅｍｏｕｓｅｃｏｎｔｒｏｌ ｓｙｓｔｅｍ ｗａｓｉｎｃｒｅａｓｅｄ ｂｙ４０％ ｃｏｍｐａｒｅｄ ｗｉｔｈ ｔｈｅｔｒａｄｉｔｉｏｎａｌｍｅｔｈｏｄ．Ａｔｔｈｅｓａｍｅｔｉｍｅ，ｔｈｅｒｅａｌｔｉｍｅｔｒａｃｋｉｎｇ ｐｅｒｆｏｒｍａｎｃｅｏｆｔｈｅｍｏｕｓｅｃｏｎｔｒｏｌｓｙｓｔｅｍ ｗａｓｆａｓｔ，ｓｔａｂｌｅａｎｄｓｍｏｏｔｈ，ａｎｄｈａｄｇｏｏｄｅｎｖｉｒｏｎｍｅｎｔａｌａｄａｐｔａｂｉｌｉｔｙａｎｄｒｏ ｂｕｓｔｎｅｓｓ．
第 ３５卷第 ２期 ２０１８年 ２月
计算机应用与软件 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ
Ｖｏｌ３５ Ｎｏ．２ Ｆｅｂ．２０１８
基于 ＯｐｅｎＣＶ的鼻尖特征点鼠标实时控制系统实现
吴 博１ 王 彬１ 翁政魁１，２ 熊 新１ 刘 辉１
１（昆明理工大学信息工程与自动化学院 云南 昆明 ６５０５００） ２（上海大学通信与信息工程学院 上海 ２０００７２）
ＷｕＢｏ１ ＷａｎｇＢｉｎ１ ＷｅｎｇＺｈｅｎｇｋｕｉ１，２ ＸｉｏｎｇＸｉｎ１ ＬｉｕＨｕｉ１
１（ＦａｃｕｌｔｙｏｆＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇａｎｄＡｕｔｏｍａｔｉｏｎ，ＫｕｎｍｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，Ｋｕｎｍｉｎｇ６５０５００，Ｙｕｎｎａｎ，Ｃｈｉｎａ） ２（ＳｃｈｏｏｌｏｆＣｏｍｍｕｎｉｃａｔｉｏｎａｎｄＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，ＳｈａｎｇｈａｉＵｎｉｖｅｒｓｉｔｙ，Ｓｈａｎｇｈａｉ２０００７２，Ｃｈｉｎａ）
Ｋｅｙｗｏｒｄｓ Ｔｉｐｏｆｎｏｓｅｔｒａｃｋｉｎｇ Ｍｏｕｓｅｃｏｎｔｒｏｌｓｙｓｔｅｍ Ｆｅａｔｕｒｅｐｏｉｎｔｓｔｒａｃｋｉｎｇ ＯｐｅｎＣＶ
０ 引 言
计算机技术的迅速发展使人类与计算机的关系愈 加密切，其中人机交互技术是高效使用计算机的关键， 而鼠标作为重要的人机交互设备之一，成为计算机使 用过程中最为便利的工具。然而对于存在上肢运动障
中图分类号 ＴＰ３９１ 文献标识码 Ａ ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１８．０２．０３９
ＩＭＰＬＥＭＥＮＴＡＴＩＯＮ ＯＦＮＯＳＥＴＩＰＦＥＡＴＵＲＥＭＯＵＳＥＲＥＡＬＴＩＭＥ ＣＯＮＴＲＯＬＳＹＳＴＥＭ ＢＡＳＥＤＯＮＯＰＥＮＣＶ
收稿日期：２０１７－０５－１８。国家自然科学基金项目（６１２６３０１７）。吴博，硕士生，主研领域：实时控制，导航技术，图像处理。王 彬，副教授。翁政魁，博士生。熊新，高工。刘辉，副教授。
wenku.baidu.com 第 ２期
吴博等：基于 ＯｐｅｎＣＶ的鼻尖特征点鼠标实时控制系统实现
２１３
以随时随地使用。 目前关于鼠标控制系统的研究大都集中在基于视
线和眼部生理特征的特征点选取和定位跟踪算法。秦 华标等［４］采用若干个红外光源，利用反射光斑的相对 距离对瞳孔角膜反射向量进行标准化，通过精确定位 瞳孔位置来达到视线跟踪的目的。吴广发等［５］提取人 眼图像中瞳孔角膜反射向量作为视线方向计算模型 所需的视觉信息，通过搭建红外光源设备提取瞳孔角 膜反射向量构建基于瞳孔角膜反射技术的视线跟踪 系统。徐岩柏等［６］提出了一种改进的 Ｃｏｎｄｅｎｓａｔｉｏｎ人 脸特征点跟踪算法，利用增量主元分析的方法对特征 观测模型进行分析，更新面部特征点的特征基和样本 均值。金欢等［７］提出一种基于虹膜识别的视线跟踪方 法，通过调用用户第一次标定时的眼部数据结合当前 的眼部偏转角和偏移量得到当前标定参数，解决了视 线跟踪过程中需反复进行标定的问题。梁洋洋等［８］提 出了一种基于深度自编码器网络的人脸特征点定位方 法，以整张人脸图像为输入，通过对人脸轮廓的分析， 得到三部分特征点并进行定位预测。朱麒文、祝宝龙 等对基于视线跟踪技术的眼部特征点控制鼠标系统进 行了具体的设计和实现［９－１０］。
碍的人群来说，由于手指活动受限，难以使用鼠标操控 计算机。因此亟需为这类人群提供合适的功能代偿类 辅具。鉴于人的面部具有直接性、自然性和双向性等 其他信息所无法具备的特点，使用面部特征点进行鼠 标的控制是近年来研究的热点。面部特征点跟踪属于 一种非侵入式 跟 踪 方 法 ［１－３］，它 可 以 使 用 普 通 摄 像 头 而不需要配备额外的辅助装置，成本低且方便，用户可
摘 要 针对当前基于视线跟踪或眼部特征的机器视觉鼠标控制系统在实际应用中对环境和条件适应性较差 的问题，提出将鼻尖作为人脸局部特征点的实时人脸特征跟踪方法。采用一种带预测机制的改进 ＶｉｏｌａＪｏｎｅｓ框 架，在帧间使用 Ｋａｌｍａｎ滤波算法对下一帧特征点出现位置进行预测，明显提高了特征点跟踪效率。采用 ＶＳ２０１２ 和 ＯｐｅｎＣＶ实现了基于该方法的鼠标指针控制系统。实验结果表明，所实现的鼠标控制系统跟踪处理速度相比 传统方法提高了 ４０％左右。同时该鼠标控制系统实时跟踪效果快速、稳定、平滑，具有良好的环境适用性和鲁 棒性。
Ａｂｓｔｒａｃｔ Ａｉｍｉｎｇａｔｔｈｅｐｒｏｂｌｅｍ ｔｈａｔｔｈｅｃｕｒｒｅｎｔｖｉｓｕａｌｍｏｕｓｅｃｏｎｔｒｏｌｓｙｓｔｅｍ ｂａｓｅｄｏｎｇａｚｅｔｒａｃｋｉｎｇｏｒｅｙｅｆｅａｔｕｒｅｓ ｈａｄｐｏｏｒａｄａｐｔａｂｉｌｉｔｙｔｏｅｎｖｉｒｏｎｍｅｎｔａｎｄｃｏｎｄｉｔｉｏｎｓｉｎｐｒａｃｔｉｃａｌａｐｐｌｉｃａｔｉｏｎｓ，ａｒｅａｌｔｉｍｅｆａｃｉａｌｆｅａｔｕｒｅｔｒａｃｋｉｎｇｍｅｔｈｏｄ ｕｓｉｎｇｎｏｓｅｔｉｐａｓｔｈｅｌｏｃａｌｆｅａｔｕｒｅｐｏｉｎｔｏｆｈｕｍａｎｆａｃｅｗａｓｐｒｏｐｏｓｅｄ．ＴｈｉｓｍｅｔｈｏｄｕｓｅｄａｍｏｄｉｆｉｅｄＶｉｏｌａＪｏｎｅｓｆｒａｍｅｗｏｒｋ ｗｉｔｈａｐｒｅｄｉｃｔｉｏｎｍｅｃｈａｎｉｓｍ ｔｏｐｒｅｄｉｃｔｔｈｅｐｏｓｉｔｉｏｎｏｆｔｈｅｎｅｘｔｆｅａｔｕｒｅｐｏｉｎｔｕｓｉｎｇＫａｌｍａｎｆｉｌｔｅｒｂｅｔｗｅｅｎｆｒａｍｅｓ，ｗｈｉｃｈ ｏｂｖｉｏｕｓｌｙｉｍｐｒｏｖｅｄｔｈｅｆｅａｔｕｒｅｐｏｉｎｔｔｒａｃｋｉｎｇｅｆｆｉｃｉｅｎｃｙ．Ｔｈｅｎｔｈｅｍｏｕｓｅｐｏｉｎｔｅｒｃｏｎｔｒｏｌｓｙｓｔｅｍ ｗａｓａｃｈｉｅｖｅｄｂｙｕｓｉｎｇ ｔｈｅＶＳ２０１２ａｎｄＯｐｅｎＣＶｂａｓｅｄｏｎｔｈｅｍｅｔｈｏｄ．Ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｅｄｔｈａｔｔｈｅｔｒａｃｋｉｎｇｓｐｅｅｄｏｆｔｈｅｍｏｕｓｅｃｏｎｔｒｏｌ ｓｙｓｔｅｍ ｗａｓｉｎｃｒｅａｓｅｄ ｂｙ４０％ ｃｏｍｐａｒｅｄ ｗｉｔｈ ｔｈｅｔｒａｄｉｔｉｏｎａｌｍｅｔｈｏｄ．Ａｔｔｈｅｓａｍｅｔｉｍｅ，ｔｈｅｒｅａｌｔｉｍｅｔｒａｃｋｉｎｇ ｐｅｒｆｏｒｍａｎｃｅｏｆｔｈｅｍｏｕｓｅｃｏｎｔｒｏｌｓｙｓｔｅｍ ｗａｓｆａｓｔ，ｓｔａｂｌｅａｎｄｓｍｏｏｔｈ，ａｎｄｈａｄｇｏｏｄｅｎｖｉｒｏｎｍｅｎｔａｌａｄａｐｔａｂｉｌｉｔｙａｎｄｒｏ ｂｕｓｔｎｅｓｓ．
第 ３５卷第 ２期 ２０１８年 ２月
计算机应用与软件 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ
Ｖｏｌ３５ Ｎｏ．２ Ｆｅｂ．２０１８
基于 ＯｐｅｎＣＶ的鼻尖特征点鼠标实时控制系统实现
吴 博１ 王 彬１ 翁政魁１，２ 熊 新１ 刘 辉１
１（昆明理工大学信息工程与自动化学院 云南 昆明 ６５０５００） ２（上海大学通信与信息工程学院 上海 ２０００７２）
ＷｕＢｏ１ ＷａｎｇＢｉｎ１ ＷｅｎｇＺｈｅｎｇｋｕｉ１，２ ＸｉｏｎｇＸｉｎ１ ＬｉｕＨｕｉ１
１（ＦａｃｕｌｔｙｏｆＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇａｎｄＡｕｔｏｍａｔｉｏｎ，ＫｕｎｍｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，Ｋｕｎｍｉｎｇ６５０５００，Ｙｕｎｎａｎ，Ｃｈｉｎａ） ２（ＳｃｈｏｏｌｏｆＣｏｍｍｕｎｉｃａｔｉｏｎａｎｄＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，ＳｈａｎｇｈａｉＵｎｉｖｅｒｓｉｔｙ，Ｓｈａｎｇｈａｉ２０００７２，Ｃｈｉｎａ）
Ｋｅｙｗｏｒｄｓ Ｔｉｐｏｆｎｏｓｅｔｒａｃｋｉｎｇ Ｍｏｕｓｅｃｏｎｔｒｏｌｓｙｓｔｅｍ Ｆｅａｔｕｒｅｐｏｉｎｔｓｔｒａｃｋｉｎｇ ＯｐｅｎＣＶ
０ 引 言
计算机技术的迅速发展使人类与计算机的关系愈 加密切，其中人机交互技术是高效使用计算机的关键， 而鼠标作为重要的人机交互设备之一，成为计算机使 用过程中最为便利的工具。然而对于存在上肢运动障