一种基于摄像机视觉定位的触控系统初步设计

合集下载

基于视觉的投影-摄像机指尖触控系统

基于视觉的投影-摄像机指尖触控系统宋呈群;程俊【摘要】A vision-based fingertip interactive projector-camera system was presented in this paper. The proposed method can detect touch operations by judging the fusion level of fingertip and its shadow. To improve the robustness of the proposed method, in image detection stage, ifnger and its shadow are extracted and segmented from the image separately. And then, a linear detection model was introduced to judge the fusing level of fingertip and its shadow in the image. While a touching event was detected, the touching location can be calculated from the extracted ifngertip image coordinate. With the proposed method, userscan realize ifnger-based operation on the projector screen without any accessory tools.%文章提出了一种基于视觉的投影交互方法，通过判断用户手指与其在屏幕上投射阴影的融合程度来检测投影屏幕上是否有触控事件发生。

为提升系统的鲁棒性，在检测阶段，将手指与其阴影同时从相机图像中分割出来，进而采用一种线性模型判断方法来判定手指与其阴影的融合程度，如果判定触碰事件发生，则通过指尖位置检测来判断触控的具体位置。

Multi_Touch智能红外交互投影系统

关键词：多点触摸；红外光；增强现实；手势识别该系统的构建基于光学原理实现多点触摸、追踪和识别的人机交互技术，它是通过手指触摸或激光笔在交互设备方面，近年来出现了很多支持人手操作的新型输入设备，这使得人手与机器自然交互的进一步应用成为可能。例如美国 MERL(三菱电气研究实验室)的 Dia—mondTouch[1]，索尼的 SmartSkine[2]，这些交互设备通过以及微软最新推出的 Surface[3]等。识别多点触摸，将人手操作应用于人机交互，得到了很好的效果。交互方式随着技术发展也越来越多[4]，常用交互方式有红外对射式、电阻膜式、电容式、声波式和基于摄像机的人机交互等。现在显示方式主要分为显示器和投影显示两大类，显示器虽然在显示效果上优于投影系统[5]，但随着各个领域对显示设备在显示尺寸、占用空间和应用场所等方面的要求越来越高，显示器在某些领域逐渐被更具优势的投影显示系统所取代[6]。但互动投影系统根据目前所使用的技术，有成本太高、定位不准、反应速度慢、投影面材质局限等缺点，同时大多数产品只能利用红外笔或电磁笔去控制，无法实现用手进行多点触摸控制，因此无法给用户带来较好的体验。 Multi-Touch 智能红外交互投影系统给出了解决这些问题的另一种思路：通过在作为投影屏幕的亚克力板上制造红外光层，利用摄像头检测物体接触屏幕时反射的红外光，再利用相应的软件程序分析，从而实现高性价比的多点触摸交互设备。照射来操作计算机的新型投影系统，低成本、高性能，能应用到增强现实（Augmented Reality，AR）[7]这一虚拟现实技术的新兴领域，并通过计算机网络连接，实现物联网的“人—物”信息交换功能。该系统硬件搭建的具体方法是根据实际应用需要，在竖直和水平两个平面上采取不同的方案。（1）在竖直投影平面上制造一层与其平行的红外光面，用摄像头捕捉物体接触投影面时所反射的红外光，再由特定的图像分析软件来定位、跟踪、识别、解释，最后再通过投影仪将反馈信息表达出来。竖直平面结构图如图 1 所示。

一种基于摄像头的大屏幕触摸屏[实用新型专利]

专利名称：一种基于摄像头的大屏幕触摸屏专利类型：实用新型专利
发明人：鞠怡明,朱瑞
申请号：CN201120331222.3
申请日：20110906
公开号：CN202196385U
公开日：
20120418
专利内容由知识产权出版社提供
摘要：本实用新型公开了一种基于摄像头的大屏幕触摸屏，目的在于解决现有技术所存在的大尺寸触摸屏成本高、造价高的技术问题，提供一种基于摄像头的触摸屏，它采用摄像头作为触摸检测装置，从而使触摸屏结构简单、控制精度较高、制造成本大幅降低，它包括显示屏，还包括摄像头，触摸检测器，摄像头的图像输出端连接触摸检测器，摄像头安装在显示屏的边角上，摄像头的视野覆盖全屏幕。

它可广泛用于各种较大触摸屏应用场合，尤其在大屏幕触摸屏上使用，低成本效果更加显著。

申请人：苏州科雷芯电子科技有限公司
地址：215163 江苏省苏州市高新区培源路2号微系统园M1-203室
国籍：CN
代理机构：杭州杭诚专利事务所有限公司
代理人：尉伟敏
更多信息请下载全文后查看。

一种视频嵌入的触摸控制系统[发明专利]

专利名称：一种视频嵌入的触摸控制系统专利类型：发明专利
发明人：刘建
申请号：CN201711383539.X
申请日：20171220
公开号：CN107995469A
公开日：
20180504
专利内容由知识产权出版社提供
摘要：一种视频嵌入的触摸控制系统，包括视频采集模块、视频综合处理模块、智能控制模块、综合信息显示模块、触控模块、被控设备和数据存储模块；视频采集模块输出端与视频综合处理模块的输入端连接，视频综合处理模块的视频输出端与综合信息显示模块的视频输入端连接，触控模块的控制信号输出端与综合信息显示模块控制信号输入端连接，综合信息显示模块的数据输出端与数据存储模块输入端连接，综合信息显示模块的控制信号输出端与智能控制模块的控制信号输入端连接，智能控制模块的控制信号输出端与被控设备的控制信号输入端连接。

该系统结构简单，补充了传统监控模式，达到了能见则能监控的目标，还可及时在触控模块输入调整指令和调整设备运行状态。

申请人：刘建
地址：221000 江苏省徐州市云龙区汉源大道104号
国籍：CN
更多信息请下载全文后查看。

一种基于图像处理技术的便捷式触控交互系统[发明专利]

(10)申请公布号 (43)申请公布日 2013.05.08C N 103092437 A (21)申请号 201210541698.9(22)申请日 2012.12.13G06F 3/042(2006.01)(71)申请人同济大学地址200092 上海市杨浦区四平路1239号(72)发明人叶晨居征宇简荣军陈伟周文宗(74)专利代理机构上海科盛知识产权代理有限公司 31225代理人赵继明(54)发明名称一种基于图像处理技术的便捷式触控交互系统(57)摘要本发明涉及一种基于图像处理技术的便捷式触控交互系统，用于在交互载体上的人机交互，包括投影仪、摄像头、处理中心和舵机云台，所述的处理中心分别连接投影仪、摄像头和舵机云台，所述的舵机云台分别连接投影仪和摄像头；舵机云台跟踪交互载体，并控制投影仪将交互界面投影到交互载体上，同时控制摄像头的拍摄角度，摄像头拍摄人机交互过程传递给处理中心，处理中心对接收到的图像进行预处理，采用指尖识别算法识别人的手势。

与现有技术相比，本发明通过舵机对交互载体进行跟踪，并通过新颖的指尖识别算法对指尖进行识别，具有可携带性、识别率高、容易实现、配置方便等优点。

(51)Int.Cl.权利要求书2页说明书6页附图2页(19)中华人民共和国国家知识产权局(12)发明专利申请权利要求书2页说明书6页附图2页(10)申请公布号CN 103092437 A*CN103092437A*1.一种基于图像处理技术的便捷式触控交互系统，用于在交互载体上的人机交互，其特征在于，包括投影仪、摄像头、处理中心和舵机云台，所述的处理中心分别连接投影仪、摄像头和舵机云台，所述的舵机云台分别连接投影仪和摄像头；舵机云台跟踪交互载体，并控制投影仪将交互界面投影到交互载体上，同时控制摄像头的拍摄角度，摄像头拍摄人机交互过程传递给处理中心，处理中心对接收到的图像进行预处理，采用指尖识别算法识别人的手势。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

仲恺农业工程学院《物联网技术》课程论文一种基于摄像机视觉定位的触控系统初步设计姓名黄国盛专业班级工化144班学号201421714406日期2017年4月18日评语：成绩：一种基于摄像机视觉定位的触控系统初步设计黄国盛(仲恺农业工程学院工化144班06号201421714406)摘要:本文的工作是通过屏幕边缘正上发和屏幕前方有一定角度的两个摄像头实现对触摸动作的跟踪，设计了一个种从摄像头获取的图像中实时定位触摸点的触摸系统。

基本原理是为系统建立状态模型，根据屏幕正面摄像头获取的图像捕捉触摸实体的边缘点（指尖或笔尖）相对于屏幕的坐标，以及根据屏幕上方摄像头图像中成像来确认触摸动作是否有效。

关键词:摄像机；视觉定位;；触控；边缘检测；0引言目前人们在用中的笔记本或外接显示器大都不具备触控功能，为了满足高端产品消费者的需求，现在很多新款笔记本都将触控屏幕作为了标准装备，一台带触控的笔记本至少3999元，支持触控的显示器也要2999元起，对绝大多数普通用户而言，触控的成本实在太高。

因此市场上出现了可覆盖在笔记本屏幕表面的电阻屏，但DIY改造有一定的技术门槛，涉及到拆卸笔记本屏幕、固定屏幕液晶面板、走线、控制板和USB口的焊线等技术，电阻屏及其组装的费用也要200元左右。

2015年底，初创科技公司Neonode研发了一款名为“Airbar”的电脑配件，通过USB接口连接放置于屏幕下方，利用发射红外线光并接收光折射率来感应其触控点即可实现触摸屏效果。

AirBar兼容性强、功能强大并且操作简单，但其售价49美元（约合人民币317元）。

当然也有基于超声波传感技术的触摸点位置坐标检测技术，但超声波在近距离的误差比较大，精度不够，也难以发现和排除干扰，而且至少需要一个超声波发射器和三个接收器，所以实用性不大。

因此，我们需要一个成本不高但又可以把非触控屏转换成触控屏的方法。

我将在此探求采用低成本USB电脑外置摄像头（最多不超过100元）实现非触控屏转触控屏的方法及其可行性。

顺便解决现有交互平面触摸技术存在的缺陷——常见的触摸技术需要特定的材料支持，因此不能有效适应交互平面的尺寸变化，材料的透明度也会影响投影的显示效果。

1方案论证方案一利用放置于显示平面两个顶角的摄像机获取图像，通过图像处理提取笔成像的中心点，然后使用三角定位法和坐标变换计算得到笔的坐标位置，实现对一支笔运动的实时跟踪[1]。

缺点1、有盲区，对处于两摄像头连线之间的所有点无法用三角定位法定位（连线上的所有点在两个摄像头的成像角度都是一样的）。

若要改进则需在显示平面下端再加一个摄像头以辨别出现在顶角两摄像头连线上的点。

但笔记本电脑要同时供三个摄像头需要增加视频采集卡或者PCI-USB 拓展卡，这样占用了CPU资源，不仅耗电也增加了成本，且需要电脑有较高的显卡配置。

或者摄像头可应用虚焦测距法或散焦测距法对笔的深度信息进行采集，但又增加了变量；缺点2、只能在特定尺寸屏幕的特定位置同时安装两个摄像头，及其不便也不方便移植。

方案二采用双目立体视觉的目标识别与定位，即在显示平面前方区域放置两个摄像头，对手或笔进行三维定位。

缺点1：无法准确捕捉到笔和显示平面的接触的时刻，也就不能确认接触点。

所以就算是立体定位，在此也不太实用。

缺点2：两个摄像头、显示屏幕的相对位置都需要已知，也就是整个触摸系统一旦设定后不能有位置变动，也不方便移植应用。

结合以上两种方案，我们采用两个USB摄像头(成本少于20元)，一个摄像头位于屏幕前方（一下简称A摄像头）对着屏幕，用于定位屏幕和触摸源方便建模。

另一个摄像头位于显示平面正上端（以下简称B摄像头）紧贴着显示平面，用于检测是否有触摸动作。

使用PCI-USB拓展卡节省电脑USB接口资源。

2基本原理为了实现对指尖或笔尖的定位，我们可以采用单目视觉定位来测量，即通过A摄像头获取图片并传到计算机进行相应的图像处理算法，进而得出目标物体相对屏幕的二维坐标。

当然我们只需要通边缘检测后就可得到屏幕坐标系和指尖坐标。

为了实现判别二维平面上物体的出现，我们可以采用大于180度的大广角线阵摄像头，这样就形成了一个平行于安装平面的扫描平面，如果使用的是广角面阵摄像头取其中的一行或几行象素点也可以形成扫描平面。

只要在屏幕正面有一定高度的区域中，任何穿过扫描平面的物体都会被摄像头B捕捉成像，物体位置不同成像的位置也不同。

图1基本原理3A摄像头3.1识别方法选择对于目标物体的识别，本系统是采用Canny边缘检测找出所有可能的边缘信息，然后对边缘信息进行提取和分析，进而识别出目标物体。

与该目标物体的识别还有一种方法是采用阈值算法分割出特定灰度值范围内的物体，但该算法受光照影响较大，而边缘检测受光照影响较少，因此采用Canny边缘检测算法[2]。

3.2Canny边缘检测算法边缘检测的算法主要是基于图像增强的一阶和二阶导数。

Canny边缘检测算子是JohnF.Canny 于1986年开发出来的一个多级边缘检测算法。

Canny的目标是找到一个最优的边缘检测算法。

其具有的优点是：（1）低错误性：标识出尽可能多的实际边缘，同时尽可能地减少噪声产生的误报。

（2）高定位性：标识出的边缘要与图像中的实际边缘尽可能接近。

（3）最小效应：图像中的边缘只能标识一次，并且可能存在的图像噪声不应标识为边缘。

其步骤是，首先使用高斯平滑滤波器卷积降噪，计算梯度幅值和方向，然后进行非极大值抑制，排除非边缘像素，仅仅保留了一些细线条，最后滞后阈值。

对上面经过均值滤波的灰度图进行Canny 边缘检测[2]。

3.3如何建立坐标识别屏幕梯形轮廓（因为摄像头是从左侧拍摄），建立X轴和Y轴步进都递减的衰减坐标（递减比例根据对边的比例设定）。

3.4轮廓分析方法对轮廓进行分析处理，找出目标物体。

轮廓分析算法：遍历所有轮廓，排除凹轮廓和轮廓像素面积过小的轮廓，找出轮廓为边缘端开始连续较长的轮廓线，并提取其最左端顶点（即找到手部轮廓和指尖，因为手部的轮廓一定从边缘开始且连续较长。

）3.5定位方法假设摄像头广角较低，畸变不厉害。

定位功能得出的坐标是相对于自定义的图像坐标而言的，在该系统中，定义的原点就是屏幕左下角。

3.6用MATLAB实现Canny算法检测阶跃边缘的基本思想是在图像中找出具有局部最大梯度幅值的像素点。

而canny算子边缘检测算法则是既能滤去噪声又保持边缘特性的边缘检测的一阶微分算法中的最佳选择方法。

MATLAB 部分测试程序如下（模拟对单帧图像进行处理）：I=imread('C:\Users\Administrator\Desktop\201421714406.bmp');%读图I=rgb2gray(I);%转为灰度图像imshow(I);title('原始图像');BW1=edge(I,'Canny',0.00);%edge调用Canny为检测算子，判别阈值为0.00 figure,imshow(BW1);%显示分割后的图像，即梯度图像title('阈值为0.00的Canny算子边缘检测图像');BW2=edge(I,'Canny',0.05);%edge调用Canny为检测算子，判别阈值为0.05 figure,imshow(BW2);title('阈值为0.05的Canny算子边缘检测图像');BW20=edge(I,'Canny',0.1);%edge调用Canny为检测算子，判别阈值为0.1 figure,imshow(BW20);title('阈值为0.1的Canny算子边缘检测图像');BW21=edge(I,'Canny',0.2);%edge调用Canny为检测算子，判别阈值为0.2 figure,imshow(BW21);title('阈值为0.2的Canny算子边缘检测图像');BW22=edge(I,'Canny',0.3);%edge调用Canny为检测算子，判别阈值为0.3 figure,imshow(BW22);title('阈值为0.3的Canny算子边缘检测图像');试验结果如下图所示：图2灰度图像、判别阈值分别为0.00、0.05图3判别阈值分别为0.1、0.2、0.3由于手部轮廓线穿过屏幕轮廓边缘且其轮廓线连续较长，有一定的曲线变化规律，为手部的识别和指尖的定位提供了方便。

当判别阀值超过0.1时手部轮廓线开始丢失，所以选择判别阀值为0.1的图像进行坐标建立和指尖定位。

图4判别阈值分别为0.14有待解决的问题4.1如何按一定频率读取摄像头图像并用图像处理软件读取。

4.1如何通过MATLAB实现梯形坐标的建立及如何获取手部轮廓。

4.2如何把获取的坐标换算成电脑鼠标的工作参数并传递给电脑。

4.3如何排除屏幕复杂画面的干扰。

4.4两个摄像头的组合能否实现多点的识别定位和动作判断以实现复杂的功能等等。

5结束语本文提出一种基于摄像机视觉定位的触控系统的初步设计。

采用两个摄像头，一个摄像头位于屏幕前方对着屏幕，用于定位屏幕和触摸源方便建模。

另一个摄像头位于显示平面正上端（紧贴着显示平面，用于检测是否有触摸动作。

用强大的MATLAB对一帧图像进行了实验，确认了系统设计的可行性。

要实现整个系统还需要补充很多知识，比如了解鼠标、触控屏等外围输入设备的工作原理、深入学习计算机视觉和图像边缘检测技术等等。

在接下来的时间里，作者会尽量完善该系统，实现基于摄像机视觉定位的交互式触控系统。

6、参考文献:[1]陈孝杰,史元春,龚伟.显示表面上基于双摄像机的双笔同时定位[C]//建立和谐人机环境联合学术会议.2005.[2]马晓东,蒋明,柯善浩,等.基于opencv的单目视觉测量系统的研究[J].计算机测量与控制, 2015,23(12):3943-3945.[3]杨先花,黎粤华.基于Matlab图像边缘检测算法效果对比[J].机电产品开发与创新,2010, 23(2):129-131.[4]刘井元,李玉良,张传锴.基于MATLAB的数字图像边缘检测技术[J].2010.[5]杨耿,和卫星.运动目标图像识别与跟踪系统的研究[J].计算机测量与控制,2005,13(3):267-269.[6]董杰.基于单目视觉的散焦测距算法的研究[D].中国海洋大学,2010.[7]何淑珍.基于灰度梯度的散焦图像测距算法的研究[D].中国海洋大学,2008.。