一种基于眼动追踪技术的眼动交互方法、系统及设备[发明专利]

(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202010827022.0
(22)申请日 2020.08.17
(71)申请人 陈涛
地址 430014 湖北省武汉市东湖高新技术
开发区神墩三路光谷188国际社区
(72)发明人 陈涛　
(74)专利代理机构 北京金智普华知识产权代理
有限公司 11401
代理人 杨采良
(51)Int.Cl.
G06F 3/01(2006.01)
G06F 3/0484(2013.01)
G06F 3/0487(2013.01)
G06F 3/16(2006.01)
G06N 3/04(2006.01)
G06N 3/08(2006.01)
(54)发明名称一种基于眼动追踪技术的眼动交互方法、系统及设备(57)摘要本发明属于眼动追踪技术领域，公开了一种基于眼动追踪技术的眼动交互方法、系统及设备，采用设置感应区域被动吸附注视光标或眼动交互意图预测主动吸附注视光标对目标进行选择；通过为不同的目标设置相应感应区域即有效点击区域，当光标接触或覆盖某一目标的感应区域时，同时检测是否存在眼颤、扫视距离是否超过阈值等眼动行为，进而吸附或突出显示目标物体。

本方法还采用机器学习算法对用户眼睛运动行为数据进行训练，对数据进行过滤、处理和分析，训练出眼动行为规律，获得用户主观意识眼动交互意图模型。

通过上述方法以增加眼动交互过程中的稳定性、准确性，提高眼动交互的用户
体验度。

权利要求书7页 说明书38页 附图13页CN 111949131 A 2020.11.17
C N 111949131
A
1.一种基于眼动追踪技术的眼动交互方法，其特征在于，所述基于眼动追踪技术的眼动交互方法采用设置感应区域被动吸附注视光标或眼动交互意图预测主动吸附注视光标对目标进行选择；
所述设置感应区域被动吸附注视光标对目标进行选择的方法通过为不同的目标设置相应感应区域即有效点击区域，当光标接触或覆盖某一目标的感应区域时，或/和同时检测是否存在眼颤、扫视距离是否超过阈值等眼动行为，若存在则动吸附于该目标上，及通过检测用户的眼球状态和感应区的接触情况，光标被动吸附在交互目标上；
所述眼动交互意图预测主动吸附注视光标对目标进行选择的方法采用人工智能的机器学习算法对用户眼睛运动行为数据进行训练，对数据进行过滤、处理和分析，训练出眼动行为规律，获得用户主观意识眼动交互意图模型，基于所述眼动交互意图模型对用户正在进行的眼动行为进行预测下一步的眼动着陆点，并系统主动选中着陆点附近吸附目标。

2.如权利要求1所述基于眼动追踪技术的眼动交互方法，其特征在于，所述设置感应区域被动吸附注视光标对目标进行选择的方法包括：
步骤一、显示系统呈现虚拟交互目标；
步骤二、设备的眼动追踪模组捕获用户注视点位置坐标，注视点以光标的形式映射在显示设备屏幕或/和三维空间中；
步骤三、设备客户端实时检测注视点光标位置与虚拟交互目标的感应区之间的是否碰撞；
步骤四、在与感应区发生碰撞时，设备客户端检测用户发生注视时间超过一定阈值、扫视距离在预设阈值范围内、在感应区域附近反复眼颤、形成注视点云、特殊的视线运动轨迹眼睛行为数据，或/和用户情绪；
步骤五、根据第四步的检测结果，将交互光标被动吸附于虚拟目标并选中，和/或呈现突显效果；
步骤六、当眼动光标如上述方法选中目标按钮后，MR眼镜的反馈装置向用户发出反馈信息，并通过其他交互模组或者直接检测眼睛的动作进行点击操作。

3.如权利要求2所述基于眼动追踪技术的眼动交互方法，其特征在于，步骤二中，所述眼动追踪模组捕获用户眼睛注视点坐标和视线运动轨迹及相关眼球行为数据的眼动追踪硬件技术方法包括：
(1)利用多个不可见红外光源、微型摄像头、反光热镜、光波导镜片及其他硬件通过接收眼睛反射光线，计算瞳孔中心与角膜中心的连线进行眼动追踪；
(2)利用不可见红外光源、光敏传感器、MEMS微机械系统反射镜、光波导镜片捕获眼睛图像或者计算视网膜的影像或者视网膜反射光的强度进行眼动追踪；
(3)通过发射结构光对眼睛建模，计算眼睛模型的视觉中心进行眼动追踪；
(4)利用不可见红外光源、光敏传感器、MEMS微机械系统反射镜、光波导镜片接收眼睛角膜的反射光线，计算角膜中心反射的强度最大的光来进行眼动追踪。

4.如权利要求2所述基于眼动追踪技术的眼动交互方法，其特征在于，步骤二中，所述眼动数据为由眼动追踪模组采集的用户眼睛的运动数据转化成的实时变化的数字信号；所述眼动数据包括眼睛注视点的x，y，z坐标、视觉深度、眼跳频率、眼跳距离、运动加速度、眼颤、注视时长、眨眼、瞳孔直径变化等，并且可以将眼动数据分析成热力图、视觉轨迹图等分
析图表，所述滤波算法包括限幅滤波法即程序预判滤波法、中位值滤波法、算术平均滤波法、递推平均滤波法即滑动平均滤波法、中位值平均滤波法即防脉冲干扰平均滤波法、限幅平均滤波法、一阶滞后滤波法、加权递推平均滤波法、消抖滤波法、限幅消抖滤波法、IR数字滤波器。

5.如权利要求2所述基于眼动追踪技术的眼动交互方法，其特征在于，步骤二中，所述注视点以光标的形式映射显示设备屏幕或物理/虚拟三维空间中包括：
将用户眼睛视线坐标映射于MR眼镜的混合现实空间中或/和光学显示器坐标系中，以光标的形式呈现；
将稳定的实时动态变化的眼动数据输入至一种动态光标的几何中心上，并实时映射于设备的光学成像屏幕上，得到运动轨迹稳定、平滑的动态眼动光标；
所述动态光标为在光学成像屏幕上呈现的肉眼可见的图形；或不可见的隐形光标；或者为在交互时可见，不交互时不可见的图形；
所述眼动光标可具有圆形、矩形、圆角矩形、三角形、圆角三角形、以及其他多边形/圆角多边形形状；所述眼动光标的大小根据用户的使用习惯或者交互界面的设计和布局确定。

6.如权利要求2所述基于眼动追踪技术的眼动交互方法，其特征在于，步骤三中，所述虚拟交互目标包括MR眼镜的光学成像屏幕上呈现的可点击的交互目标象，及所有可进行点击交互的按钮、UI、图片、文字菜单；或通过图像识别模组识别实际的物体。

7.如权利要求2所述基于眼动追踪技术的眼动交互方法，其特征在于，步骤三中，所述设备客户端实时检测注视点光标位置与虚拟目标的感应区之间的是否碰撞的方法具体是：客户端软件或内部系统软件在运行时加载检测眼动光标与交互目标及其感应区之间接触情况的可执行代码程序组件；另一种实施例中网页浏览器可能需要安装某种插件用于光标与交互目标的接触检测，所述代码程序组件可由客户端/系统开发时即配置完成，或者由是一种API可调用程序接口实现。

8.如权利要求2所述基于眼动追踪技术的眼动交互方法，其特征在于，步骤三中，所述眼动光标与各个交互目标的感应区之间的接触情况的实时检测方法包括：通过软件程序实现眼动光标与任意交互目标感应区的接触反馈，反馈信息包括光标与目标感应区接触的起止时间、光标与各个目标感应区重叠部分的面积、光标到交互目标的几何中心距离等，通过上述反馈信息检测接触情况。

9.如权利要求2所述基于眼动追踪技术的眼动交互方法，其特征在于，步骤三中，所述交互目标设置感应区的设置方法具体为：自动设置感应区域插件首先在编程界面中检测交互指令的代码和/或定义UI图层的代码，确定UI界面的交互目标，再经开发工程师确认后，根据UI图层的几何中心坐标、大小、形状、层级自动添加眼动感应区域；客户端软件或内部系统软件在启动/运行时加载为所有可点击的交互目标设置感应区的可执行代码程序组件，网页浏览器可能需要安装某种插件用于交互目标的感应区设置；
所述感应区是指交互目标的有效点击区域，由所述脚本/插件按目标大小和形状的一定比例或者根据目标的分布按泰森多边形算法进行设置，感应区一般设置不可见，也包括可见的设置；所述一定比例根据交互目标的大小取不小于1的任何合适的比例。

10.如权利要求2所述基于眼动追踪技术的眼动交互方法，其特征在于，步骤四中，所述
接触/碰撞情况包括：在与感应区发生碰撞时，设备客户端检测用户发生注视时间超过一定阈值、反复眼颤、形成注视点云、扫视距离、特殊的视线运动轨迹等眼睛行为数据中；所述眼睛行为数据是指眼动追踪模组采集的用户眼睛运动过程中信息，将眼睛的运动信息转化为数字信号，并且是实时变化的，其眼动追踪模组被配置为检测的眼睛行为数据包括但不限于：眼睛注视点的x，y，z坐标、视觉深度、眼跳频率、眼跳距离、运动加速度、眼颤、注视时长、眨眼、瞳孔直径变化，并且将眼动数据分析成热力图、视觉轨迹图分析图表。

11.如权利要求10所述基于眼动追踪技术的眼动交互方法，其特征在于，所述注视点云具体为：注视点云为多个检测到的注视位置形成的云状注视范围，注视点云作为单个光标或作为动态光标出现；随着检测到的多个注视位置的变化而变化的形状；注视点数量的是任意数量和任意采样率来收集检测到的注视位置的序列，任意持续时间。

12.如权利要求2所述基于眼动追踪技术的眼动交互方法，其特征在于，步骤五中，所述眼动光标被动吸附于交互目标并选中是指在程序处理层面选中该交互目标作为下一步的计算目标；当步骤四判断用户对该交互按钮具有交互意图时，则将眼动光标脱离原有注视点映射关系，主动吸附在交互目标上，对交互按钮进行选择，其中交互目标可以是三维模型、平面图像等，眼动光标将吸附到几何中心上；
系统根据此时发生眼颤的注视位置为中心启动突显效果，突显效果具体为出现一个鱼眼球形/六边形的窗口，窗口内所显示内容为当前注视位置放大一定比例之后的影像；突显窗口不会随着注视点位置的移动而改变位置，注视交互的光标可以在突显窗口更精确选择放大后交互目标；
当眼动追踪装置检测眼睛的注视点离开突显窗口，MR眼镜的眼动追踪装置通过检测眼睛离开感应区后的第一眼跳落点位置与突显窗口中心点距离超过一定阈值，则可关闭突显窗口，或停止吸附状态时。

13.如权利要求2所述基于眼动追踪技术的眼动交互方法，其特征在于，步骤六中，所述通过其他交互模组或者直接检测眼睛的动作进行点击操作包括：
1)通过移动控制器进行点击操作；
所述移动控制器包括：多自由度的按键式控制器、指尖控制器、戒指控制器、手环控制器；
2)通过手势识别模组进行点击操作；
所述手势识别模组包括：手势识别摄像头或结构光摄像机；
所述手势识别摄像头或结构光摄像机捕获用户手部的动作图像，通过计算机比对识别特定的手势进行交互；
3)通过语音识别模组进行点击操作；
所述语音识别模组包括：一种有声语音识别模组包括录音装置、声音过滤器、语音识别装置或者一种无声语言识别模组包括肌肉电接收和识别装置。

14.如权利要求2所述的基于眼动追踪技术的眼动交互方法，其特征在于，所述基于眼动追踪技术的眼动交互方法为真实物理世界中的物体建立可点击的交互目标的方法包括：通过MR眼镜前端的图像识别摄像头获取用户前方的真实环境画面，将视频画面/图像画面信息转化为电信息；
进行图像信息预处理；
进行特征抽取和选择，输入图像卷积神经网络模型训练，得到图像识别模型，图像识别模型识别真实物理世界中的物体后，通过设备的光学成像屏幕为这些物体边缘叠加虚拟全息交互边框；
用户通过眼动追踪控制眼动光标与该物体进行交互。

15.如权利要求1所述的基于眼动追踪技术的眼动交互方法，其特征在于，所述基于眼动追踪技术的眼动交互方法基于AI眼动交互意图预测模型的主动选择交互方法包括以下步骤：
第一步，显示系统呈现虚拟交互目标，同时获取虚拟交互目标位置坐标；
第二步，设置在MR眼镜或车载显示器的客户端、系统中的脚本、插件或从数据库采集用户一组或多组的眼动行为数据、头动数据、用户属性数据、终端本地数据、用户情绪/心态，通过这些信息选择至少一种合适眼动预测模型；
第三步，对上述数据进行预处理，识别相应的行为事件并分类，其中包括识别是否发生扫视和摆头行为，若发生则进行第四步；
第四步，将实时检测到的用户眼动数据、头动数据和交互目标位置坐标输入第二步选择的“眼动交互意图预测模型”进行匹配计算，进而预测用户对目标按钮的交互意图和/或的眼动着陆点；
第五步，根据第四步的预测结果，将交互光标主动吸附于虚拟目标并选中，和/或呈现突显效果；
第六步，当眼动光标如上述方法选中目标按钮后，MR眼镜或车载显示器的反馈装置向用户发出反馈信息，并通过其他交互模组或者直接检测眼睛的动作进行点击操作；
第七步，记录用户最终选择的结果，并将实时的眼动数据反馈至眼动交互意图模型继续训练。

16.如权利要求15所述的基于眼动追踪技术的眼动交互方法，其特征在于，第二步中，设置在MR眼镜客户端、系统中的脚本、插件或从数据库采集一组或多组用户的眼动行为数据、头动数据、用户属性数据、终端本地数据、用户情绪/心态，通过信息选择至少一种合适眼动交互意图预测模型；
收集该信息可以包括收集注视位置信息，收集头部位置信息，收集图像数据；
头部位置跟踪系统包括位置和运动传感器，加速度计光源和/或其他用于获取MR眼镜的位置，方向和运动的设备；从头部位置跟踪系统接收头部位置信息；将头部位置信息提供给眼动交互意图预测模型的头部位置跟踪系统；在MR眼镜上共同形成一个惯性测量单元；头部位置信息可以帮助确定用户的头部运动，旋转或方向；
眼动交互意图预测模型包括通用眼动预测模型，个人眼动预测模型，应用软件眼动预测模型；
眼动交互意图预测模型的选择机制如下：
如果终端MR眼镜刚激活，和/或某应用软件第一次安装，和/或在网络/本地数据库没有检索到与当前用户匹配的账户，并且也没有在数据库检索到该应用软件UI界面信息，则仅使用通用眼动预测模型；
如果系统检索到与当前用户匹配的账户，及在服务器数据库中检索到用户个人信息和历史眼动轨迹、眼动习惯数据，则使用已训练好的个人眼动预测模型，个人眼动预测模型”
完全替换通用眼动预测模型；个人眼动预测模型通过用户历史使用过程中产生的数据优化通用眼动预测模型获得，即在通用眼动预测模型基础上进一步训练获得个人眼动预测模型；数据例如其中所述个人用户数据包括用户的年龄、用户的性别、学历、阅读或/和认知习惯、个人的扫视速度、用户当前环境、用户当前眼动行为发生的起始时间以及经历时间多个维度的特征；
如果系统在数据库检索到当前应用软件信息，及应用软件UI界面信息，则加载该软件已训练应用软件眼动预测模型；应用软件眼动预测模型与个人眼动预测模型和通用眼动预测模型任意叠加使用；
所述眼动交互意图模型包括眼动交互意图模型包括通用型眼动交互意图模型、个人眼动预测模型、应用软件眼动预测模型；
首先，通用型眼动交互意图模型：通过成千上万不同MR眼镜终端设备获取不同用户眼睛行为数据样本训练获得；用于根据当前发生的眼动交互意图用户下一步的眼动着陆点，并移动至着陆点附近吸附目标；
所述训练数据包括各个年龄段、不同性别、不同学历人群、不同功能或意义的交互按钮的眼球行为数据；所述眼球行为数据包括：视觉搜索轨迹、眼跳幅度、眼球运动速度、瞳孔直径；
其次，个人眼动预测模型：获取个人用户的用户的年龄、用户的性别、学历、用户当前环境、阅读或/和认知习惯、用户当前眼动行为发生的起始时间以及经历时间相关信息数据；将用户个人数据上传至服务器进行人工智能运算，即可获得针对于个人的个人眼动预测模型；
最后，应用软件眼动预测模型：通过MR眼镜客户端的内置插件捕获网页或终端软件的本地数据和网页或终端软件使用过程中的历史眼动行为即认知轨迹，并发送至云端服务器进行人工智能AI训练得到应用软件眼动预测模型；
所述网页或终端软件的本地数据包括交互UI按钮位置坐标、交互UI按钮的作用、该软件信息、终端设备信息、本地网络信息。

17.如权利要求15所述基于眼动追踪技术的眼动交互方法，其特征在于，第三步中，对数据进行预处理，识别相应行为事件并分类，其中包括识别是否发生扫视行为，若发生扫视进行第四步；
在收集信息之后，在中进行预处理和事件检测/分类，事件检测/分类包括识别不同的眼睛/头部运动类型，预处理可能包括对接收到的信息进行初始处理，以将数据以更好的格式放置以进行进一步分析，如果注视跟踪系统或头部位置跟踪系统的采样率是可变的，则执行数据插值以填充任何丢失的数据点或以规则的间隔放置样本；对数据进行滤波以使数据平滑；获得数据的移动平均值以帮助平滑数据；执行下采样和/或上采样，某些初始属性可以在预处理步骤中确定；
在识别是否发生扫视行为中以评估数据以确定扫视是否正在发生；
在另外的实施例中，系统还需同时识别用户大幅度的摆头和扫视行为，用户预测用户的交互意图；
如果在第三步未检测到扫视，则再循环进行第二步，再检测新的眼动数据；
如果在第三步检测到扫视，则可以使用来自第三步的预处理数据确定其他特征；每个
特征可以是独立可测量的属性或特征，由机器学习预测网络使用。

18.如权利要求15所述基于眼动追踪技术的眼动交互方法，其特征在于，第四步中将实时检测到的用户眼动数据、头动数据和可能存在的交互目标位置坐标输入S202选择的眼动交互意图预测模型进行匹配计算，进而预测用户下一时刻对目标按钮的交互意图和/或的眼动着陆点；
所述根据预测模型得到用户下一时刻选择着陆点的目标或位置包括预测目标位置的方向、距离、坐标；
所述用户下一步选择的目标眼动着陆点是指用户在下一时刻后视线将要选择的目标抵达的位置坐标，所述眼动着陆点表示用户即将想要发生的交互意图或者搜寻的目标位置；
第六步中所述选中目标后发出交互反馈信息以及通过其他交互模组或者直接检测眼睛动作进行点击操作的方法；
第七步中记录用户最终选择的结果，在网络允许的情况下，将眼动历史数据反馈至眼动眼动交互意图模型继续训练；所述用户最终选择的结果指的是：所述眼动眼动交互意图模型根据用户已经发生的眼动行为数据预测其下一步的眼动着陆点交互目标位置，并将所述眼动光标移动至该预测着陆点的位置或者着陆点附近吸附目标后，用户对这一预测结果的最终交互结果；该结果有两种情况，一种是预测正确，用户对预测的交互目标进行了交互操作；另一种是预测错误，用户未对预测的交互目标进行交互操作；用户最终选择的结果与所述眼动眼动交互意图模型预测的结果是否有差异，系统都将该结果反馈至所述预测模型继续训练，优化模型参数。

19.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：采用设置感应区域被动吸附注视光标或眼动交互意图预测主动吸附注视光标对目标进行选择；
所述设置感应区域被动吸附注视光标对目标进行选择的方法通过为不同的目标设置相应感应区域即有效点击区域，当光标接触或覆盖某一目标的感应区域时，或/和同时检测是否存在眼颤、扫视距离是否超过阈值等眼动行为，若存在则动吸附于该目标上或突显目标图像，及通过检测用户的眼球状态和感应区的接触情况，光标被动吸附在交互目标上；
所述眼动交互意图预测主动吸附注视光标对目标进行选择的方法采用人工智能的机器学习算法对用户眼睛运动行为数据进行训练，对数据进行过滤、处理和分析，训练出眼动行为规律，获得用户主观意识眼动交互意图模型，基于所述眼动交互意图模型对用户正在进行的眼动行为进行预测下一步的眼动着陆点，并系统主动选中着陆点附近吸附目标。

20.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
采用设置感应区域被动吸附注视光标或眼动交互意图预测主动吸附注视光标对目标进行选择；
所述设置感应区域被动吸附注视光标对目标进行选择的方法通过为不同的目标设置相应感应区域即有效点击区域，当光标接触或覆盖某一目标的感应区域时，或/和同时检测是否存在眼颤、扫视距离是否超过阈值等眼动行为，若存在则动吸附于该目标上，及通过检。