基于瞳孔-角膜反射技术的视线跟踪方法
眼球追踪技术的原理
眼球追踪技术的基本原理眼球追踪技术是一种用来确定人眼准确注视位置的技术。
它可以通过分析眼球运动的轨迹来推测用户的兴趣点，从而用于用户界面设计、广告效果评估、心理学研究以及医学诊断等领域。
眼球追踪技术的基本原理是通过眼动仪等设备进行眼动数据的采集和分析。
眼动仪通常包括一个摄像机和红外光源，用于观察和记录眼球在视觉场景中的运动。
下面将详细介绍眼球追踪技术的原理。
1. 眼球运动的类型在理解眼球追踪技术之前，我们首先需要了解眼球的运动类型。
眼球运动主要包括以下几种类型：1.1 瞥视运动（Saccades）瞥视运动是眼球在转动中快速跳跃的运动，用于把视线从一个位置移动到另一个位置。
瞥视运动通常在视线聚焦之前发生，其速度可以达到1000度/秒。
1.2 定视运动（Fixations）定视运动是眼球在注视一个区域时的稳定运动。
在注视期间，眼球会保持在一个相对稳定的位置上，以获取详细的视觉信息。
定视运动的时长通常在100到400毫秒之间。
1.3 跟踪运动（Smooth Pursuits）跟踪运动是眼球快速而平滑地跟踪运动目标的运动。
在跟踪运动期间，眼球会持续地追踪运动目标，以保证目标始终在视野中心。
2. 眼动数据的采集眼动数据的采集是眼球追踪技术的第一步。
这个过程通常需要使用专业的眼动仪设备，例如高速摄像机和红外光源，以获取准确、精细的眼动数据。
2.1 红外反射原理眼动仪通常是通过红外光源和反光红外摄像机来实现眼动数据的采集。
红外反射原理是利用红外光在眼睛角膜和晶状体上的反射来确定眼球的注视位置。
具体来说，红外光源会发出红外光，照射到眼睛的角膜上后，会被角膜和晶状体反射回来。
眼动仪中的摄像机会捕捉这些反射光，并计算出眼球的位置和运动轨迹。
2.2 眼动数据的精确度眼动数据的精确度是影响眼球追踪技术的重要因素之一。
眼动仪的采样率和眼动仪的精度都会影响到眼动数据的准确性。
采样率是指眼动仪每秒对眼动数据的采样次数，通常以赫兹（Hz）为单位。
基于瞳孔-角膜反射技术的视线估计方法
在文献Ｅ６］中对视线追踪系统 中相机和光源位置关 为 原点 ，Ｘ 轴 为 光 心 和 点 光 源 连 线方 向 ，Ｚ轴 为 相 系进行了分析。Ｃｒａｉｇ Ｈｅｎｎｅｓｓｅｙ等人在文献 Ｅ７］ 机 光轴 ，ｙ 轴垂 直 ＸＯＹ平 面 向上 。在 ０ＰＱ平面 内 中实现 了一 种基 于单 相 机双 光 源 的视线 追 踪 系 统 。 垂 直 Ｘ 轴 向上方 向为轴 。ＸＹＺ平 面 与 ＸＯＺ 平 面 其 主要思 路 是 ，利 用 一 系列 的几 何 三角 关 系 和光 学 夹 角 为 ０。 定律 ，将问题转化为一个复杂 的非线性方程 ，最终 通过迭代方法获得角膜 中心三维坐标的数值解 。
关键词 眼球模型 ；瞳孔一角膜反射技术 ；视线估计 中 图分 类 号 ＴＰ３９１ ＯＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１６７２—９７２２．２０１６．０１．０３６
Ｅｙｅ Ｇ ａｚｅ ＥｓｔｉБайду номын сангаас ａｔｉｏｎ Ｍ ｅｔｈｏｄ Ｂａｓｅｄ ｏｎ Ｐｕｐｉｌ Ｃｅｎｔｅｒ ＣｏｒｎｅａＲ ｅｆ ｌｅｃｔｉｏｎ Ｔｅｃｈｎｉｑｕｅ
ｃ．Ｈ．Ｍｏｒｉｍｏｔｏ等人在文献［４］中采用 了基 于 ２Ｄ 向量 的 函数 映射 法 。这 种 ２Ｄ 视线 追 踪 系 统可 以分 为 提取 瞳孔一耀点 向量 和获 取 关注 点 映射 函数 两个 主要 部分 。这 种方 法 对 于 头部 运 动 的高 敏 感 性是 阻 碍 其 广 泛 应 用 的 重 要 原 因 。Ｅｌｉａｓ Ｄａｎｉｅｌ Ｇｕｅｓｔｒｉｎ等人在文献［５］中给出了基 于 ３Ｄ信息 的 空 间 向量 法 的视线 追踪 系统 中 ，相 机 和光 源 数 量对 系统 造 成 影 响 的理 论 分 析 。Ｓｈｅｎｇ—ｗ ｅｎ Ｓｈｉｈ等人
＊ 收稿 日期 ：２０１５年 ７月 １６日，修 回 日期 ：２０１５年 ８月 ２２日 作者简介 ：刘冬 ，男 ，硕士研究生 ，研 究方 向：模式识别 与人 工智 能。蔡超 ，男 ，副教授 ，研究方 向：目标识别 、视觉认知 、 模 式识别与人工智能 。
一种快速精确的瞳孔和角膜反射光斑中心定位算法的研究
摘
要 ：眼 动 追 踪 系 统 在 临床 医学 中有 着 重 要 应 用 ， 为提 高系统 中眼 图特征值 的识别率 ， 创 新 性 地 提 出一 种 双 层
过 滤 的 瞳孔 中心 和 角 膜 反 射 光 斑 中 心 的 定 位 算 法 。瞳 孑 Ｌ 中心 定 位 算 法 首 先 对 获 取 的 眼 睛 图 像 二值 化 处 理 ， 然 后 以 １ ０ ０— ３ ０ ０为 阈 值 设 定 轮 廓 点 数 ， 进行第一次瞳孔过滤 ， 最 后 用 最 小 二 乘 法 椭 圆拟 合 瞳孔 轮 廓 ， 并 将 最 接 近 圆 的 轮 廓 作 为瞳孔轮廓 ， 继 而 得 到 瞳孔 中 心 。 在 此 基 础 上 ， 进一 步对 瞳孔 中心一定 范 围内的 眼图进行边 缘检测 ， 求 其轮廓 ， 并 找 出 轮 廓 的 外 接 矩 形 中心 ， 然 后 以 瞳 孔 中心 为 基 点 进 行 坐 标 转 换 ， 最 终 求 出 角 膜 反 射 光 斑 中 心 。算 法 在 一 定 程 度 上 缩 小 图 像 处 理 的 区域 ， 提高实时性和反射光斑 的识别 率。实验结 果表 明 ， 所 设 计 的 算 法 能 够 实 时 地 对 不 同 情 况 下 的 瞳 孔 和 角 膜 反 射 光 斑 中心 进 行 准确 定 位 ， 瞳孑 Ｌ一角膜 反 射 向 量 坐 标 最 大 均 方 差 低 于 ０ ． ７ ４像 素 ， 平 均 误 差 低 于０ ． ５ ３像 素 。算 法 运 行 速 度 达 到 １ ２ ． ８ ｍｓ ／ 帧。算法满足精 确性 的同时具 有很 强的鲁棒 性 ， 为 后 续 眼 动 设 备 的 开
Ｙｕ Ｌ ｕ ｏ Ｌｉ ｕ Ｈｏ ｎ ｇ ｙ ｉ ｎ ｇ ・ ’
Ｘｕ Ｓ ｈ ｕ ａ ｉ
Ｃａ ｉ Ｊ ｉ ｎ ｚ ｈ ｉ 。 Ｐｉ Ｘｉ ｔ ｉ ａ ｎ
基于瞳孔角膜反射法的视线估计系统设计与实现
浙江理工大学学报，２０１９，４１（２）：２０１－２０７Ｊｏｕｒｎａｌ ｏｆ Ｚｈｅｊｉａｎｇ Ｓｃｉ－Ｔｅｃｈ ＵｎｉｖｅｒｓｉｔｙＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１６７３－３８５１（ｎ）．２０１９．０２．０１０收稿日期：２０１８－０９－０４ 网络出版日期：２０１８－１２－０３基金项目：浙江省重点研发计划项目（２０１５Ｃ０３０２３）；浙江理工大学“５２１人才培养计划”作者简介：曹奕铖（１９９４－），男，江苏江阴，硕士研究生，主要从事计算机视觉方面的研究。
通信作者：童基均，Ｅ－ｍａｉｌ：ｊｉｊｕｎｔｏｎｇ＠ｚｓｔｕ．ｅｄｕ．ｃｎ基于瞳孔角膜反射法的视线估计系统设计与实现曹奕铖，蒋路茸，童基均（浙江理工大学信息学院，杭州３１００１８） 摘 要：设计并实现了一种低成本硬件条件下的视线估计系统，该系统的视线估计模型采用瞳孔角膜反射法，对用户干扰小，允许用户头部移动。
系统由视频采集、瞳孔中心和反射光斑中心提取、视线估计三部分组成。
针对系统中低成本硬件导致的图像质量不高、瞳孔图像分辨率低以及光照变化等情况，设计了实时、精确的瞳孔中心、反射光斑中心提取方法。
该方法首先将粗定位与精确定位相结合，得到人眼瞳孔图像；再利用灰度膨胀、卷积操作增强反射光斑，提取出反射光斑中心；然后通过一定的预处理，融合边缘提取、边缘过滤以及椭圆拟合，得到瞳孔中心；最后经过后处理滤去异常值。
对视线估计系统进行测试，结果发现：视线估计平均均方根误差为１２ｍｍ，满足某些应用的基本需求。
该系统降低了对硬件的要求，有利于实际应用。
关键词：视线估计；瞳孔角膜反射；瞳孔中心提取；反射光斑中心提取；瞳孔定位中图分类号：ＴＳ１９５．６４４ 文献标志码：Ａ 文章编号：１６７３－３８５１（２０１９）０３－０２０１－０７Ｄｅｓｉｇｎ ａｎｄ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ ｇａｚｅ ｅｓｔｉｍａｔｉｏｎｓｙｓｔｅｍ ｂａｓｅｄ ｏｎ ｐｕｐｉｌ ａｎｄ ｃｏｒｎｅａｌ ｒｅｆｌｅｃｔｉｏｎＣＡＯ Ｙｉｃｈｅｎｇ，ＪＩＡＮＧ Ｌｕｒｏｎｇ，ＴＯＮＧ Ｊｉｊｕｎ（Ｓｃｈｏｏｌ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，Ｚｈｅｊｉａｎｇ Ｓｃｉ－Ｔｅｃｈ Ｕｎｉｖｅｒｓｉｔｙ，Ｈａｎｇｚｈｏｕ ３１００１８，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ａ ｇａｚｅ ｅｓｔｉｍａｔｉｏｎ ｓｙｓｔｅｍ ｕｎｄｅｒ ｌｏｗ－ｃｏｓｔ ｈａｒｄｗａｒｅ ｃｏｎｄｉｔｉｏｎ ｗａｓ ｄｅｓｉｇｎｅｄ ａｎｄ ｉｍｐｌｅｍｅｎｔｅｄｉｎ ｔｈｉｓ ｐａｐｅｒ．Ｔｈｅ ｇａｚｅ ｅｓｔｉｍａｔｉｏｎ ｏｆ ｔｈｉｓ ｓｙｓｔｅｍ ｉｓ ｂａｓｅｄ ｏｎ ｐｕｐｉｌ ｃｏｒｎｅａｌ ｒｅｆｌｅｃｔｉｏｎ．Ｔｈｅ ｓｙｓｔｅｍ ｂｒｉｎｇｓａｂｏｕｔ ｓｍａｌｌ ｉｎｔｅｒｆｅｒｅｎｃｅ ｔｏ ｕｓｅｒｓ，ａｎｄ ｕｓｅｒ’ｓ ｈｅａｄ ｍｏｖｅｍｅｎｔ ｉｓ ａｌｌｏｗｅｄ．Ｔｈｅ ｓｙｓｔｅｍ ｉｓ ｃｏｍｐｏｓｅｄ ｏｆ ｔｈｒｅｅｐａｒｔｓ，ｉｎｃｌｕｄｉｎｇ ｖｉｄｅｏ ａｃｑｕｉｓｉｔｉｏｎ，ｐｕｐｉｌ ｃｅｎｔｅｒ ａｎｄ ｃｏｒｎｅａｌ ｒｅｆｌｅｃｔｉｏｎ ｃｅｎｔｅｒ ｅｘｔｒａｃｔｉｏｎ，ａｎｄ ｇａｚｅｅｓｔｉｍａｔｉｏｎ．Ｕｎｄｅｒ ｔｈｅ ｃｏｎｄｉｔｉｏｎｓ ｏｆ ｌｏｗ ｉｍａｇｅ ｑｕａｌｉｔｙ ａｎｄ ｌｏｗ ｒｅｓｏｌｕｔｉｏｎ ｏｆ ｐｕｐｉｌ ｉｍａｇｅ ｃａｕｓｅｄ ｂｙ ｌｏｗ－ｃｏｓｔ ｈａｒｄｗａｒｅ ａｓ ｗｅｌｌ ａｓ ｔｈｅ ｃｈａｎｇｅ ｏｆ ｉｌｌｕｍｉｎａｔｉｏｎ，ａ ｒｅａｌ－ｔｉｍｅ ａｎｄ ａｃｃｕｒａｔｅ ｐｕｐｉｌ ｃｅｎｔｅｒ ａｎｄ ｃｏｒｎｅａｌｒｅｆｌｅｃｔｉｏｎ ｃｅｎｔｅｒ ｅｘｔｒａｃｔｉｏｎ ｍｅｔｈｏｄ ｗａｓ ｄｅｓｉｇｎｅｄ．Ｆｉｒｓｔｌｙ，ｃｏａｒｓｅ ｐｏｓｉｔｉｏｎｉｎｇ ａｎｄ ｐｒｅｃｉｓｅ ｐｏｓｉｔｉｏｎｉｎｇ ｗｅｒｅｃｏｍｂｉｎｅｄ ｔｏ ｇａｉｎ ｈｕｍａｎ ｐｕｐｉｌ ｉｍａｇｅｓ．Ｔｈｅ ｇｒａｙ ｓｃａｌｅ ｅｘｐａｎｓｉｏｎ ａｎｄ ｃｏｎｖｏｌｕｔｉｏｎ ｏｐｅｒａｔｉｏｎｓ ｗｅｒｅ ｕｓｅｄ ｔｏｅｎｈａｎｃｅ ｔｈｅ ｃｏｒｎｅａｌ ｒｅｆｌｅｃｔｉｏｎ ａｎｄ ｈｅｌｐ ｅｘｔｒａｃｔ ｔｈｅ ｃｅｎｔｅｒ ｏｆ ｔｈｅ ｒｅｆｌｅｃｔｉｏｎ．Ｔｈｅｎ，ｔｈｅ ｐｕｐｉｌ ｃｅｎｔｅｒ ｗａｓｏｂｔａｉｎｅｄ ｔｈｒｏｕｇｈ ｐｒｅｐｒｏｃｅｓｓｉｎｇ，ｅｄｇｅ ｅｘｔｒａｃｔｉｏｎ，ｅｄｇｅ ｆｉｌｔｅｒｉｎｇ ａｎｄ ｅｌｌｉｐｓｅ ｆｉｔｔｉｎｇ．Ｆｉｎａｌｌｙ，ｅｘｃｅｐｔｉｏｎａｌｖａｌｕｅ ｗａｓ ｒｅｍｏｖｅｄ ｄｕｒｉｎｇ ｐｏｓｔｐｒｏｃｅｓｓｉｎｇ．Ｔｈｅ ｔｅｓｔ ｒｅｓｕｌｔ ｆｏｒ ｔｈｅ ｇａｚｅ ｅｓｔｉｍａｔｉｏｎ ｓｙｓｔｅｍ ｓｈｏｅｄ ｔｈａｔ，ｔｈｅａｖｅｒａｇｅ ｒｏｏｔ ｍｅａｎ ｓｑｕａｒｅ ｅｒｒｏｒ ｏｆ ｇａｚｅ ｅｓｔｉｍａｔｉｏｎ ｗａｓ １２ｍｍ，ｗｈｉｃｈ ｓａｔｉｓｆｉｅｓ ｔｈｅ ｂａｓｉｃ ｒｅｑｕｉｒｅｍｅｎｔｓ ｏｆｓｏｍｅ ａｐｐｌｉｃａｔｉｏｎｓ．Ｔｈｅ ｓｙｓｔｅｍ ｒｅｄｕｃｅｓ ｔｈｅ ｈａｒｄｗａｒｅ ｒｅｑｕｉｒｅｍｅｎｔｓ ａｎｄ ｈａｓ ｃｅｒｔａｉｎ ｒｅｆｅｒｅｎｃｅ ｖａｌｕｅ ｉｎｐｒａｃｔｉｃａｌ ａｐｐｌｉｃａｔｉｏｎｓ．Ｋｅｙ ｗｏｒｄｓ：ｇａｚｅ ｅｓｔｉｍａｔｉｏｎ；ｐｕｐｉｌ ｃｏｒｎｅａｌ ｒｅｆｌｅｃｔｉｏｎ；ｅｘｔｒａｃｔｉｏｎ ｏｆ ｐｕｐｉｌ ｃｅｎｔｅｒ；ｅｘｔｒａｃｔｉｏｎ ｏｆ ｃｏｒｎｅａｌｒｅｆｌｅｃｔｉｏｎ；ｐｕｐｉｌ ｐｏｓｉｔｉｏｎ０ 引 言视觉是人类信息获取的重要来源，人眼视线的方向反映了观察者的兴趣范围与关注信息。
计算机视觉技术中的眼动追踪方法
计算机视觉技术中的眼动追踪方法眼动追踪是计算机视觉技术中的一项重要研究领域，它可以帮助我们了解人眼在观察视觉信息时的运动轨迹，从而实现眼位的测量和分析。
眼动追踪的技术应用广泛，从基础科学研究到实际应用领域，如人机交互、心理学和市场营销等。
本文将介绍几种常见的眼动追踪方法。
一、光学式眼动追踪方法光学式眼动追踪方法是基于眼底反射原理的一种技术。
它通过利用眼底反射在眼球的光斑来确定视线的位置。
这种方法需要使用红外灯或红外摄像机来追踪眼底反射，并结合计算机视觉算法进行数据处理和分析。
光学式眼动追踪方法具有非接触性、高精度、高速度等特点，因此广泛应用于人机交互和视觉行为研究领域。
二、电生理式眼动追踪方法电生理式眼动追踪方法是通过记录眼部肌肉电位变化来测量眼球运动的一种技术。
这种方法通过将电极置于眼部周围的肌肉上，监测和记录眼部肌肉的电位变化，从而推测眼球的运动情况。
电生理式眼动追踪方法具有高时间分辨率和高空间分辨率的优势，适用于对眼球运动的微小细节进行研究。
三、红外反射式眼动追踪方法红外反射式眼动追踪方法是一种常用的眼动追踪技术。
它通过向眼睛照射红外光，并使用红外摄像机来捕捉眼球表面的反射光斑。
通过分析和处理这些反射光斑的位置和变化，可以得到眼球的运动轨迹。
红外反射式眼动追踪方法具有成本低、易于使用和高准确性的优点，常用于多种应用领域，如眼动追踪眼镜、移动设备等。
四、电磁式眼动追踪方法电磁式眼动追踪方法是一种非接触性的眼动追踪技术。
它通过在眼部周围放置多个电磁传感器和发射器来测量眼球的位置和方向。
这些传感器和发射器能够生成一个低频电磁场，当眼球移动时，电磁场中的信号会发生变化，通过分析这些变化可以确定眼球的位置和运动轨迹。
电磁式眼动追踪方法具有高精度和高稳定性的优点，适用于精细的眼动测量和行为分析。
五、深度学习在眼动追踪中的应用近年来，深度学习在计算机视觉领域取得了突破性的进展，并在眼动追踪中得到了广泛应用。
瞳孔视点追踪技术应用
瞳孔视点追踪技术应用引言：近年来，随着科技的迅猛发展，瞳孔视点追踪技术成为了现代科学研究领域中的热门技术之一。
瞳孔视点追踪技术利用人眼瞳孔的反射特性来测量和追踪人眼镜头的注视点和运动轨迹，其在生物医学、汽车安全、广告营销以及用户体验等领域都有广泛的应用前景。
本文将探讨瞳孔视点追踪技术的应用，并分析其在不同领域的优势和潜力。
一、生物医学领域的应用瞳孔视点追踪技术在生物医学领域具有广泛的应用前景。
通过追踪瞳孔的运动和注视点，研究人员可以获得关于认知、情绪和行为的重要信息。
这对心理学、神经科学以及认知研究等领域的研究至关重要。
据研究表明，瞳孔直径和视线方向与认知过程存在密切的关联，通过测量瞳孔的大小和注视点的变化，可以揭示人类认知活动的特征和规律。
二、汽车安全领域的应用瞳孔视点追踪技术在汽车安全领域的应用是近年来的重点研究方向之一。
通过追踪驾驶员的瞳孔运动和注视点，可以获取其对路况的关注和行为反应，从而辅助汽车安全系统提供更智能化的驾驶辅助功能。
例如，当驾驶员疲劳或分心时，瞳孔视点追踪技术可以提前发现并发出警告信号，避免潜在的交通事故。
此外，瞳孔视点追踪技术还可以用于司机状况监测、驾驶行为评估和驾驶员身体状态检测等方面的研究，为汽车安全提供更多的保障。
三、广告营销领域的应用瞳孔视点追踪技术在广告营销领域的应用也备受关注。
通过追踪受众的瞳孔运动和注视点，广告商可以获得更准确的消费者反馈和市场调研数据。
研究表明，人眼的注视点与情感和认知之间存在密切的联系。
通过分析瞳孔的变化和注视点的偏好，广告商可以了解消费者对广告内容的接受程度、品牌认知和购买意愿。
这为广告投放的精准性和效果提供了重要依据，从而提高了广告的回报率和市场竞争力。
四、用户体验领域的应用瞳孔视点追踪技术在用户体验领域也有着广泛的应用。
通过追踪用户的瞳孔运动和注视点，研究人员可以分析用户对界面设计和产品功能的反应和偏好。
例如，在人机交互界面的设计中，瞳孔视点追踪技术可以帮助评估用户对不同区域的关注度和易用性，从而指导设计人员进行优化改进。
眼球追踪技术的原理
眼球追踪技术的原理眼球追踪技术是一种基于人眼运动的技术，通过追踪和分析眼球在空间中的运动，可以获取人眼在不同目标上的焦点和注意力分布。
该技术常用于人机交互、市场研究、心理学研究等领域，为我们了解人类视觉行为提供了重要的工具。
眼球追踪技术的原理可以简单概括为以下几个步骤：1. 采集眼球图像：眼球追踪技术通常使用红外摄像机来采集眼球图像。
红外光可以穿透瞳孔，而普通光线则会被瞳孔吸收，因此使用红外摄像机可以更清晰地观察到眼球表面的细节。
2. 提取瞳孔中心：通过图像处理算法，可以提取眼球图像中的瞳孔，并计算出瞳孔的中心位置。
瞳孔中心的坐标可以作为眼球位置的参考点。
3. 跟踪眼球运动：利用瞳孔中心的坐标，可以追踪眼球在空间中的运动轨迹。
通过连续采集眼球图像并计算瞳孔中心的变化，可以得到眼球的运动轨迹。
4. 分析眼球运动：根据眼球的运动轨迹，可以进一步分析眼球在不同目标上的注视时间和注视顺序。
通过统计眼球的注视点分布，可以了解到人眼在观察场景时的注意力分布。
眼球追踪技术的原理基于人眼的解剖结构和运动特点。
人眼由角膜、瞳孔、晶状体、视网膜等组成，角膜是眼球表面的透明薄膜，瞳孔是控制进入眼球的光线量的开闭孔，晶状体可以调节光线的折射度，视网膜是感受光线并将其转化为神经信号的重要组织。
当人眼注视一个目标时，光线通过角膜和晶状体的折射作用聚焦在视网膜上，形成一个清晰的图像。
同时，瞳孔的大小会根据光线的强度自动调节，以保证视网膜上的光线量适中。
当人眼转动时，眼球的肌肉会控制瞳孔的位置和大小，使光线能够准确地聚焦在视网膜上。
眼球追踪技术利用了眼球的运动特点，通过追踪和分析眼球的运动轨迹，可以推断出人眼在观察场景时的注意力分布和视觉行为。
例如，在人机交互中，可以根据用户的眼球运动来预测其意图和需求，实现更智能、更自然的交互方式。
在市场研究中，可以通过眼球追踪技术来评估广告效果、产品包装设计等，为市场营销提供决策依据。
在心理学研究中，眼球追踪技术可以揭示人眼在观察情感表情、阅读文字、解决问题等任务时的认知过程和策略。
一种新的基于瞳孔-角膜反射技术的视线追踪方法
万方数据
计
算
机
学
报
相对位置．角膜反射是光源（一般是近红外光源）在 角膜表面反射形成的虚像．相机获取到的眼睛图像 中的瞳孔是真实瞳孔经过角膜折射后形成的虚像．
系统的精确性可以通过设置与相机镜头同轴的 近红外（ＩＲ）发光二极管进一步提高，其产生的“亮 瞳”现象（如图１所示）会使视频图像更容易处理．本 文采用的近红外（ＩＲ）发光二极管的功率在安全阈 值以下，对人体无害，而且对于使用者是不可见的． 亮瞳和暗瞳的产生原理见图１．
Ｃｉｒｃｌｅ”ＡＩｇｏｒｉｔｈｍ）Ｃｉｏ－ｉｉ］．
视线追踪系统有些是基于单相机和单红外光 源［１引．有些系统则加入第２个光源ｍ３或更多，目的 是为了创造出特殊的角膜反射模式［１４３以增加跟踪
的鲁棒性和准确性．Ｔｏｍｏｎｏ［１５３使用的系统由３个 相机和两个不同极性的偏振光源构成．由可控制的 偏振光所产生的图像，通过滤光片，被相机捕获，从 而减少了该系统对外部光线变化的敏感性．Ｙｏｏ和 Ｃｈｕｎｇ［１６１使用５个红外光源和两个相机，通过角膜 反射与瞳孔中心的位置特征和屏幕的实际大小来估 计注视点，方法是使用投影平面不变的交比（Ｃｒｏｓｓ— Ｒａｔｉｏｓ）值．Ｂｅｙｍｅｒ和Ｆｌｉｃｋｎｅｒ［１７］采用４个相机和 两个光源，以区分头部检测和视线估计．其系统采用 广角立体相机来检测人脸的位置，然后控制活动的 窄视野立体相机来追踪高分辨率的眼睛图像．其后， Ｂｒｏｌｌｙ和ＭｕｌｌｉｇａｎＥｌｓ］减少系统配置，使用３个相 机，删除其中一个窄视野相机．Ｏｈｎｏ和Ｍｕｋａｗａ［１９］ 提出一个与Ｂｅｙｍｅｒ和Ｆｌｉｃｋｎｅｒ类似的解决方案， 在眼睛模型上有所不同．Ｈａｎｓｅｎ和Ｐｅｃｅ［２０］和 Ｗａｎｇ等［２妇对降低系统硬件配置进行了尝试，使用 单相机无红外光源进行视线估计，方法是基于虹膜 检测．Ｈａｎｓｅｎ和Ｐｅｃｅ［２０］研究了头部姿态不变情况 的视线估计的基本特性，其方法不需要预先知道相 机、屏幕和使用者眼球的空间位置．Ｗａｎｇ等心妇使用 一个头部模型，并通过基本的投影几何关系计算椭 圆虹膜圈的法线方向，作为视线方向．
视线追踪系统中注视点估计方法研究
ｉｎｔｅｌｌｉｇｅｎｔ ｍａｃｈｉｎｅ，ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ。ｅｔｃ．。ａｒｅ ｌｏｏｋｅｄ ａｈｅａｄ．
关键 词 ：视 线跟 踪 瞳孔 一角膜 反射 注视点估 计 人机 交互 虚 拟现 实 误 差补 偿 校 准 神经 网络
中 图分类 号 ：ＴＨ一３；ＴＰ１８１
文献标 志码 ：Ａ
ＤＯＩ：１０．１６０８６／ｊ．ｅｎｋｉ．ｉｓｓｎｌ０００—０３８０．２０１６０５００９
Ａｂｓｔｒａｃｔ：Ｏｎ ｔｈｅ ｂａｓｉｓ ｏｆ ｒｅｖｉｅｗｉｎｇ ｔｈｅ ｄｅｖｅｌｏｐｍｅｎｔ ｐａｔｈ ｏｆ ｇａｚｅ ｔｒａｃｋｉｎｇ ｔｅｃｈｎｏｌｏｇｙ。ｔｈｅ ｒｅｓｅａｒｃｈ ｄｉｒｅｃｔｉｏｎ ａｎｄ ｓｅｖｅｒａｌ ｍａｊｏｒ ｍｅｔｈｏｄｓ ｏｆ ｇａ ｚｅ
经走在世界 的前 列 ，进入 实用化 和商 品化 的阶段 。国 １ 视线跟 踪技 术原 理
内大约在 ２０世 纪 ７０年代 末 ８０年代 初才 开始对 视 线
跟踪技术 的研究 ，目前 还没有 成熟 的视线跟踪 产品 ，但
基 于瞳孔 一角膜 反射法 的视线追踪系统采用红外
是很 多高校以及研究机 构 ，如 清华 大学、西安 电子科 技 光源照射 眼睛 ，在人 眼角膜上产生反射光斑 ，眼睛注视
大学、浙江大学、天津大学 、北京 科技大 学等 都对该 技 不同方 向时 ，瞳孔 中心随着视线方 向发生相应 的变化 ，
术 表现出了非 常大 的兴 趣。２０世 纪 ９０年代 ，西 安 电 角膜反 射点的位置固定不变 。利用 眼球和角膜反射点
瞳孔角膜反射向量法
瞳孔角膜反射向量法简介瞳孔角膜反射向量法（Pupil Corneal Reflection Vector Method，简称PCRV）是一种常用于眼动追踪的技术。
通过分析眼球上的瞳孔和角膜反射，可以准确地测量人眼的注视点、注视路径和眼球运动轨迹。
该方法在心理学、人机交互、运动学研究等领域有着广泛的应用。
原理PCRV方法基于以下原理：当光线照射到眼球上时，会在角膜和晶状体上产生反射。
由于瞳孔位于角膜的中心，而角膜上的反射点与瞳孔中心相对应，因此可以通过分析瞳孔和角膜反射的位置关系来确定注视点和眼球运动的方向。
具体实现PCRV方法的步骤如下：1.使用红外摄像机或眼动仪来记录眼球的运动。
2.通过红外光源照射眼球，使角膜上产生明亮的反射点。
3.通过图像处理技术，提取眼球图像中的瞳孔和角膜反射点。
4.根据瞳孔和角膜反射点的位置关系，计算眼球的注视点和运动方向。
应用领域1. 心理学在心理学研究中，PCRV方法被广泛应用于研究人们的视觉注意和认知过程。
通过记录眼球运动，可以分析人们在观看图像、阅读文本、解决问题等任务时的注意分配和信息处理过程。
这对于理解人类的认知机制和决策行为具有重要意义。
2. 人机交互PCRV方法在人机交互领域中也有重要应用。
通过追踪用户的眼球运动，可以实时获得用户的注视点和眼球运动轨迹，从而推测用户的兴趣、意图和注意力焦点。
这对于改进用户界面设计、优化交互方式以及提高用户体验具有指导意义。
3. 运动学研究PCRV方法在运动学研究中被用于分析运动员的视觉注意和运动控制。
通过记录运动员的眼球运动，可以了解他们在进行运动任务时的视觉策略和注意分配。
这对于改善运动员的技术和提高运动表现具有重要意义。
优势和局限性PCRV方法具有以下优势：•非侵入性：PCRV方法使用红外光源和摄像机进行眼球追踪，不需要接触眼球，对被试者没有任何伤害。
•高精度：PCRV方法可以实现高精度的眼球追踪，能够准确地测量注视点和眼球运动轨迹。
移动应用开发中的瞳孔跟踪与注视追踪技术
移动应用开发中的瞳孔跟踪与注视追踪技术移动应用的迅速发展使得用户对于创新和便捷性的需求愈发增加。
而瞳孔跟踪和注视追踪技术的引入，为移动应用开发带来了广阔的发展空间。
这项技术能够通过分析用户的目光焦点，实时掌握用户的行为和需求。
在本文中，我们将探讨移动应用开发中的瞳孔跟踪与注视追踪技术，并探讨其在不同领域的应用。
首先，让我们了解一下瞳孔跟踪与注视追踪技术的原理。
这项技术利用了人眼视网膜中的“视杆细胞”和“色素细胞”的特性。
当光线通过眼球进入视网膜时，视杆细胞会感知光线的亮度，而色素细胞则负责感知光线的颜色。
通过追踪瞳孔的大小和位置，以及调查用户目光聚焦的位置，我们可以推断出用户的注意力所在和需求。
在游戏开发领域，瞳孔跟踪与注视追踪技术可以为游戏提供更加真实的交互体验。
以虚拟现实游戏为例，通过追踪用户的注视点，游戏可以根据用户的目光移动调整场景的视角，让用户获得身临其境的感觉。
此外，当用户注视到游戏物体时，游戏可以根据用户的注视时间和频率，自动调整游戏的难度，提供更加个性化的游戏体验。
在移动应用的用户体验设计中，瞳孔跟踪与注视追踪技术也扮演着重要的角色。
通过追踪用户的眼神焦点，应用程序可以自动调整界面的布局和交互方式，以提高用户的舒适度和效率。
例如，在电子阅读应用中，当用户的眼睛注视到屏幕底部时，应用可以自动翻页，提供更友好的阅读体验。
在社交媒体应用中，瞳孔跟踪与注视追踪技术可以用来分析用户对不同信息的关注程度，从而优化信息推送的策略，提高用户的参与度。
除了娱乐和用户体验设计领域，瞳孔跟踪与注视追踪技术还在医疗和心理学等领域发挥着重要的作用。
医生可以利用瞳孔跟踪技术来诊断某些眼部疾病，例如视网膜病变和白内障等。
通过追踪瞳孔的变化和注视的位置，医生可以发现眼睛在运动过程中是否存在异常，及时进行治疗。
在心理学研究中，瞳孔跟踪与注视追踪技术可以帮助研究人员了解人的情绪和认知过程。
通过分析瞳孔的大小和注视的位置，研究人员可以判断人对不同刺激的反应，并进行更深入的心理分析。
基于瞳孔检测的注视点跟踪系统
基于瞳孔检测的注视点跟踪系统沈海平22冯华君 徐之海（浙江大学现代光学仪器国家重点实验室，浙江 杭州310027）摘要成像，采用图像处理的方法，根据被测对象观察不同注视点所角度修正方法。
实验结果表明在相同的实验条件下，其误差可以 修正ersity, Hangzhou 310027)nly in the research of the eye psychological analysis.e images of the tested subject's itions of the pupil in the eye e pupil center detection, the mension calibration and the angel correction are particularly discussed in this article. The expe t the common gaze position nd.ngle correction“眼睛是心灵的窗户”，人在看什么东西，与他的生理活动和心理意识密切相关。
准确地测定人的注视点位置，不仅可以用于研究人眼本身的运动规律，而且对于研究人脑的生理功能或是进广泛应用于医学治疗、心孔跟踪系统。
：准确地测定人的注视点位置，不仅可以用于研究人眼本身的运动规律，而且对于研究人脑的生理功能或是进行心理分析都具有相当意义。
本文介绍的系统通过对眼睛瞳孔对应的瞳孔在其眼睛中的相对位置，对注视点位置进行测定。
详细论述了瞳孔中心检测的方法和系统的二维定标算法及满足一般对注视点测定的要求。
文章最后对系统的性能进行了分析。
关键词：注视点跟踪；瞳孔检测；二维定标；角度Gaze Tracking System Based on Pupil DetectionSHEN Haiping FENG Huajun XU Zhihai(State Key Lab of Modern Optical Instrumentation, Zhejiang Univ Abstract: It makes great sense to measure one's gaze position, not o movements, but also the physical functions of the human brain and the By the method of image processing, the system introduced takes th pupil to measure his gaze positions, according to the relative pos corresponding to the different gaze positions. The methods of th two-di riment result shows that the error of the system can mee measurements. The performance of the system is also analyzed in the e Keywords: gaze tracking; pupil detection; two-dimension calibration; a 引言行心理分析都具有相当意义。
视线跟踪技术及其应用
作者简介 : 卞锋 (1978 - ) ,男 ,上海人 ,博士研究生 ,研究方向 :车辆现代设计理论与方法 、虚拟现实技术 、汽车人机 工程学 , (电话 ) 021 - 63085705 (电子信箱 ) cnbf@163. com 。
人类工效学 2009年 3月第 15卷第 1期
·49·
图 ቤተ መጻሕፍቲ ባይዱ 眼电图方法
视线跟踪器是用于测 量眼 睛运动 的装 置 。 一般而言 ,存在两种类型的眼睛运动跟踪技术 : 第一种方法测量相对于头部的眼睛位置 ,第二种 是测量空间中眼睛关注点 [ 1 ] 。人机交互系统主 要关注的是交互场景中用户所关注的对象 ,这通
常使用后一种测量方法 。最广泛使用的测量关 注点是基于瞳孔 - 角膜反射向量的视线跟踪方 法。 2. 1 常见的眼睛运动测量方法
上面提及的技术适合于对眼睛运动的测量 , 但如果需要测量 "注意点 " ,可以固定住头部以保 持眼睛相对于头的相对位置不变 ,或者测量眼睛 的多个特征来消除头部运动引起的歧义 ,比如角 膜的高光反射和瞳孔的中心 。基于视频结合瞳 孔和角膜反射的方法 ,是目前最广泛应用于测量 关注点的方法 。
角膜反射为瞳孔附近的小白点 ,它是角膜表 面的反射高光 ,由于红外光源是相对于眼睛的固 定位置放置的 ,眼球在眼眶里面转动的时候 ,角 膜反射的位置是相对于眼睛是固定的 。而瞳孔 中心的的位置随着眼睛的转动而转动 ,因此 ,根 据角膜反射点坐标和瞳孔中心位置坐标构成的 向量可以估算视线的方向 。 2. 2 各种方法的比较
根据前面所述方法已经开发了多种类型的
·50·
人类工效学 2009年 3月第 15卷第 1期
眼睛跟踪器 ,但每一种方法都有其优缺点 (比如 精度 、采样率 ) ,毫无疑问 ,基于视频的角膜反射 式的视线跟踪器最适合于图形或者交互的应用 。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
品 １ ６ ３ Ａ ｎ ｄ ｒ ｅ ｗ等［ ７ １ 整理 了视线跟 踪在 神经科 学 、 心理 学、 工 业工 程 和人 因工程 、 市 场营销／ 广告 传媒 以及 计 算机科 学等各 种领域中的应用 。Ｏ ｉ ａ ｎ ｇ等【 ｌ ３ 】 使用视线跟
踪 技 术 实 时 监 测 驾 驶 员 眼 睑 状 况 、关 注 方 向 和 人 脸 朝 向 等 面 部信 息 ， 完 成 了 一个 疲 劳 驾驶 实 时 预 警 系统 。 基 于 视 线 跟 踪 的 热 点 图反 映 了用 户 感 兴 趣 内 容 的分 布 ． 可 用 于广 告设 计 、网 页 布局 等 应 用 的 可 用性 测 试 ．
吴广发 ， 宋鸿 陟， 黄 生 辉
（ 华 南农 业 大 学信 息学 院 ，广 州 ５ １ ０ ６ ４ ２ ）
摘要：
视 线 跟 踪 是 基 于 多 通 道 的人 机 交 互 技 术 的重 要研 究 内容 ．而基 于 瞳 孔 一 角 膜反 射 技术 的 视 线 方 向是 目前 应 用 最 广 泛
关键词 ：
人机交互 ； 视线跟踪 ； 瞳孔一 角膜 反射 技 术 ； 视 觉 信 息提 取
基金项 目：
国家 自然 科 学 基 金 项 目 ｆ Ｎ ｏ ． ６ ０ ８ ７ ５ ０ ４ ５ ）
Ｏ 引言
人 机交互 （ Ｈｕ ｍａ ｎ — Ｃ ｏ ｍｐ ｕ ｔ ｅ ｒ Ｉ ｎ ｔ ｅ ｒ ａ ｃ ｔ ｉ ｏ ｎ． ＨＣ Ｉ ） 是 研
彩 色 图 的 粒 子 滤 波 瞳 孔 跟踪 算 法 ．从 而 改 善 了视 线 跟
１ 视 线 跟 踪 技 术
随着 计算机视 觉和人 工智能领 域技术 的成 熟 ． 基
现代计算机 ２ ０ １ ４ ｎ ｓ 巾 囝
【 ５ 】 张 昀， 赵 荣椿 ， 赵歆波等． 视 线 跟 踪技 术 的 ２ Ｄ和 ３ Ｄ方法综述． 第十三届全国信号处理学术年会（ Ｃ Ｃ Ｓ Ｐ 一 ２ ０ ０ ７ ） 论文集 ， ２ ０ ０ ７ ［ ６ ］ Ａ ｎ ｏ ｎ ， Ａ ｐ ｐ ｌ ｉ ｅ ｄ Ｓ ｃ ｉ ｅ ｎ ｃ ｅ Ｌ ａ ｂ ｏ ｒ ａ ｔ ｏ ｉ ｒ ｅ ｓ ． ｈ ｔ ｔ ｐ ： ／ ／ ｗ ￣ ｍ． ａ ｓ ｌ ｅ ｙ ｅ ｔ ｒ ａ ｃ ｋ ｉ ｎ ｇ ． ｃ ｏ ｎ． ｒ 【 ７ ］ Ｄ ｕ ｃ ｈ ｏ ｗ ｓ ｋ ｉ ， Ａ ｎ ｄ ｒ ｅ ｗ Ｔ ． Ａ Ｂ ｒ ｅ ａ ｄ ｔ ｈ — Ｆ ｉ ｒ ｓ ｔ Ｓ ｕ ｒ ｖ ｅ ｙ ｏ ｆ Ｅ ｙ ｅ － Ｔ ｒ ａ ｃ ｋ ｉ ｎ ｇ Ａ ｐ ｐ ｌ ｉ ｃ ａ ｔ ｉ ｏ ｎ ｓ ． Ｂ ｅ ｈ ａ ｖ ｉ ｏ ｒ Ｒ ｅ ｓ ｅ ａ ｒ ｃ ｈ Ｍ ｅ ｔ ｈ ｏ ｄ ｓ ， Ｉ ｎ ｓ ｔ ｒ ｕ ｍ ｅ ｎ ｔ＆ Ｃ ｏ ｍ ｐ ｕ ｔ ｅ ｓ ｒ ．
于 视 频 或 摄 像 机 的 非 侵 入 式 视 线 跟 踪 逐 渐 取 代 了基 于 电磁 线 圈 、 电极 贴 片 等 外 部 装 置 的 侵 入 式 视 线 跟 踪 ， 成 为 了 主 流 的研 究 方 向 基 于摄 像 机 的 视 线 跟 踪 已 经 得 到 了广 泛 的应 用 ． 并 在 工 业 界 也 已 经 有 了 相 关 的 产
对 主要 的几 种 视 线 跟 踪技 术 包 括 二维 和三 维 的技 术 ． 进行 了原 理 剖 析并 揭 示 其 内 在联 系 基 于瞳 孔 一 角 膜 反
Байду номын сангаас
线跟踪对人机交互 、虚 拟现 实及情感 理解 都起着非常
重 要 的 作 用『 ８ Ｊ
射技术 ． 赵新灿等网 构建 了头部静止和头部 自由运动两套 视线跟踪系统 ，实时获取用户注视点的信息。张闯等圈 则在瞳孔一 角膜 反射 技术的基 础上提 出 了一 种基 于伪
提高人机交互的 自然性 和高效性【 １ ， ９ ／ 。 在人与计算 机的交互 中．视觉通常作为人接 收信
息 的 感 觉 通 道［ ２ １ 人 眼 视 觉 是 大脑 信 息获 取 和表 达 的重 要渠道 ． 人 眼 的视 线 定 位 和轨 迹 表 达 了 人 的 关 注 、 渴 望 和 视 觉 信 息 的处 理 过 程 ． 而一 个 健 壮 的 、 非 侵 入 式 的视
文章编号 ： １ ０ ０ ７ — １ ４ ２ ３ （ ２ ０ １ ４ ） １ ４ — ０ ０ ６ ７ — ０ ６
Ｄ ＯＩ ： １ ０ ． ３ ９ ６ ９ ／ ｊ ． ｉ ｓ ｓ ｎ ． １ ０ ０ ７ — １ ４ ２ ３ ． ２ ０ １ ４ ． １ ４ ． ０ １ ５
基 于瞳 孑 Ｌ 一 角膜 反 射 技 术 的视 线 跟 踪 方 法
的视线跟踪技术之一 。 瞳孔一 角膜反射 技术 的主要 目的是提取人眼 图像 中瞳孔一 角膜反射 向量作 为视线方 向计算模型 所需 的视觉信息 ，通过搭建红外光源设备提取瞳孔一 角膜 反射 向量构建基 于瞳孔一 角膜反射技术的视 线跟踪系统 ． 为 面 向人机交互的视线跟踪研究 提供 可行 的低成本解决方案
Ｍ ｉ ｃ ｈ ａ ｅ ｌ 等［ ５ １ 和Ｈ ａ ｒ ｉ ｓ ｈ等㈣均对此进行 了深入分析
通 过 与 其 他 学 科 的 研 究 成 果 相 结 合 ．例 如 神 经 网 络［ １ ７ 】 、 三维建模【 ＾ 固 等， 各类 视线跟踪 技术在 精度 、 健 壮
性等方 面取得 了一 定的提高 Ｈａ ｔ ｒ ｓ ｅ ｎ等［ ８ １ 和张钧等［ １ ５ 均
究人与计算机之 间相互作 用的技术 ．通过理解人与计 算机之间信息 的传递 ．实现更 多的信 息通道以提高交
互 的 自然 性 和 高 效 性 在 很 长 的 一 段 时 间 里 ． 人 机交 互 的 主要 媒 介 是 一 种基 于 窗 口 、 图标 、 鼠标 、 指针 （ ＷＩ ＭＰ ） 的用户界 面 。 但 窗 口、 鼠 标 点 击 等 概 念 提 高 了用 户 的学 习成 本 ， 也 无 法 实 现人 与 计算 机 之 间 更 自然 、 更 本 质 的 互动 。 随着 移 动 互 联 网的 兴 起 和 移 动设 备 的普 及 ． 基 于 人 的多种 信息 通道 。 例 如语音 、 手势 、 视线、 表 情 等 输 入． 以并行 、 非 精 确 的方 式 实 现 人 机 交 互 ， 可 以 极 大 地