眼球运动及眼动跟踪技术

如何跟踪眼球运动?
令人震撼的技术路线
六种主要的视线跟踪技术
视觉追踪法 应用场合
•
技术特点
测量参照系
眼电图（EOG）
眼动力学
高宽带• 精度低• 对人干 头 扰大
虹膜-巩膜边缘
眼动力学注视点
•
高带宽• 垂直精度低• 对 头具 人干扰大• 头具误差大
角膜反射
眼动力学注视点
•
高带宽• 头具误差大
头具
瞳孔-角膜反射向量
旋转运动检测分析
基准光点单元 眼部摄像头 头位跟踪单元 瞳孔定位跟踪单元 笔记本电脑
视线点
眼控交互系统主要组件
角膜平面
摄像图像平面
摄像光学中心
瞳孔中心
眼控交互系统的光学映射关系图
眼部摄像头 场景摄像头 瞳孔定位跟踪单元 前端终端系统
视线点
后援系统平台 视线指示系统主要组件
角膜平面
眼部摄像图像平面
眼动跟踪技术路线
线圈感应系统 图像处理： 黑瞳/亮瞳
眼动技术应用
http://v.youku.com/v_show/id_X MzQ3MTA2NTA4.html
ຫໍສະໝຸດ Baidu动技术应用
眼动技术应用
下一代人机交互接口
最近， 最近，康奈尔大学的研究人员已经发明一种长宽只有 半毫米， 半毫米，厚度仅百分之一毫米的照相机 这种无镜头照相机被称为平面傅里叶捕获阵列。 这种无镜头照相机被称为平面傅里叶捕获阵列。它其 实就是一块参杂了硅元素的扁平材料。 实就是一块参杂了硅元素的扁平材料。它的每一个像 素点都对指定的入射角十分敏感， 素点都对指定的入射角十分敏感，并提供一部分称为 傅里叶变换”的数学运算以产生一张20像素的图像 像素的图像。 “傅里叶变换”的数学运算以产生一张 像素的图像。 这款新型相机的细节发布在《光学快报》期刊上。 这款新型相机的细节发布在《光学快报》期刊上。 预计2012年便有搭载 年便有搭载2.5mm、甚至 预计 年便有搭载 、甚至2.0mm镜头模块技 镜头模块技 术正式商品化
眼球结构
眼底视觉敏感区约
脑部功能区域与视神经通路
小结
• 问题:为什么眼球要运动？ • 推荐答案:获得清晰的视觉图像.
• 眼球运动是一种极精细而巧妙的协调一致的动作。其目的有： ①按照意志改变注视方向；②调整眼球的相对位置以获得双眼 单视的功能；③代偿体位变动，以维持视线的稳定。
• 问题:如果眼球不能运动将会怎样? • 推荐答案:失去大部分视觉感知功能.
注视点
•
准确• 头具误差小• 对人 头具或室内 无干扰• 低宽带
双浦肯野象
•
眼动力学• 网模图 • 高精度• 高带宽• 对人干 室内 象稳定• 注视点 扰大
接触镜
•
眼动力学• 微小的 • 精度最高• 高带宽• 对人 头 眼动 干扰大• 不舒适
眼动电图
• 眼动电图(EOG)
EOG波形表现为锯齿波，而眼动仪记录波形为矩形波。 波形表现为锯齿波，而眼动仪记录波形为矩形波。 波形表现为锯齿波 两种方法数据分析单元的平均值均随偏转角绝对值的增加而增大， 两种方法数据分析单元的平均值均随偏转角绝对值的增加而增大， 呈“V形”曲线。 形 曲线。 同一偏转角下，眼动仪组的幅值变异系数小于EOG组且差异显著 同一偏转角下，眼动仪组的幅值变异系数小于 组且差异显著 （除-10°偏转角 °偏转角p<0.05外，其余偏转角 外 其余偏转角p<0.01）。 ）。 不同偏转角眼动仪、 不同偏转角眼动仪、EOG数据分析单元变异系数相差显著 数据分析单元变异系数相差显著 ），眼动仪组数据分析单元的变异系数小于 （p<0.01），眼动仪组数据分析单元的变异系数小于 ），眼动仪组数据分析单元的变异系数小于EOG组。 组
眼
IR
在线眼运动跟踪软件
5 degrees
1 second
知识脉络分析
知识脉络分析
欢迎指正！
taizheng@sina.com
Make Presentation much more fun
@WPS官方微博 @kingsoftwps
– 来自外界的信息,很大部分是通过人眼获得,为了取得这些信息,人眼必须连续不断地运动, 这就是眼球运动,眼球运动使观察对象在视网膜黄斑部的中央凹上成象,而且能使两眼互 相协同动作,并适应头部和躯体的运动和位置。
眼运动中大脑的作用
无意识,非礼勿视与视而不见 无意识 非礼勿视与视而不见
眼肌
眼球运动模式
摄像光学中心
瞳孔中心
视线指示系统的光学映射关系图
采集眼部图像 图像预处理 瞳孔检测 瞳孔定位 基准光点定位 眨眼检测
视线方向计算 事件消息处理 操作系统 眼控交互处理流程
IO
SR
结果判断： 结果判断：在图形上较原标
LR
MR SO
志向内收， 志向内收，表示肌肉功能 内收 不足，向外扩张，功能亢进 整个图形面积缩小表示麻痹
• • • • • • • • 扫视 注视 眼跳 震颤 平滑追 旋转 汇聚 瞳孔变化
生理性眼颤
双目生理性眼颤的互抑制
Hering定律 眼球运动时 两眼接受的神经冲动时等时等量的 定律:眼球运动时 两眼接受的神经冲动时等时等量的. 定律 眼球运动时,两眼接受的神经冲动时等时等量的
双目集合运动
开环短潜时反应
眼球运动及眼动跟踪技术
2012年2月 重庆科学院
http://v.youku.com/v_show/id_XMjkxNDE0MTQ0.html
主要内容
1.眼球运动机制, 2.眼球运动模式, 3.眼动跟踪技术的几种技术路线, 4.眼动技术应用, 5.眼动跟踪的数据分析.
眼球运动
• 问题:为什么眼球要运动？ • 问题:如果眼球不能运动将会怎样?