机器人中的人机交互系统——脑机接口

脑电信号(electroencephalograph，EEG)
• 按频率和振幅的不同，脑电信号可分为δ波（0.5~3Hz） 、θ波（4~7Hz）、α波（8~13Hz）和β波（14~30Hz）。
• 非常微弱而且其背景噪声很强 、非平稳、非线性
BCI的发展
• BCI的研究最早可以追溯到20世纪70年代，早期研究的目 的是让受试者通过生物反馈训练学习如何自主地控制脑电 节律。Nowis等人的研究结果表明，受试者通过训练后能 够自主调节脑电的α波
主成分分析 （ Principal Component Analysis ， PCA ），独立分 量分析(Independent Component Analysis, ICA)
脑电信号的处理
• 特征分类是把特征向量输入预先设计好的分类器中，进而 识别出不同的脑电信号，并以逻辑控制信号来表示这些脑 电信号。
• 1995年，全世界从事有关脑机接口研究的小组不超过6个 ，1999年已超过20个，2002年则有近40个；到现在已经 发展到数以百计，主要分布在美国、加拿大、欧洲、日本 、中国等地区。美国和欧洲BCI技术发展的较早，日本、 中国起步较晚。
BCI的发展
• 目前，关于BCI的应用在国内外也得到了飞速的发展，而 在这些应用中主要应用到脑电信号：视觉诱发电位（ Visual Evoked Potential，VEP）、μ节律和β波、α波、 P300电位。使用这些信号的BCI系统通过检测大脑对视觉 刺激、注视或注意的方向、运动意图、认知活动的响应可 实现光标控制、字符输入和轮椅控制等简单的功能。
• 常用方法：
– 线性判别式分析（Linear Disciminant Analysis, LDA） – 人工神经网络（Artificial Neural Network, ANN） – 支持向量机（Support Vector Machine, SVM）
连续小波变换
连续小波变换
离散小波变换
从尺度j看，j越大， 分辨率就越低，频 域分析差，时域分 析好。
脑电信号的处理
• 预处理主要用于去除脑电信号的伪迹。
• 主要伪迹：眼动伪迹、眼电、肌电以及心电等伪迹，工频 伪迹。
• 主要方法：滤波
脑电信号的处理
• 特征提取主要是提取出能表征脑电信号特征的一个或几个 量。
• 常用方法：
– 时域分析法：方差分析、相关分析、峰值检测等 – 频域分析法 ：功率谱估计 ——AR等 – 时频分析法 ：小波变换等 – 非线性分析 ：样本熵、最大Lyapunov指数和关联维数等 – 其他方法：共同空间模式（Common Spatial Pattern, CSP） ，
• 基于VEP的BCI系统的应用 。VEP又可以分为瞬态VEP（ Transient VEP，TVEP）和稳态VEP（Steady-State VEP ，SSVEP）
– 内清华大学，2004年开发的BCI系统，残疾人利用SSVEP控制电 视和空调、拨打电话并启动语音播放。
BCI的发展
• 基于μ节律和β波的BCI系来自百度文库的应用
• 它能够为重度残疾但思维意识正常的患者提供一种新型的 对外信息交流手段。
• 脑中风、脑部或者脊髓外伤、脑瘫、肌肉萎缩、多发性硬 化、肌萎缩性脊髓侧索硬化(Amyotrophic Lateral Sclerosis，ALS)
BCI的组成
脑电信 号采集
预处理
脑电信号处理 特征提取 特征分类
控制装置
反馈
BCI的发展
• 基于P300电位的BCI系统的应用
– Donchin等人设计了基于P300的虚拟打字机P3Speller，一个6×6 字符矩阵按行或列依次闪烁，行和列出现的次序是随机的，于是 包含使用者想要输入字符的行或列的闪烁就是能够诱发出P300的 靶刺激，通过检测P300所在的行和列就能确定使用者想要输入的 字符。
– 2005年，Tanaka等就通过想象左臂和右臂运动实现了智能轮椅左 转和右转
• 基于α波的BCI系统的应用
– 在1967年，Dewan就采用视觉集中去同步α波幅值来发送Morse电 报码。通过快速简短地向上转动眼球，即一个α波幅值的简短增加 ，代表一个“●”；通过延长眼睛向上的时间，即一个延长时间的 α波幅值增加，代表一个“-”；电码之间的空格，则用集中注意力 产生α波的阻断来表示。
人机交互系统的发展历史与趋势
人机交互系统的发展历史与趋势
人机交互系统的发展历史与趋势
人机交互系统的发展历史与趋势
人机交互系统的发展历史与趋势
脑机接口(Brain-Computer Interface，BCI)
• BCI是不依赖于大脑外周神经与肌肉系统，在人脑和计算 机或外部设备之间建立起来的一种通信系统。
多分辨率分析只是对信号低 频部分进行进一步分解，而 高频部分则不考虑。
CA为逼近信号（低频部分）， CD为细节信号（高频部分）
机器人中的人机交互系统
脑机接口技术
人机交互系统
人机交互系统
人机交互系统的发展历史与趋势
人机交互系统的发展历史与趋势
人机交互系统的发展历史与趋势
人机交互系统的发展历史与趋势
人机交互系统的发展历史与趋势
人机交互系统的发展历史与趋势
人机交互系统的发展历史与趋势
人机交互系统的发展历史与趋势
只需平移较少次数 的k就看计算完整段 信号，即系数少。
多分辨率分析与Mallat算法
• 1988年S. Mallat在构造正交小波基时，提出了多分辨率分 析（Multi-Resolution Analysis, MRA）的概念，从空间的 概念上形象地说明了小波的多分辨率特性，将此之前的所 有正交小波基的构造法统一起来，给出了正交小波的构造 方法以及正交小波变换的快速算法，即Mallat算法。
多分辨率分析
多分辨率分析
• 由多分辨率分析构造基小波：
由尺度函数 双尺度方程：
推导基小波
多分辨率分析
S (0~fs/2)
CA1(0~fs/4)
CD1(fs/4~fs/2)
CA2(0~fs/8)
… … …
CD2(fs/8~fs/4)
CAj (0~fs/2j+1)
CDj (fs/2j+1~fs/2j)