脑机融合综述
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
脑机融合综述
脑机接口
• 脑：指有机生命形式的脑或神经系统，目前对大脑的运动皮层、 感觉皮层和视觉皮层研究的比较充分
• 机：任何处理或计算的设备 • 从信息传输的角度分为四类：
• 脑到机 • 机到脑 • 脑到脑 • 脑机融合
脑机接口——原理
• 脑到机
• 基本原理：通过脑信号检测技术获取神经系统的活动变化，在对这些信号进行分类识 别，分辨出引发脑信号变化的动作意图，再用计算机把思维活动变成命令信号驱动外 部设备，从而达到脑对外部环境的直接控制。
• SSVEP简单来说就是屏幕上一堆方块以固定频率（一般 8-15Hz）闪烁，受试者“选择”——将视线集中在这个方 块上，比如以12Hz闪烁的方块，则视觉区收集到的脑电 信号中可以识别出12Hz及其谐波，这样控制端就知道， 受试者就完成了一次选择。这一“选择”转化为命令操控输出设备，就是 BCI的一般用途了。成绩虽然突出，SSVEP仍存在很多问题。眼睛盯着闪烁 的方块看极易疲劳，对视力不好的尤甚。
• 如何充分融合机器智能和生物智能
• 机器端的智能可以极大提高脑机融合系统的能力，同样，生物体的接入也能提高系统 的各种能力，如何将两者融合在一起，并在智能层面形成一股合力，相互增强依然是 个难题。需要我们在系统层面进行考虑。
EEG应用案例
• 神经技术提升情报分析
• 神经技术提升情报分析（Neurotechnology for Intelligence Analysts） 计划的目标是利用非侵入式脑电位记录，开发新型脑机接口系统，以显 著提高图像情报分析的效率。
脑机接口——应用
• 脑到机
• 浙江大学研究团队成功实现猴子通过脑信号控制机械手完成抓、握、勾、捏四种不同 的手部运作。
• 机到脑
• 日本大学医学本部尝试采用深部脑刺激治疗植物状态的患者。
• 脑到脑
• 华盛顿大学的研究者将检测到的实验者A想象右手动的头皮脑电信号转化为颅磁刺激， 作用到实验者B大脑的左运动皮质区，令B的右手动起来。
脑机融合系统：面临问题
• 如何获取稳定的神经信号
• 目前国内外已经研发出各种微电极、光成像系统来克服这一困难。
• 如何有效地对生物的神经系统进行干预
• 因为大脑是一个神经元连接的巨型复杂系统。（这个问题不需要咱们考虑）
• 如何设计植入式பைடு நூலகம்备并提高其生物兼容性
• 设备植入通常导致炎症和生物排斥反应。（这个问题不需要咱们考虑）
• 机到脑
• 基本原理：通过对生物的大脑或者其他神经系统的特定部位施加精细编码的外部刺激 （如微电刺激、光刺激），来唤醒或控制生物的某些特定感受和行为。
• 脑到脑
• 大脑与大脑之间的网络通信是通过将一个大脑的神经信号实时解码，并将解码结果重 新编码直接传输到另一个大脑。
• 脑机融合
• 是脑机接口技术发展的必然趋势。
• 卫星和无人机侦查能力的不断提升，产生了庞大的图像数据，因此带来 了利用有限的分析资源进行快速有效图像搜索和分析的挑战。在大范围 俯拍照片上寻找目标的现行操作流程极为费时费力，并且目前的计算机 视觉方案对比人类视觉系统的目标检测能力，还有相当大的差距。
• 当人看到感兴趣目标时候，会产生事件相关电位P300，一般延迟在300 毫秒。把卫星图片切割成小部分，以每秒钟0.5-10张的速度播放给图像 分析员，通过EEG记录脑活动。随后目标可能性最高的图片进行最终审 查和评估。
• 近半个多世纪的人工智能研究表明，机器在搜索、计算、存储、 优化等方面具有人类无法比拟的优势，然而在感知、推理、归纳 和学习等方面尚无法与人类智能相匹敌。鉴于机器智能与人类智 能的互补性，我们多年前提出了混合智能(Cyborg Intelligence， CI)的研究新思路（来自 吴校长的《混合智能概念与新进展》）
脑机融合系统：应用前景
• 神经康复
• 借助脑机融合计算系统，直接建立脑部与外部设备之间的信息互动和交 互控制，高效的实现残障人士的机能补偿和功能重建。
• 动物机器人
• 相比传统的机器人，动物机器人在能量供给、运动灵活性、隐蔽性、机 动性和适应性方面具有更大优势，更加适合在军事基地、核辐射区和灾 区等危险环境执行复杂的环境搜索、空间检测和反恐侦查等各种任务。
• TVEP（暂态视觉诱发电位）
• CVEP
脑机接口——运动想象类型
• MI（motor imagery）
• 运动想象是一种自发性脑电信号。截至目前的研究表明，人的脑电信号 存在几种节律，其中mu和beta节律被认为与人的运动有关。实际运动 的时候可以检测到这两种节律，但即便只是“想象”着运动一下，运动 区也可能会产生这两种节律——酷！ 因为这回应了最初研发BCI的目的：为无法使用大脑-肌肉通路与外界交 流的人提供新的交流通道。2014巴西世界杯开场时小男孩在“机械盔甲” 的帮助下一脚开球，国内没有提技术方面的信息，应该就是使用该种方 式的成果。
• NIA的工作流程：对于俯拍图像进行分割，通过脑电快速检测筛选目标。
• 最大的问题是，MI能做到的任务数太少了，而随着任务数增加准确率下 降得可怕。由两分类到三（加脚部活动）、四（加舌头活动）分类任务， 十多年时间过去了，MI方向依然在苦苦挣扎。四分类的准确率目前只有 70%左右，这还是用户训练+数据优化+高复杂度算法+长时间调参的结 果。
脑机融合系统：概念
• 脑机融合系统是通过脑机接口技术，以综合利用生物（包括人类 和非人类生物体）和机器能力的计算系统。与传统的计算系统相 比，脑机融合计算系统有三个重要特征：（1）对生物体的感知 更加全面，包含观行为理解和神经信号解码（2）生物体也作为 系统的感知体、计算体和执行体（3）多层次、多粒度的综合利 用生物体和机器的能力，达到系统智能的极大增强
• 脑机融合
• 2011年，Nicolelis团队在Nature杂志上发表了一种新型的脑-机-脑信息通路的双向闭 环系统，在对猴子大脑神经信息进行解码的同时将猴子触觉信息转化为电刺激信号反 馈到大脑，实现了脑与机的相互融合。
脑机接口——VEP类型
• SSVEP（VEP：visual evoked potential）
脑机接口
• 脑：指有机生命形式的脑或神经系统，目前对大脑的运动皮层、 感觉皮层和视觉皮层研究的比较充分
• 机：任何处理或计算的设备 • 从信息传输的角度分为四类：
• 脑到机 • 机到脑 • 脑到脑 • 脑机融合
脑机接口——原理
• 脑到机
• 基本原理：通过脑信号检测技术获取神经系统的活动变化，在对这些信号进行分类识 别，分辨出引发脑信号变化的动作意图，再用计算机把思维活动变成命令信号驱动外 部设备，从而达到脑对外部环境的直接控制。
• SSVEP简单来说就是屏幕上一堆方块以固定频率（一般 8-15Hz）闪烁，受试者“选择”——将视线集中在这个方 块上，比如以12Hz闪烁的方块，则视觉区收集到的脑电 信号中可以识别出12Hz及其谐波，这样控制端就知道， 受试者就完成了一次选择。这一“选择”转化为命令操控输出设备，就是 BCI的一般用途了。成绩虽然突出，SSVEP仍存在很多问题。眼睛盯着闪烁 的方块看极易疲劳，对视力不好的尤甚。
• 如何充分融合机器智能和生物智能
• 机器端的智能可以极大提高脑机融合系统的能力，同样，生物体的接入也能提高系统 的各种能力，如何将两者融合在一起，并在智能层面形成一股合力，相互增强依然是 个难题。需要我们在系统层面进行考虑。
EEG应用案例
• 神经技术提升情报分析
• 神经技术提升情报分析（Neurotechnology for Intelligence Analysts） 计划的目标是利用非侵入式脑电位记录，开发新型脑机接口系统，以显 著提高图像情报分析的效率。
脑机接口——应用
• 脑到机
• 浙江大学研究团队成功实现猴子通过脑信号控制机械手完成抓、握、勾、捏四种不同 的手部运作。
• 机到脑
• 日本大学医学本部尝试采用深部脑刺激治疗植物状态的患者。
• 脑到脑
• 华盛顿大学的研究者将检测到的实验者A想象右手动的头皮脑电信号转化为颅磁刺激， 作用到实验者B大脑的左运动皮质区，令B的右手动起来。
脑机融合系统：面临问题
• 如何获取稳定的神经信号
• 目前国内外已经研发出各种微电极、光成像系统来克服这一困难。
• 如何有效地对生物的神经系统进行干预
• 因为大脑是一个神经元连接的巨型复杂系统。（这个问题不需要咱们考虑）
• 如何设计植入式பைடு நூலகம்备并提高其生物兼容性
• 设备植入通常导致炎症和生物排斥反应。（这个问题不需要咱们考虑）
• 机到脑
• 基本原理：通过对生物的大脑或者其他神经系统的特定部位施加精细编码的外部刺激 （如微电刺激、光刺激），来唤醒或控制生物的某些特定感受和行为。
• 脑到脑
• 大脑与大脑之间的网络通信是通过将一个大脑的神经信号实时解码，并将解码结果重 新编码直接传输到另一个大脑。
• 脑机融合
• 是脑机接口技术发展的必然趋势。
• 卫星和无人机侦查能力的不断提升，产生了庞大的图像数据，因此带来 了利用有限的分析资源进行快速有效图像搜索和分析的挑战。在大范围 俯拍照片上寻找目标的现行操作流程极为费时费力，并且目前的计算机 视觉方案对比人类视觉系统的目标检测能力，还有相当大的差距。
• 当人看到感兴趣目标时候，会产生事件相关电位P300，一般延迟在300 毫秒。把卫星图片切割成小部分，以每秒钟0.5-10张的速度播放给图像 分析员，通过EEG记录脑活动。随后目标可能性最高的图片进行最终审 查和评估。
• 近半个多世纪的人工智能研究表明，机器在搜索、计算、存储、 优化等方面具有人类无法比拟的优势，然而在感知、推理、归纳 和学习等方面尚无法与人类智能相匹敌。鉴于机器智能与人类智 能的互补性，我们多年前提出了混合智能(Cyborg Intelligence， CI)的研究新思路（来自 吴校长的《混合智能概念与新进展》）
脑机融合系统：应用前景
• 神经康复
• 借助脑机融合计算系统，直接建立脑部与外部设备之间的信息互动和交 互控制，高效的实现残障人士的机能补偿和功能重建。
• 动物机器人
• 相比传统的机器人，动物机器人在能量供给、运动灵活性、隐蔽性、机 动性和适应性方面具有更大优势，更加适合在军事基地、核辐射区和灾 区等危险环境执行复杂的环境搜索、空间检测和反恐侦查等各种任务。
• TVEP（暂态视觉诱发电位）
• CVEP
脑机接口——运动想象类型
• MI（motor imagery）
• 运动想象是一种自发性脑电信号。截至目前的研究表明，人的脑电信号 存在几种节律，其中mu和beta节律被认为与人的运动有关。实际运动 的时候可以检测到这两种节律，但即便只是“想象”着运动一下，运动 区也可能会产生这两种节律——酷！ 因为这回应了最初研发BCI的目的：为无法使用大脑-肌肉通路与外界交 流的人提供新的交流通道。2014巴西世界杯开场时小男孩在“机械盔甲” 的帮助下一脚开球，国内没有提技术方面的信息，应该就是使用该种方 式的成果。
• NIA的工作流程：对于俯拍图像进行分割，通过脑电快速检测筛选目标。
• 最大的问题是，MI能做到的任务数太少了，而随着任务数增加准确率下 降得可怕。由两分类到三（加脚部活动）、四（加舌头活动）分类任务， 十多年时间过去了，MI方向依然在苦苦挣扎。四分类的准确率目前只有 70%左右，这还是用户训练+数据优化+高复杂度算法+长时间调参的结 果。
脑机融合系统：概念
• 脑机融合系统是通过脑机接口技术，以综合利用生物（包括人类 和非人类生物体）和机器能力的计算系统。与传统的计算系统相 比，脑机融合计算系统有三个重要特征：（1）对生物体的感知 更加全面，包含观行为理解和神经信号解码（2）生物体也作为 系统的感知体、计算体和执行体（3）多层次、多粒度的综合利 用生物体和机器的能力，达到系统智能的极大增强
• 脑机融合
• 2011年，Nicolelis团队在Nature杂志上发表了一种新型的脑-机-脑信息通路的双向闭 环系统，在对猴子大脑神经信息进行解码的同时将猴子触觉信息转化为电刺激信号反 馈到大脑，实现了脑与机的相互融合。
脑机接口——VEP类型
• SSVEP（VEP：visual evoked potential）