脑机融合综述

脑机融合系统：概念
• 脑机融合系统是通过脑机接口技术，以综合利用生物（包括人类 和非人类生物体）和机器能力的计算系统。与传统的计算系统相 比，脑机融合计算系统有三个重要特征：（1）对生物体的感知 更加全面，包含观行为理解和神经信号解码（2）生物体也作为 系统的感知体、计算体和执行体（3）多层次、多粒度的综合利 用生物体和机器的能力，达到系统智能的极大增强 • 近半个多世纪的人工智能研究表明，机器在搜索、计算、存储、 优化等方面具有人类无法比拟的优势，然而在感知、推理、归纳 和学习等方面尚无法与人类智能相匹敌。鉴于机器智能与人类智 能的互补性，我们多年前提出了混合智能(Cyborg Intelligence， CI)的研究新思路（来自 吴校长的《混合智能概念与新进展》）
• 脑机融合
脑机接口——应用
• 脑到机 • 机到脑 • 脑到脑
• 浙江大学研究团队成功实现猴子通过脑信号控制机械手完成抓、握、勾、捏四种不同 的手部运作。 • 日本大学医学本部尝试采用深部脑刺激治疗植物状态的患者。 • 华盛顿大学的研究者将检测到的实验者A想象右手动的头皮脑电信号转化为颅磁刺激， 作用到实验者B大脑的左运动皮质区，令B的右手动起来。
• 深度学习有一些成果表现在基于大数据的语音识别、人脸识别。 在人工智能模拟人类的各个智能当中，感知能力依然很初步。解 决方案是，人和机相互协同，基于脑机结合的基础上，使得认知 在更高层面上得到发展。 • 我目前正在看的就是基于卷积神经网络的EEG信号识别技术
技术调研（斯坦福的《2030年的人工智能 与生活》）
• TVEP（暂态视觉诱发电位） • CVEP
脑机接口——运动想象类型
• MI（motor imagery）
• 运动想象是一种自发性脑电信号。截至目前的研究表明，人的脑电信号 存在几种节律，其中mu和beta节律被认为与人的运动有关。实际运动 的时候可以检测到这两种节律，但即便只是“想象”着运动一下，运动 区也可能会产生这两种节律——酷！ 因为这回应了最初研发BCI的目的：为无法使用大脑-肌肉通路与外界交 流的人提供新的交流通道。2014巴西世界杯开场时小男孩在“机械盔甲” 的帮助下一脚开球，国内没有提技术方面的信息，应该就是使用该种方 式的成果。 • 最大的问题是，MI能做到的任务数太少了，而随着任务数增加准确率下 降得可怕。由两分类到三（加脚部活动）、四（加舌头活动）分类任务， 十多年时间过去了，MI方向依然在苦苦挣扎。四分类的准确率目前只有 70%左右，这还是用户训练+数据优化+高复杂度算法+长时间调参的结 果。
• 基本原理：通过脑信号检测技术获取神经系统的活动变化，在对这些信号进行分类识 别，分辨出引发脑信号变化的动作意图，再用计算机把思维活动变成命令信号驱动外 部设备，从而达到脑对外部环境的直接控制。 • 基本原理：通过对生物的大脑或者其他神经系统的特定部位施加精细编码的外部刺激 （如微电刺激、光刺激），来唤醒或控制生物的某些特定感受和行为。 • 大脑与大脑之间的网络通信是通过将一个大脑的神经信号实时解码，并将解码结果重 新编码直接传输到另一个大脑。 • 是脑机接口技术发展的必然趋势。
脑机融合系统：应用前景
• 神经康复
• 借助脑机融合计算系统，直接建立脑部与外部设备之间的信息互动和交 互控制，高效的实现残障人士的机能补偿和功能重建。 • 相比传统的机器人，动物机器人在能量供给、运动灵活性、隐蔽性、机 动性和适应性方面具有更大优势，更加适合在军事基地、核辐射区和灾 区等危险环境执行复杂的环境搜索、空间检测和反恐侦查等各种任务。
• 脑机融合
• 2011年，Nicolelis团队在Nature杂志上发表了一种新型的脑-机-脑信息通路的双向闭 环系统，在对猴子大脑神经信息进行解码的同时将猴子触觉信息转化为电刺激信号反 馈到大脑，实现了脑与机的相互融合。
脑机接口——VEP类型
• SSVEP（VEP：visual evoked potential）
谢百度文库！
EEG应用案例
• 神经技术提升情报分析
• 神经技术提升情报分析（Neurotechnology for Intelligence Analysts） 计划的目标是利用非侵入式脑电位记录，开发新型脑机接口系统，以显 著提高图像情报分析的效率。 • 卫星和无人机侦查能力的不断提升，产生了庞大的图像数据，因此带来 了利用有限的分析资源进行快速有效图像搜索和分析的挑战。在大范围 俯拍照片上寻找目标的现行操作流程极为费时费力，并且目前的计算机 视觉方案对比人类视觉系统的目标检测能力，还有相当大的差距。 • 当人看到感兴趣目标时候，会产生事件相关电位P300，一般延迟在300 毫秒。把卫星图片切割成小部分，以每秒钟0.5-10张的速度播放给图像 分析员，通过EEG记录脑活动。随后目标可能性最高的图片进行最终审 查和评估。 • NIA的工作流程：对于俯拍图像进行分割，通过脑电快速检测筛选目标。
脑机融合调研
2017.3.15 苏君君
脑机接口
• 脑：指有机生命形式的脑或神经系统，目前对大脑的运动皮层、 感觉皮层和视觉皮层研究的比较充分 • 机：任何处理或计算的设备 • 从信息传输的角度分为四类：
• • • • 脑到机 机到脑 脑到脑 脑机融合
脑机接口——原理
• 脑到机 • 机到脑 • 脑到脑
• 深度学习是一类学习方法，促进了在图像、视频标记和运动中的 目标识别，并且在其他感知领域都有重大影响，比如音频、语音 和自然语言处理。 • 强化学习是一个框架，能将机器学习的重点从模式识别转变到经 验驱动的序列决策上。它有望推动人工智能应用的前进，在现实 世界中做出决策。虽然在过去数十年，强化学习限制于学术界， 但如今我们也看到了一些实际的成果。 • 神经形态计算是一系列寻求模拟生物神经网络从而改进计算机系 统硬件效率和稳健性的技术，它取代了用独立的输入/输出、处 理指令、存储模块的旧方法。
• 如何充分融合机器智能和生物智能
• 机器端的智能可以极大提高脑机融合系统的能力，同样，生物体的接入也能提高系统 的各种能力，如何将两者融合在一起，并在智能层面形成一股合力，相互增强依然是 个难题。需要我们在系统层面进行考虑。
脑机接口系统实现
• 要想实现脑机接口，要有三个必要条件：
• 有一种能够可靠反应大脑思维的信号 • 这种信号能够被实时快速地采集 • 这种信号有明确的分类
• 动物机器人
脑机融合系统：面临问题
• 如何获取稳定的神经信号
• 目前国内外已经研发出各种微电极、光成像系统来克服这一困难。
• 如何有效地对生物的神经系统进行干预
• 因为大脑是一个神经元连接的巨型复杂系统。（这个问题不需要咱们考虑）
• 如何设计植入式设备并提高其生物兼容性
• 设备植入通常导致炎症和生物排斥反应。（这个问题不需要咱们考虑）
脑机接口系统基本构件
• 信号采集 • 信号分析
• 受试者头部带一个电极帽，采集EEG信号，放大10000倍，预处理转化 为数字信号。 • 利用FFT、小波分析等算法从经过预处理的EEG信号中提取能够表达受试 者意图的特征向量。特征向量提取后交给分类器，分类器的输出作为控 制器的输入。
• 控制器
• 将已分类的信号转化为实际的动作。
• SSVEP简单来说就是屏幕上一堆方块以固定频率（一般 8-15Hz）闪烁，受试者“选择”——将视线集中在这个方 块上，比如以12Hz闪烁的方块，则视觉区收集到的脑电 信号中可以识别出12Hz及其谐波，这样控制端就知道， 受试者就完成了一次选择。这一“选择”转化为命令操控输出设备，就是 BCI的一般用途了。成绩虽然突出，SSVEP仍存在很多问题。眼睛盯着闪烁 的方块看极易疲劳，对视力不好的尤甚。
EEG应用案例
• 加速学习计划
• 主要专注于非侵入性测量与任务学习相关的神经和其他生理数据，最终 目标是实现个人学习效率翻倍。先进大脑监测公司（Advanced Brain Monitoring, Inc.）开发了一套自适应和交互式的神经教育技术 （交互 式神经教育技术 Interactive Neuro-Educational Technology, or INET®） 以加快技能学习，并且将这些工具纳入名为自适应峰值性能训 练 (Adaptive Peak Performance Trainer，APPT®) 的闭环系统。 • 实验任务采用步枪射击训练，同时了包括课堂学习和实际操作，要求感 官、 运动、 和认知技能。APPT®系统利用了学习阶段的脑电图、 心电 图 、 呼吸速率和眼动追踪特征。该系统可以通过推导生理状态变化的集 成算法，为受训者提供连续的实时生理监测和反馈 （视觉、 听觉或触 觉） 。初步研究表明，对比参照组，I-NET/APPT的使用可以提高两到 三倍的新兵学习效率。
• 目前用于脑机接口的信号有：EEG（脑电图）、EMG（脑磁图） 和fMRI（功能性核磁共振图像）。大部分采用的人脑信号都是 EEG。基于脑电图（EEG）的非侵入式脑机接口如果想达到较高 的分辨率，就像“在沙尘暴中利用几个或者几十个像素的相机， 通过拍摄一个人的影子来判断这个人的长相”一样困难。尽管如 此，通过检测最粗糙的脑电位信号，DARPA（美国国防部先进计 划研究署）也能实现一些超出玩具的、真正提高生产力的应用案 例。