类脑计算
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
3
类脑理念与实践
Deeper than Deeper
感知:来自百度文库
Perceptron LeNet AlexNet VGG GoogLeNet ResNet
认知：
BrainScaleS TrueNorth SpiNNaker
Bigger than Bigger
Neurons 4 million Neurons 16 million Neurons 460 million
1个忆阻器可以模拟一个突触的行为。 当前集成水平可以达到10GB/cm^2存储密度（近似人脑神经元密度），主频
200MHz（比人脑脑电频率快10^6倍），未来可达到500G/cm2@1000MHz。
7
神经形态认知计算
Spiking Neurons and Spiking Neural Network
Neural Encoding of Motion Direction
Single Neuron
CANN
Continuous Attractor Neural Network
Neural Population
17
计算神经科学
Dynamical and Adaptive Information Processing
4
类脑理念与实践
上界：认知科学 功能模拟 类脑计算
下界：神经科学 解析仿真
上确界：神经科学 结构模仿 类脑实践
下确界：传统计算机体系结构
5
神经形态认知计算
神经元状态方程： Hodgkin-Huxley方程
6
神经形态认知计算
CMOS模拟：
忆阻器：
忆阻器是天然的突触模拟器件，生物突触释放Ca、Na离子改变传导性，忆阻 器通过释放氧离子改变传导性。
SNN
How Spikes convey information ? Rate : spike count within a time window Temporal : precise time => time array
9
神经形态认知计算
FeatureMap
Spatiotemporal Patterns Classification Solved. 10 How to Code ?
From Rate to Correlation Code
18
计算神经科学
The strategy of the brain
Every animal adopts to its own optimal time scale suitable for its own survival in the natural environment.
Functions and Consumption
8
神经形态认知计算
ANN
Assumed that neurons represent information through their mean rates of action potential firing.
NonLinear(Sum(…))
时空关系上的连续性 超高速视屏 20,000 Frame/s
Line Motion Illusion
视网膜与V1层功能区的协作产生线运动错觉 V1区含有方向选择细胞 V1区脑皮层之间的互联形成对位置方向的感知 V1区脑皮层在无刺激输入时也会产生自发性放电现
象
16
计算神经科学
13
神经形态认知计算
Implementing Instances
14
类脑理念与实践
Neuron Software
分子层面精细建模 最大程度模拟神经元与突触行为 对视网膜中央区域 2mm 范围内所有神经元进行建
模 天河2号超算辅助运算
15
类脑理念与实践
Spiking Array
神经形态认知计算
Implementing Instances
11
神经形态认知计算
Implementing Instances
Convolution Max Pooling STDP (Unsupervised Learning in Feature Extraction) Supervised Learning rules to fine tuning Spiking
Synapses 1 billion Power 10 kW Synapses 4 billion Power 1 W Synapses 460 billion Power 50 kW
Human Brain Neurons 100 billion Synapses >100 Tera Power 20 W
类脑计算
1
CONTENTS
2
类脑计算的理念与实践 从脑机接口到脑机融合
神经形态认知计算 计算神经科学 深度学习处理器
类脑理念与实践
General AI 认知 Narrow AI 感知
传统思想： 认知科学了解大脑意识的形成 模仿人脑设计算法( Empirical )
当前思想： 神经生物学了解大脑结构 结构仿真形成一定规模的神经元网络 再思考可以做什么( Heuristic )
reliable responding.
Network
12
神经形态认知计算
STDP
The process adjusts the connection strengths based on the relative timing of a particular neuron's output and input action potentials (or spikes).
The brain co-evolves strategies to compensate delays.
Why Neural Delays?
To implement temporal code. To integrate multiple sensory cues. To integrate temporal information over time for
类脑理念与实践
Deeper than Deeper
感知:来自百度文库
Perceptron LeNet AlexNet VGG GoogLeNet ResNet
认知：
BrainScaleS TrueNorth SpiNNaker
Bigger than Bigger
Neurons 4 million Neurons 16 million Neurons 460 million
1个忆阻器可以模拟一个突触的行为。 当前集成水平可以达到10GB/cm^2存储密度（近似人脑神经元密度），主频
200MHz（比人脑脑电频率快10^6倍），未来可达到500G/cm2@1000MHz。
7
神经形态认知计算
Spiking Neurons and Spiking Neural Network
Neural Encoding of Motion Direction
Single Neuron
CANN
Continuous Attractor Neural Network
Neural Population
17
计算神经科学
Dynamical and Adaptive Information Processing
4
类脑理念与实践
上界：认知科学 功能模拟 类脑计算
下界：神经科学 解析仿真
上确界：神经科学 结构模仿 类脑实践
下确界：传统计算机体系结构
5
神经形态认知计算
神经元状态方程： Hodgkin-Huxley方程
6
神经形态认知计算
CMOS模拟：
忆阻器：
忆阻器是天然的突触模拟器件，生物突触释放Ca、Na离子改变传导性，忆阻 器通过释放氧离子改变传导性。
SNN
How Spikes convey information ? Rate : spike count within a time window Temporal : precise time => time array
9
神经形态认知计算
FeatureMap
Spatiotemporal Patterns Classification Solved. 10 How to Code ?
From Rate to Correlation Code
18
计算神经科学
The strategy of the brain
Every animal adopts to its own optimal time scale suitable for its own survival in the natural environment.
Functions and Consumption
8
神经形态认知计算
ANN
Assumed that neurons represent information through their mean rates of action potential firing.
NonLinear(Sum(…))
时空关系上的连续性 超高速视屏 20,000 Frame/s
Line Motion Illusion
视网膜与V1层功能区的协作产生线运动错觉 V1区含有方向选择细胞 V1区脑皮层之间的互联形成对位置方向的感知 V1区脑皮层在无刺激输入时也会产生自发性放电现
象
16
计算神经科学
13
神经形态认知计算
Implementing Instances
14
类脑理念与实践
Neuron Software
分子层面精细建模 最大程度模拟神经元与突触行为 对视网膜中央区域 2mm 范围内所有神经元进行建
模 天河2号超算辅助运算
15
类脑理念与实践
Spiking Array
神经形态认知计算
Implementing Instances
11
神经形态认知计算
Implementing Instances
Convolution Max Pooling STDP (Unsupervised Learning in Feature Extraction) Supervised Learning rules to fine tuning Spiking
Synapses 1 billion Power 10 kW Synapses 4 billion Power 1 W Synapses 460 billion Power 50 kW
Human Brain Neurons 100 billion Synapses >100 Tera Power 20 W
类脑计算
1
CONTENTS
2
类脑计算的理念与实践 从脑机接口到脑机融合
神经形态认知计算 计算神经科学 深度学习处理器
类脑理念与实践
General AI 认知 Narrow AI 感知
传统思想： 认知科学了解大脑意识的形成 模仿人脑设计算法( Empirical )
当前思想： 神经生物学了解大脑结构 结构仿真形成一定规模的神经元网络 再思考可以做什么( Heuristic )
reliable responding.
Network
12
神经形态认知计算
STDP
The process adjusts the connection strengths based on the relative timing of a particular neuron's output and input action potentials (or spikes).
The brain co-evolves strategies to compensate delays.
Why Neural Delays?
To implement temporal code. To integrate multiple sensory cues. To integrate temporal information over time for