忆阻器桥式突触结构神经网络的学习PPT

Memristor Bridge Synapse-Based Neural Network and Its Learning

· Act as nonvolatile analog memories,

they are programmable, and scalable

to nano dimensions

简要介绍&基础铺垫2016/9/18 Sunday

神经网络的硬件实现问题

· 神经网络中用到的的BP算法成功应用于语音/手写/脸部识别以及机器人控制等

· 神经网络的硬件实现的成功与否，取决于accuracy,chip area, processing speed三者的权衡。· 优点：比起软件实现的神经网络

1.更快的processing speed

2.对chip area的更有效利用

· 缺点：1.limited accuracy due to spatial nonuniformity(空间的不均匀性) and nonideal responses

2.nonvolatile weight storage(非易失性存储)

硬件实现主要的两个困难

1.材料上的困难：

In analog hardware implementations, the weights are usually stored in

resistors, capacitors, and floating gate transistors(浮栅晶体管)

Floating gate transistors has been used successfully as synapses(突触) in conjunction with analog multipliers, but it suffers from high nonlinearity(非线性) in synaptic weightings.

2.学习算法上的困难：

与BP算法的software实现相比，BP算法的hardware实现较为困难，并且这些困难会因电子元件的imperfections and mismatch而加剧。

注：BP算法是一种最有效的多层神经网络学习方法，其主要特点是信号前向传递，而误差后向传播，通过不断调节网络权重值，使得网络的最终输出与期望输出尽可能接近，以达到训练的目的。

两个困难的解决办法

1.解决材料上的困难：

使用the memristor bridge synapse来解决nonvolatile weight storage（非易失性存储）的问题2.解决了学习算法上的困难：

利用the memristor bridge synapse先天优势的modified chip-in-the-loop learning method来解决BP算法实现困难问题

忆阻器的记忆特性

· Memristor act as a variable resistor whose value can be varied by varying the current passing through it

· 忆阻器可以“记忆”流过了它的电流总量，可用于非易失性存储

惠普实验室的忆阻器模型

· 由一个两层的TiO2薄膜（D为纳米级）组成，被夹在铂金触点之间。

· 掺入杂质的区域，导电性较强。未掺杂的区域，导电性较弱。

· 通过忆阻器的电量对掺杂区域的宽度进行调制。随着给定方向的电流流过，两区域间的边界也朝着同一方向移动。

忆阻器的电压与电流间的欧姆定律关系是适用的

相关的参数关系

（设长度为D的doped区域电阻为Ron，长度为D的undoped区域电阻为Roff）

· 掺杂和未掺杂区域的边界的运动速度

主要取决于

1.掺杂区域的电阻

2.通过的电流

3.掺杂物的流动性

为掺杂物的流动性

但由于在纳米器件中，小电压可以产生巨大的电场

所以离子运输过程会有显著的非线性效应（宏观上即M不会随通过的I线性改变）

故在右边加上window model Fp(w)来模拟

由于忆阻器制造过程中spatial nonuniformity and mismatch，所以很难确定忆阻器的参数p的具体值

对该式积分得

w0为w的初值，w与通过忆阻器的电荷量成正比，w决定忆阻器阻值，即忆阻器阻值取决于通过的电荷量。

忆阻器的物理限制条件：

通过忆阻器电荷量的有效范围为

所以忆阻器达到极限状态后，若不施加反向电源，其阻值不会改变

由知：

将忆阻器从初始状态w0转换到任意状态所需通过的电荷量为

对于幅度为I的脉冲电流，要实现上述过程，脉冲电流宽度

由此得出：如果脉冲过宽，会导致忆阻器直接从一个极限状态到另一极限状态，所以要控制好脉冲宽度。注：为使推导简洁，以上过程忽略了边界的非线性效应

当正/负pulse 从Vin进入时，

每个忆阻器的M会根据自身的极性而变化由分压公式知：

定义synaptic weight(突触权重)和电压的关系：可计算

synaptic weight

忆阻器的桥式电路

（桥式电路可以代替传统的nonlinear and power-hungry analog multipliers ）The synaptic weight programming 可通过施加programming pulses 来实现（即通过施加一定的脉冲来改变这个桥式电路的权值）

忆阻器的桥式电路(续

1)