Hebe学习规则和公式表达

Hebe学习规则和公式表达
Hebb学习规则是一个无监督学习规则，这种学习的结果是使网
络能够提取训练集的统计特性，从而把输入信息按照它们的相似性程度划分为若干类。

这一点与人类观察和认识世界的过程非常吻合，人类观察和认识世界在相当程度上就是在根据事物的统计特征进行分类。

Hebb学习规则只根据神经元连接间的激活水平改变权值，因此
这种方法又称为相关学习或并联学习。

赫布认为神经网络的学习过程最终是发生在神经元之间的突触部位，突触的联结强度随着突触前后神经元的活动而变化，变化的量与两个神经元的活性之和成正比。

Wij (t+1)=Wij (t)+a⋅yi⋅yj
可以看出，权值调整量与输入输出的乘积成正比，显然经常出现的模式将对权向量有较大的影响。

在这种情况下，Hebb学习规则需
预先定置权饱和值，以防止输入和输出正负始终一致时出现权值无约束增长。

由赫布提出的Hebb学习规则为神经网络的学习算法奠定了基础，在此基础上，人们提出了各种学习规则和算法，以适应不同网络模型的需要。

有效的学习算法，使得神经网络能够通过联结权重的调整，构造客观世界的内在表征。

Hebb学习规则与“条件反射”机理一致，并且已经得到了神经
细胞学说的证实。

巴甫洛夫的条件反射实验：每次给狗喂食前都先响铃，时间一长，狗就会将铃声和食物联系起来。

以后如果响铃但是不给食物，狗也会流口水。

受该实验的启发，Hebb的理论认为在同一时间被激发的神经元间的联系会被强化。

比如，铃声响时一个神经元被激发，在同一时间食物的出现会激发附近的另一个神经元，那么这两个神经元间的联系就会强化，从而记住这两个事物之间存在着联系。

相反，如果两个神经元总是不能同步激发，那么它们间的联系将会越来越弱。