2人工神经网络基础知识
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
在人工神经网络中，神经元常被称为“处理单元”。 有时从网络的观点出发常把它称为“节点”。人工神经元 是对生物神经元的一种形式化描述，它对生物神经元的信 息处理过程进行抽象，并用数学语言予以描述；对生物神 经元的结构和功能进行模拟，并用模型图予以表达。
目前人们提出的神经元模型已有很多，其中最早提出且 影响最大的，是1943年心理学家McCulloch和数学家 W．Pitts在分析总结神经元基本特性的基础上首先提出的M －P模型。该模型经过不断改进后，形成目前广泛应用的形 式神经元模型。
单个神经元可以与多达上千个其他神经元的轴突末梢形 成突触连接,接受从突触前各个轴突传来的脉冲输入.这些输入 从不同部位输入给神经元,各输入的权重影响也不同.
输入一个神经元的信息在时间和空间上常呈现一种复杂 多变的形式,神经元需要对它们进行积累和整合加工,从而决定 其输出的时机和强弱.
整合---时间整合、空间整合。 时间整合—各输入脉冲抵达神经元的先后时间不同，一个脉 冲引起的突触后电位很小，但随着时间延续，另有脉冲到达， 总的突触后电位就增大。
一个神经元的各树突和细胞体往往通过突触和大量的其他 神经元相连接,从而靠突触把众多的神经元连成一个神经元 网络。(即一神经元树突和其它神经元轴突一一对接，)
突触连接相当于神经元间信息传递的输入与输出接口, 每个神经元有103-105个突触.
突触后电位的变化(其他神经元传来的信息),将对该神经元 产生综合作用,即当这些突出后电位的总和超过某一阈值 (threshold)时,该神经元便被激活,并产生脉冲,脉冲沿轴突向 其他神经元传递,从而实现神经元之间信息的传递.
胞体
(晶枝)
神经元（即神经细胞-neuron） 是由细胞体(body)、树突(晶 枝-dendrite)、轴突(axon)和 突触(synapse)四部分组成。
人脑约由1.4*1011数量神经元和 1014-1015个突触组成巨系统.
每个细胞体都有一个细胞核在进行着呼吸和新陈代谢等 许多生化过程。
空间整合—在同一时刻产生的刺激所引起的膜电位变化，大致 等于各单独刺激引起的膜电位变化的代数和。这种累加求和称 空间整合。
生物神经元是在这两种整合综合下进行信息传递的。
神经元---抑制性、兴奋性两种。
抑制性---神经元虽然接收到其他神经元传递的信息，但没 有向外传递信息，该神经元称“抑制性”的；
兴奋性---当一个神经元的树突接收的兴奋信息累计超过阈 值，该神经元被激活并传递出信息给其他神经元。
在人脑中，神经元间的突触联系大部分是在出生后， 由于外界刺激而成长起来的。外界刺激性质不同，能够改 变神经元之间的突触联系。正是由于各神经元之间的突触 连接强度和极性可以有所不同，并且都可进行调整，因此 人脑才可以有学习和存储信息的功能。
由多个生物神经元以确定方式和拓扑结构相互连接，即 形成生物神经网络．它是一种灵巧、复杂的生物信息处理系 统。宏观上呈现千理过程的简化和概括，它清 晰地描述了生物神经元信息处理的特点，而且便于进行形式 化表达。通过上述假定，人工神经元的结构模型如图所示。
人工神经元的数学模型描述：
第j个神经元，接受多个其它神经元i在t时刻的输入xi(t)，引起 神经元j的信息输出为yj(t):
n
y j (t) f {[ wij xi (t ij )] j } i 1
式中 wij—神经元i到j的突触连接系数，即加权值； θj—神经元j的阈值； τij—输入、输出间的突触时延； f()—神经元转移（激活）函数.
为简单起见，将上式中的突触时延取为单位时间，则 n y j (t 1) f [ wij xi (t) j ] f (net j ) i 1 n 式中 netj—j单元激活值；netj= wij xi j i 1
人脑最复杂的神经网络部分处于大脑最外层的大脑皮层。 具有高度的分析和综合能力，是人脑思维活动的物质基础。 生物学研究发现，人大脑皮层有３—６层神经细胞，即具有 层次结构。
2.２人工神经元模型
人工神经网络是在现代神经生物学研究基础上提出的模 拟生物过程以反映人脑某些特性的计算结构。它不是人脑神 经系统的真实描写，而只是它的某种抽象、简化和模拟。根 据前面对生物神经网络的研究可知，神经元及其突触是神经 网络的基本器件。因此，模拟生物神经网络应首先模拟生物 神经元。
2 人工神经网络基础知识
2.1人工神经网络的生物学基础
人的智能来自于大脑，大脑是由大量的神经细胞或神经元 组成的。每个神经元可以看作为一个小的处理单元，这些神经 元按照某种方式互相连接起来，构成了大脑内部的生物神经元 网络，他们中各神经元之间连接的强弱，按照外部的激励信号 作自适应变化，而每个神经元又随着接收到的多个激励信号的 综合大小呈现兴奋或抑制状态。据现在的了解，大脑的学习过 程就是神经元之间连接强度随外部激励信息做自适应变化的过 程，大脑处理信息的结果确由神经元的状态表现出来。显然， 神经元是信息处理系统的最小单元。虽然神经元的类型有很多 种，但其基本结构相似，生物学中神经元结构如图所示。
关于神经元的信息处理机制，该模型在简化的基础上提 出以下6点约定进行描述：
（1）每个神经元都是一个多输入单输出的信息处理单元； （2）突触分兴奋性和抑制性两种类型； （3）神经元具有空间整合特性和阈值特性； （4）神经元输入输出间有固定的时滞，主要取决于突触延搁； （5）忽略时间整合作用和不应期； （6）神经元本身是非时变的，即其突触时延和突触强度均为常 数。
整个细胞的外部叫做细胞膜。从细胞体向外伸出许多树突 和一条长的轴突，树突和轴突分别负责传入和传出兴奋或抑 制信息到细胞体。
树突:较短，分支很多，是信息的输入端。
轴突:较长，是信息的输出端。
突触:是一个神经元与另一个神经元相联系的特殊结构部位， 突触包括突触前（成分）、突触间隙和突触后（成分）三个 部分。突触前（成分）是第一个神经元的轴突末梢部分。突 触后（成分）是指第二个神经元的受体表面。突触前（成分） 通过化学接触或者电接触，将信息传往突触后受体表面(第二 神经元树突)，实现神经元的信息传输。
目前人们提出的神经元模型已有很多，其中最早提出且 影响最大的，是1943年心理学家McCulloch和数学家 W．Pitts在分析总结神经元基本特性的基础上首先提出的M －P模型。该模型经过不断改进后，形成目前广泛应用的形 式神经元模型。
单个神经元可以与多达上千个其他神经元的轴突末梢形 成突触连接,接受从突触前各个轴突传来的脉冲输入.这些输入 从不同部位输入给神经元,各输入的权重影响也不同.
输入一个神经元的信息在时间和空间上常呈现一种复杂 多变的形式,神经元需要对它们进行积累和整合加工,从而决定 其输出的时机和强弱.
整合---时间整合、空间整合。 时间整合—各输入脉冲抵达神经元的先后时间不同，一个脉 冲引起的突触后电位很小，但随着时间延续，另有脉冲到达， 总的突触后电位就增大。
一个神经元的各树突和细胞体往往通过突触和大量的其他 神经元相连接,从而靠突触把众多的神经元连成一个神经元 网络。(即一神经元树突和其它神经元轴突一一对接，)
突触连接相当于神经元间信息传递的输入与输出接口, 每个神经元有103-105个突触.
突触后电位的变化(其他神经元传来的信息),将对该神经元 产生综合作用,即当这些突出后电位的总和超过某一阈值 (threshold)时,该神经元便被激活,并产生脉冲,脉冲沿轴突向 其他神经元传递,从而实现神经元之间信息的传递.
胞体
(晶枝)
神经元（即神经细胞-neuron） 是由细胞体(body)、树突(晶 枝-dendrite)、轴突(axon)和 突触(synapse)四部分组成。
人脑约由1.4*1011数量神经元和 1014-1015个突触组成巨系统.
每个细胞体都有一个细胞核在进行着呼吸和新陈代谢等 许多生化过程。
空间整合—在同一时刻产生的刺激所引起的膜电位变化，大致 等于各单独刺激引起的膜电位变化的代数和。这种累加求和称 空间整合。
生物神经元是在这两种整合综合下进行信息传递的。
神经元---抑制性、兴奋性两种。
抑制性---神经元虽然接收到其他神经元传递的信息，但没 有向外传递信息，该神经元称“抑制性”的；
兴奋性---当一个神经元的树突接收的兴奋信息累计超过阈 值，该神经元被激活并传递出信息给其他神经元。
在人脑中，神经元间的突触联系大部分是在出生后， 由于外界刺激而成长起来的。外界刺激性质不同，能够改 变神经元之间的突触联系。正是由于各神经元之间的突触 连接强度和极性可以有所不同，并且都可进行调整，因此 人脑才可以有学习和存储信息的功能。
由多个生物神经元以确定方式和拓扑结构相互连接，即 形成生物神经网络．它是一种灵巧、复杂的生物信息处理系 统。宏观上呈现千理过程的简化和概括，它清 晰地描述了生物神经元信息处理的特点，而且便于进行形式 化表达。通过上述假定，人工神经元的结构模型如图所示。
人工神经元的数学模型描述：
第j个神经元，接受多个其它神经元i在t时刻的输入xi(t)，引起 神经元j的信息输出为yj(t):
n
y j (t) f {[ wij xi (t ij )] j } i 1
式中 wij—神经元i到j的突触连接系数，即加权值； θj—神经元j的阈值； τij—输入、输出间的突触时延； f()—神经元转移（激活）函数.
为简单起见，将上式中的突触时延取为单位时间，则 n y j (t 1) f [ wij xi (t) j ] f (net j ) i 1 n 式中 netj—j单元激活值；netj= wij xi j i 1
人脑最复杂的神经网络部分处于大脑最外层的大脑皮层。 具有高度的分析和综合能力，是人脑思维活动的物质基础。 生物学研究发现，人大脑皮层有３—６层神经细胞，即具有 层次结构。
2.２人工神经元模型
人工神经网络是在现代神经生物学研究基础上提出的模 拟生物过程以反映人脑某些特性的计算结构。它不是人脑神 经系统的真实描写，而只是它的某种抽象、简化和模拟。根 据前面对生物神经网络的研究可知，神经元及其突触是神经 网络的基本器件。因此，模拟生物神经网络应首先模拟生物 神经元。
2 人工神经网络基础知识
2.1人工神经网络的生物学基础
人的智能来自于大脑，大脑是由大量的神经细胞或神经元 组成的。每个神经元可以看作为一个小的处理单元，这些神经 元按照某种方式互相连接起来，构成了大脑内部的生物神经元 网络，他们中各神经元之间连接的强弱，按照外部的激励信号 作自适应变化，而每个神经元又随着接收到的多个激励信号的 综合大小呈现兴奋或抑制状态。据现在的了解，大脑的学习过 程就是神经元之间连接强度随外部激励信息做自适应变化的过 程，大脑处理信息的结果确由神经元的状态表现出来。显然， 神经元是信息处理系统的最小单元。虽然神经元的类型有很多 种，但其基本结构相似，生物学中神经元结构如图所示。
关于神经元的信息处理机制，该模型在简化的基础上提 出以下6点约定进行描述：
（1）每个神经元都是一个多输入单输出的信息处理单元； （2）突触分兴奋性和抑制性两种类型； （3）神经元具有空间整合特性和阈值特性； （4）神经元输入输出间有固定的时滞，主要取决于突触延搁； （5）忽略时间整合作用和不应期； （6）神经元本身是非时变的，即其突触时延和突触强度均为常 数。
整个细胞的外部叫做细胞膜。从细胞体向外伸出许多树突 和一条长的轴突，树突和轴突分别负责传入和传出兴奋或抑 制信息到细胞体。
树突:较短，分支很多，是信息的输入端。
轴突:较长，是信息的输出端。
突触:是一个神经元与另一个神经元相联系的特殊结构部位， 突触包括突触前（成分）、突触间隙和突触后（成分）三个 部分。突触前（成分）是第一个神经元的轴突末梢部分。突 触后（成分）是指第二个神经元的受体表面。突触前（成分） 通过化学接触或者电接触，将信息传往突触后受体表面(第二 神经元树突)，实现神经元的信息传输。