神经网络发展综述
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
2 神经网络的定义
神经网络是由多个简单的处理单元彼此按某种方式相互连接而形 成的计算机系统, 该系统通过对连续或断续式的输入作状态响应而进行 信息处理。虽然每个神经元的结构和功能十分简单, 但由大量神经元构 成的网络系统的行为确实丰富多彩和十分复杂。
神经网络系统是一个高度复杂的非线性动力学系统, 不但具有一般 非线性系统的共性, 更主要的是它还具有自己的特点。
法治绿, 明确园林绿地所有者的养护管理职责和质量标准, 对绿地的养
管理技术。加强养护队伍专业技术的建设, 按技术操作规程进行作业, 建
护管理质量采取法定的制约。
立技术责任制, 充分发挥技术人员的作用, 明确技术职权、责任。
3.2 做好养护管理工作
如 果 说 园 林 绿 化 的 行 政 管 理 侧 重 于 宏 观 的 、行 业 的 、间 接 的 管 理 和
摘 要: 介绍了神经网络产生和发展的过程, 阐述了神经网络的定义和特点, 指出神经
网络在控制系统和计算机领域的广泛应用将使电子科学和信息科学产生革命性的变
革。
关键词: 神经网络; 机器学习; 控制系统; 并行分布处理
中图分类号: TP183
文献标识码: A
作为一门活跃的边缘性交叉科学, 人工神经网络的研究与应用成为 人 工 智 能 、认 知 科 学 、神 经 生 理 学 、非 线 性 动 力 学 等 相 关 专 业 的 热 点 。 近
3 神经网络适应于控制领域的主要特征与难点
神经网络的性能是由其结构特征和基本处理单元的特性所决定的, 并与其学习算法有关。它之所以能在控制系统中得到如此广泛的应用, 与 自 动 控 制 理 论 的 发 展 需 要 是 密 切 相 关 的 。自 动 控 制 理 论 从 经 典 控 制 理 论到现代控制理论, 现在已经发展到智能控制理论。传统的基于串行计 算机理的 Von Neumann 型计算机面对复杂的职能控制需求, 在对环境变 化的自适应特性和实时大规模计算等方面已显示出根本性的缺陷, 而神 经网络所表现的许多特点恰好预示着在控制领域中的应用可能是使控 制理论摆脱困境的一条有效途径。
( 1) 非线性映射逼近能力。已有理论证明, 任意的连续非线性函数映 射关系可由某一多层神经网络以任意精度加以逼近。这种组成单元简 单 、结 构 有 序 的 模 型 是 非 线 性 系 统 建 模 的 有 效 框 架 模 型 , 预 示 着 神 经 网 络在具有挑战性的非线性控制领域上有很好的应用前景。
20 世纪 70 年代, 当 Paul Werbos 研究社会科学问题时, 发现了 BP 算法的数学原理。Amari 研究了神经网络的数学理论。基于人脑自动组织 它 的 识 别 码( Recognition Code) 思 想 , Grossberg 与 Gail Garpenter 提 出 了
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
148
谢承泮 神经网络发展综述
本刊 E- mail:bjb@mail.sxinfo.net 综 述
自 组 织( Adaptive Resonance Theoty, ART) 映 射 理 论 , 网 络 的 动 态 特 性 用 一阶微分方程描述。Kohonen 发展了自组织映射。
1982 年, J.Hopfield 提出了 Hopfiel 神经网络, 又掀起了 神 经 网 络 研 究的一个热潮。
做好绿地的养护管理工作, 还必须加强专业技术的指导, 面向社会单位
大学果树专业, 副教授, 太原大学外语师范学院园艺系, 山西省太原市南
定期进行技术培训, 不断吸收新的科学技术知识, 正确应用先进的养护
内环街南三巷 20 号, 030012.
Discussion on the Impor tant Role of the Maintenance and Management in the Constr uction of the Gar den Gr een- space
科技情报开发与经济
SCI- TECH INFORMATION DEVELOPMENT & ECONOMY
文章编号: 1005- 6033( 2006) 12- 0148- 03
神经网络发展综述
2006 年 第 16 卷 第 12 期 收稿日期: 2006- 03- 14
谢承泮
( 太原生产力促进中心, 山西太原, 030002)
1943 年, McCulloch 和 Pitts 提出了神经元的形式化模型, 神经元 可 用简单的 zha 值函数表示, 并完成逻辑函数功能。
1949 年, D.Hebb 认为信息能被存储在神经元的联结上, 提出了更新 神经元联结的学习机制, 目前被称为 Hebb 学习规则。
1958 年 , F.Rosenblatt 提 出 了 感 知 机 , 通 过 修 改 联 结 的 权 值 , 它 能 学 习分类一定的模式。因感知器的概念简单, 首次提出时很受重视, 但最后 Minsky 和 Papert 从数学上证明: 感知器不能完成复杂的逻辑函数。
20 世 纪 60 年 代 初 , B.Widrow 和 M.Hoff 提 出 了 Adaline( Adaptive linear element) , Adaline 采用最小均方( Least Mean Square, LMS) 算法调节 权值, 使输出与期望输出的差最小, 因为 Adaline 的线性和自适应性以及 LMS 算法有严格的数学基础, 它已成为自适应信号处理的有力工具。
( 3) 高强的容错能力。神经网络的并行处理机制及冗余结构特性使 其具有较强的容错特性, 提高了信息处理的可靠性和鲁棒性。
( 4) 对学习结果的泛化能力和自适应能力。经过适当训练的神经网 络具有潜在的自适应模式匹配功能, 能对所学信息加以分布式存储和泛 化, 这是其职能特性的重要体现。
( 5) 便于集成实现和计算模拟。神经网络在结构上是相同神经元的 大规模组合, 特别适合于用大规模集成电路实现, 也适合于用现有计算 技 术 进 行 模 拟 实 现 。但 现 有 的 计 算 机 运 算 方 式 与 神 经 网 络 所 要 求 的 并 行 运算和分布存储方式是截然不同的, 所以两者在运算时间上必然存在着 显著差异。
以上主要特性适应了控制理论和控制工程领域发展的基本要求, 能 解决其中所遇到的问题, 因此, 必然使神经网络在该领域获得广泛的应 用 。对 于 被 控 系 统 模 型 参 数 的 不 确 定 性 变 化 以 及 模 型 结 构 本 身 的 扰 动 问 题, 神经网络所具有的自学习和自适应能力使其能够实时地模拟被控对 象的特性变化, 同时, 即使当被控对象输出与模型输出存在一定误差时, 其容错特性也会使控制系统具有一定的鲁棒性。另外, 神经网络的标准 结构和模拟精度为解决非线性系统的自适应控制问题提供了一种标准 框架。同时, 作为一种本质的分布式并行信息处理系统, 为被控系统的分 布式信息处理和综合提供了一种有效的融合处理途径。
( 2) 对信息的并行分布式综合优化处理能力。神经网络的大规模互 联网络结构, 使其能很快地并行实现全局性的实时信息处理, 并很好地 协调多种输入信息之间的关系, 兼容定性和定量信息, 这是传统的串联 工作方式所无法达到的效果, 非常适合于系统控制中的大规模实时计 算。同时, 某些神经网络模型本身就具有自动搜索能量函数极值点的功 能, 这种优化计算能力在自适应控制设计中是十分有用的。
MAO Zi-min
ABSTRACT: This paper emphasizes the importance and the necessity of the maintenance and management of green - space in the construction of the ecological garden cities through analyzing some problems existing in the construction of garden green- space, and puts forward some suggestions on increasing the level of the maintenance and management of the green- space and consolidating the achievements of the construction of the garden greening. KEY WORDS: garden green- space; urban greening; maintenance and management
当 然 , 在 具 体 应 用 时 , 神 经 网 络 结 构 和 参 数 的 选 择 、学 习 样 本 的 选 取 、初 值 的 设 定 、学 习 算 法 的 收 敛 性 及 多 信 息 的 融 合 等 也 是 必 须 考 虑 的
由 于 园 林 绿 化 具 有 长 期 性 和 连 续 性 、技 术 性 和 艺 术 性 、地 域 性 和 季
监 控 , 那 么 绿 地 养 护 则 侧 重 于 微 观 的 、直 接 的 、具 体 的 技 术 性 的 作 业 , 只
节性、景观的综合性和可塑性等特点, 所以, 园林绿地的质量是随着时间
同, 对水分的要求不同, 质地黏重的土壤浇水过多会导致土中水气比例
( 责任编辑: 王雅利)
失调, 影响植物正常生长发育。植物种类不同, 对整形修剪的要求不同,
───────────────
尤其是观赏花树种, 不正确的修剪方法会造成开花减少甚至无花。因此,
第一作者简介: 毛子敏, 女, 1955 年 5 月生, 1982 年毕业于山西农业
有将宏观管理和微观作业有机地结合起来, 才能提高绿地的养护管理水
的演进而变化的, 也是随着养护的技术质量而变化的。科学的养护管理,
平, 巩固城市园林绿化成果, 为创建国家生态园林城市奠定基础。
应根据植物生长规律和生物学特性以及物候期和环境条件等方面, 因地
参考文献
因 时 因 对 象 制 定 相 应 的 技 术 措 施 , 防 止 片 面 性 、教 条 性 。 如 土 壤 质 地 不 [ 1] 王焘, 寇怀云.城市绿化管理学[ M] .北京: 中国林业出版社, 2001.
1 神经网络的发展及分类
Biblioteka Baidu
十年来, 针对神经网络的学术研究大量涌现, 它们当中提出了数百种神 经 网 络 , 涉 及 联 想 记 忆 、自 学 习 与 自 组 织 、计 算 机 视 觉 等 众 多 的 方 面 , 取 得了引人瞩目的进展。
由于神经网络是高度非线性动力学系统, 又是自适应自组织系统, 可 用 来 描 述 认 知 、决 策 及 控 制 等 的 智 能 行 为 , 使 得 智 能 的 认 识 和 模 拟 成 为 神 经 网 络 理 论 研 究 的 一 个 重 要 方 面 。而 这 方 面 的 研 究 与 我 们 对 人 脑 结 构的认识和研究有着密切的关系, 同时, 神经网络理论又成为信息并行 处理的基础, PDP( 并行分布处理) 成 为 20 世 纪 80 年 代 中 后 期 的 一 个 研 究新热点, 它进一步拓展了计算概念的内涵, 使神经计算、进化计算成为 新的研究领域。事实上, 神经网络理论研究的前沿问题将渗透到 21 世纪 科学的挑战性问题中, 不过, 由于目前人类对真实神经系统了解非常有 限, 对于自身脑结构及其活动机理的认识还非常浮浅, 因此, 人工神经网 络 的 完 善 与 发 展 还 有 待 于 神 经 生 理 学 、神 经 解 剖 学 的 研 究 给 出 更 加 详 细 的研究和证据。
20 世纪 80 年代中期, Rumelhert 和他的同事们出版了著名的并行分 布 式 处 理( Parallel Distributed Processing) 专 著 , 建 立 了 BP 算 法 和 前 向 神 经网络。90 年代, 又提出了基于知识的人工神经网络和进化神经网络等。
神经网络的类型可分为: 前向神经网络、反馈神经网络、随机神经网 络及自组织神经网络等。
神经网络是由多个简单的处理单元彼此按某种方式相互连接而形 成的计算机系统, 该系统通过对连续或断续式的输入作状态响应而进行 信息处理。虽然每个神经元的结构和功能十分简单, 但由大量神经元构 成的网络系统的行为确实丰富多彩和十分复杂。
神经网络系统是一个高度复杂的非线性动力学系统, 不但具有一般 非线性系统的共性, 更主要的是它还具有自己的特点。
法治绿, 明确园林绿地所有者的养护管理职责和质量标准, 对绿地的养
管理技术。加强养护队伍专业技术的建设, 按技术操作规程进行作业, 建
护管理质量采取法定的制约。
立技术责任制, 充分发挥技术人员的作用, 明确技术职权、责任。
3.2 做好养护管理工作
如 果 说 园 林 绿 化 的 行 政 管 理 侧 重 于 宏 观 的 、行 业 的 、间 接 的 管 理 和
摘 要: 介绍了神经网络产生和发展的过程, 阐述了神经网络的定义和特点, 指出神经
网络在控制系统和计算机领域的广泛应用将使电子科学和信息科学产生革命性的变
革。
关键词: 神经网络; 机器学习; 控制系统; 并行分布处理
中图分类号: TP183
文献标识码: A
作为一门活跃的边缘性交叉科学, 人工神经网络的研究与应用成为 人 工 智 能 、认 知 科 学 、神 经 生 理 学 、非 线 性 动 力 学 等 相 关 专 业 的 热 点 。 近
3 神经网络适应于控制领域的主要特征与难点
神经网络的性能是由其结构特征和基本处理单元的特性所决定的, 并与其学习算法有关。它之所以能在控制系统中得到如此广泛的应用, 与 自 动 控 制 理 论 的 发 展 需 要 是 密 切 相 关 的 。自 动 控 制 理 论 从 经 典 控 制 理 论到现代控制理论, 现在已经发展到智能控制理论。传统的基于串行计 算机理的 Von Neumann 型计算机面对复杂的职能控制需求, 在对环境变 化的自适应特性和实时大规模计算等方面已显示出根本性的缺陷, 而神 经网络所表现的许多特点恰好预示着在控制领域中的应用可能是使控 制理论摆脱困境的一条有效途径。
( 1) 非线性映射逼近能力。已有理论证明, 任意的连续非线性函数映 射关系可由某一多层神经网络以任意精度加以逼近。这种组成单元简 单 、结 构 有 序 的 模 型 是 非 线 性 系 统 建 模 的 有 效 框 架 模 型 , 预 示 着 神 经 网 络在具有挑战性的非线性控制领域上有很好的应用前景。
20 世纪 70 年代, 当 Paul Werbos 研究社会科学问题时, 发现了 BP 算法的数学原理。Amari 研究了神经网络的数学理论。基于人脑自动组织 它 的 识 别 码( Recognition Code) 思 想 , Grossberg 与 Gail Garpenter 提 出 了
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
148
谢承泮 神经网络发展综述
本刊 E- mail:bjb@mail.sxinfo.net 综 述
自 组 织( Adaptive Resonance Theoty, ART) 映 射 理 论 , 网 络 的 动 态 特 性 用 一阶微分方程描述。Kohonen 发展了自组织映射。
1982 年, J.Hopfield 提出了 Hopfiel 神经网络, 又掀起了 神 经 网 络 研 究的一个热潮。
做好绿地的养护管理工作, 还必须加强专业技术的指导, 面向社会单位
大学果树专业, 副教授, 太原大学外语师范学院园艺系, 山西省太原市南
定期进行技术培训, 不断吸收新的科学技术知识, 正确应用先进的养护
内环街南三巷 20 号, 030012.
Discussion on the Impor tant Role of the Maintenance and Management in the Constr uction of the Gar den Gr een- space
科技情报开发与经济
SCI- TECH INFORMATION DEVELOPMENT & ECONOMY
文章编号: 1005- 6033( 2006) 12- 0148- 03
神经网络发展综述
2006 年 第 16 卷 第 12 期 收稿日期: 2006- 03- 14
谢承泮
( 太原生产力促进中心, 山西太原, 030002)
1943 年, McCulloch 和 Pitts 提出了神经元的形式化模型, 神经元 可 用简单的 zha 值函数表示, 并完成逻辑函数功能。
1949 年, D.Hebb 认为信息能被存储在神经元的联结上, 提出了更新 神经元联结的学习机制, 目前被称为 Hebb 学习规则。
1958 年 , F.Rosenblatt 提 出 了 感 知 机 , 通 过 修 改 联 结 的 权 值 , 它 能 学 习分类一定的模式。因感知器的概念简单, 首次提出时很受重视, 但最后 Minsky 和 Papert 从数学上证明: 感知器不能完成复杂的逻辑函数。
20 世 纪 60 年 代 初 , B.Widrow 和 M.Hoff 提 出 了 Adaline( Adaptive linear element) , Adaline 采用最小均方( Least Mean Square, LMS) 算法调节 权值, 使输出与期望输出的差最小, 因为 Adaline 的线性和自适应性以及 LMS 算法有严格的数学基础, 它已成为自适应信号处理的有力工具。
( 3) 高强的容错能力。神经网络的并行处理机制及冗余结构特性使 其具有较强的容错特性, 提高了信息处理的可靠性和鲁棒性。
( 4) 对学习结果的泛化能力和自适应能力。经过适当训练的神经网 络具有潜在的自适应模式匹配功能, 能对所学信息加以分布式存储和泛 化, 这是其职能特性的重要体现。
( 5) 便于集成实现和计算模拟。神经网络在结构上是相同神经元的 大规模组合, 特别适合于用大规模集成电路实现, 也适合于用现有计算 技 术 进 行 模 拟 实 现 。但 现 有 的 计 算 机 运 算 方 式 与 神 经 网 络 所 要 求 的 并 行 运算和分布存储方式是截然不同的, 所以两者在运算时间上必然存在着 显著差异。
以上主要特性适应了控制理论和控制工程领域发展的基本要求, 能 解决其中所遇到的问题, 因此, 必然使神经网络在该领域获得广泛的应 用 。对 于 被 控 系 统 模 型 参 数 的 不 确 定 性 变 化 以 及 模 型 结 构 本 身 的 扰 动 问 题, 神经网络所具有的自学习和自适应能力使其能够实时地模拟被控对 象的特性变化, 同时, 即使当被控对象输出与模型输出存在一定误差时, 其容错特性也会使控制系统具有一定的鲁棒性。另外, 神经网络的标准 结构和模拟精度为解决非线性系统的自适应控制问题提供了一种标准 框架。同时, 作为一种本质的分布式并行信息处理系统, 为被控系统的分 布式信息处理和综合提供了一种有效的融合处理途径。
( 2) 对信息的并行分布式综合优化处理能力。神经网络的大规模互 联网络结构, 使其能很快地并行实现全局性的实时信息处理, 并很好地 协调多种输入信息之间的关系, 兼容定性和定量信息, 这是传统的串联 工作方式所无法达到的效果, 非常适合于系统控制中的大规模实时计 算。同时, 某些神经网络模型本身就具有自动搜索能量函数极值点的功 能, 这种优化计算能力在自适应控制设计中是十分有用的。
MAO Zi-min
ABSTRACT: This paper emphasizes the importance and the necessity of the maintenance and management of green - space in the construction of the ecological garden cities through analyzing some problems existing in the construction of garden green- space, and puts forward some suggestions on increasing the level of the maintenance and management of the green- space and consolidating the achievements of the construction of the garden greening. KEY WORDS: garden green- space; urban greening; maintenance and management
当 然 , 在 具 体 应 用 时 , 神 经 网 络 结 构 和 参 数 的 选 择 、学 习 样 本 的 选 取 、初 值 的 设 定 、学 习 算 法 的 收 敛 性 及 多 信 息 的 融 合 等 也 是 必 须 考 虑 的
由 于 园 林 绿 化 具 有 长 期 性 和 连 续 性 、技 术 性 和 艺 术 性 、地 域 性 和 季
监 控 , 那 么 绿 地 养 护 则 侧 重 于 微 观 的 、直 接 的 、具 体 的 技 术 性 的 作 业 , 只
节性、景观的综合性和可塑性等特点, 所以, 园林绿地的质量是随着时间
同, 对水分的要求不同, 质地黏重的土壤浇水过多会导致土中水气比例
( 责任编辑: 王雅利)
失调, 影响植物正常生长发育。植物种类不同, 对整形修剪的要求不同,
───────────────
尤其是观赏花树种, 不正确的修剪方法会造成开花减少甚至无花。因此,
第一作者简介: 毛子敏, 女, 1955 年 5 月生, 1982 年毕业于山西农业
有将宏观管理和微观作业有机地结合起来, 才能提高绿地的养护管理水
的演进而变化的, 也是随着养护的技术质量而变化的。科学的养护管理,
平, 巩固城市园林绿化成果, 为创建国家生态园林城市奠定基础。
应根据植物生长规律和生物学特性以及物候期和环境条件等方面, 因地
参考文献
因 时 因 对 象 制 定 相 应 的 技 术 措 施 , 防 止 片 面 性 、教 条 性 。 如 土 壤 质 地 不 [ 1] 王焘, 寇怀云.城市绿化管理学[ M] .北京: 中国林业出版社, 2001.
1 神经网络的发展及分类
Biblioteka Baidu
十年来, 针对神经网络的学术研究大量涌现, 它们当中提出了数百种神 经 网 络 , 涉 及 联 想 记 忆 、自 学 习 与 自 组 织 、计 算 机 视 觉 等 众 多 的 方 面 , 取 得了引人瞩目的进展。
由于神经网络是高度非线性动力学系统, 又是自适应自组织系统, 可 用 来 描 述 认 知 、决 策 及 控 制 等 的 智 能 行 为 , 使 得 智 能 的 认 识 和 模 拟 成 为 神 经 网 络 理 论 研 究 的 一 个 重 要 方 面 。而 这 方 面 的 研 究 与 我 们 对 人 脑 结 构的认识和研究有着密切的关系, 同时, 神经网络理论又成为信息并行 处理的基础, PDP( 并行分布处理) 成 为 20 世 纪 80 年 代 中 后 期 的 一 个 研 究新热点, 它进一步拓展了计算概念的内涵, 使神经计算、进化计算成为 新的研究领域。事实上, 神经网络理论研究的前沿问题将渗透到 21 世纪 科学的挑战性问题中, 不过, 由于目前人类对真实神经系统了解非常有 限, 对于自身脑结构及其活动机理的认识还非常浮浅, 因此, 人工神经网 络 的 完 善 与 发 展 还 有 待 于 神 经 生 理 学 、神 经 解 剖 学 的 研 究 给 出 更 加 详 细 的研究和证据。
20 世纪 80 年代中期, Rumelhert 和他的同事们出版了著名的并行分 布 式 处 理( Parallel Distributed Processing) 专 著 , 建 立 了 BP 算 法 和 前 向 神 经网络。90 年代, 又提出了基于知识的人工神经网络和进化神经网络等。
神经网络的类型可分为: 前向神经网络、反馈神经网络、随机神经网 络及自组织神经网络等。