第一章：神经网络基础
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
神经网络与遗传算法
山东大学控制科学与工程学院
课程目的和基本要求
神经网络在信号处理、自动控制、模式识别等 领域中具有广泛的应用前景。本课程将学生引 入人工神经网络及其应用的研究领域。
介绍人工神经网络基本概念及其基本网络模型 的结构、特点、典型训练算法、运行方式、典 型问题等。
了解人工神经网络的有关研究思想，从中学习 开拓者们的部分问题求解方法。
他9岁上高中，11岁进大学，15岁拿文学学士，18 岁在哈佛大学获哲学博士学位。以后从师罗素、希 尔伯特，及小说家哈迪。研讨伺服系统、防空火炮 控制、生物神经系统的控制机理。
罗素是维纳的主要良师益友，维纳跟他学习数 理逻辑和科学与数学哲学 。罗素建议维纳阅读 爱因斯坦1905年发表的三篇论文，学习卢瑟福 的电子理论和波尔的学说。罗素对物理学中的 重要发现有着敏锐的嗅觉，他的教导使维纳牢 牢记住，不仅数学是重要的。而且还需要有物 理概念。
维纳原计划在剑桥读完这一年，但第二学期罗 素要去哈佛讲学，他劝告维纳去哥丁根大学， 攻读希尔伯特和兰道等人的课程。
30年代开始，维纳关 注布什研究的模拟计算 机。1935～1936年， 他应邀到中国作访问教 授。在清华大学与李郁 荣合作，研究并设计出 很好的电子滤波器，获 得了该项发明的专利权。 维纳把他在中国的这一 年作为自己学术生涯中 的一个特定的里程碑， 即作为科学的一个刚满 师的工匠和在某种程度 上成为这一行的一个独 当一面的师傅的分界点。
维纳小传
20世纪中叶控制论发生了根本变革 ，中心人物就是诺伯特·维纳。
维纳三岁半开始读书，生物学和天文 学的初级科学读物就成了他在科学方面的 启蒙书籍。从此，他兴致勃勃，爱不释卷 的埋首于五花八门的科学读本。七岁时， 开始深入物理学和生物学的领域，甚至超 出了他父亲的知识范围。从达尔文的进化 论、金斯利的《自然史》到夏尔科、雅内 的精神病学著作，从儒勒·凡尔纳的科学 幻想小说到18、19世纪的文学名著等等， 几乎无所不读。
控制论创始人 数学家 维纳
Norbert Wiener 1894～1964
父母几次设法送他到学校去受教育，但不寻常的智 力和训练使维纳在学校里很难被安排。他的阅读远 远地走在书写的前面，他刻苦地学习并掌握了初等 数学，但仍需要扳着手指做算术。直到9岁时，才 作为一名特殊的学生，进了艾尔中学，不满12岁就 毕业了。
维纳此言一出，四座皆惊，大家都被他的这道妙题深深地吸引住 了。整个会场上的人，都在议论他的年龄问题。
其实这个问题不难解答，但是需要一点数字“灵感”。不难发 现，21的立方是四位数，而22的立方已经是五位数了，所以维 纳的年龄最多是21岁；同样道理，18的四次方是六位数，而17 的四次方则是五位数了，所以维纳的年龄至少是18岁。这样， 维纳的年龄只可能是18、19、20、21这四个数中的一个 。
《人工神经网络-第六代计算机的实现》科普 出版社1993 周继成
《神经网络系统理论》 西安电子科大出版社 1992 焦李成
《神经元网络控制》机械工业出版社 1998 王 永骥 徐建
第一章：神经网络基础wenku.baidu.com
一 序言 二 神经网络的发展史及研究现状 三 神经元数学模型 四 神经网络的构成原理 五 神经网络的功能及特点
1959年，维纳从麻省理工学院退休。1964年1月，他 由于“在纯粹数学和应用数学方面并且勇于深入到工 程和生物科学中去的多种令人惊异的贡献及在这些领 域中具有深远意义的开创性工作”荣获美国总统授予 的国家科学勋章。
维纳趣事
20世纪著名数学家诺伯特·维纳，从小就智力超常，三岁时就能 读写，十四岁时就大学毕业了。几年后，他又通过了博士论文答 辩，成为美国哈佛大学的科学博士。在博士学位的授予仪式上， 执行主席看到一脸稚气的维纳，颇为惊讶，于是就当面询问他的 年龄。维纳不愧为数学神童，他的回答十分巧妙：“我今年岁数 的立方是个四位数，岁数的四次方是个六位数，这两个数，刚好 把十个数字0、1、2、3、4、5、6、7、8、9全都用上了，不重 不漏。这意味着全体数字都向我俯首称臣，预祝我将来在数学领 域里一定能干出一番惊天动地的大事业 。”
课程目的和基本要求
通过实验进一步体会有关模型的用法和性能， 获取一些初步的设计经验。
查阅适当的参考文献，将所学的知识与自己未 来的研究课题（包括研究生论文阶段的研究课 题）相结合起来，达到既丰富学习内容，又有 一定研究和应用的目的。
讲授计划
第一章：神经网络基础 第二章：前向神经网络 第三章：反馈神经网络 第四章：随机神经网络 第五章：自组织神经网络 第六章：神经网络控制 第七章：遗传算法
这个年仅18岁的少年博士，后来果然成就了一番大事业：他成 为信息论的前驱和控制论的奠基人。
在第二次世界大战期间，维纳接受了一项与火力控制 有关的研究工作。这问题促使他深入探索了用机器来 模拟人脑的计算功能，建立预测理论并应用于防空火 力控制系统的预测装置。1948年，维纳发表《控制 论》，宣告了这门新兴学科的诞生。这是他长期艰苦 努力并与生理学家罗森勃吕特等人多方面合作的伟大 科学成果。维纳立即从声誉有限的数学家一跃成为一 个国际知名人士，此时他早已年过半百。此后，维纳 继续为控制论的发展和运用作出了杰出的贡献。
授课方式
讲授与课后自学相结合 注意听讲和记笔记。 自学包括：1）看最新文献（中、英文），形成
word文档；2）课后作业（不定期），形成程 序代码，并写明如何使用该文件。 期末考试：1）考试；2）论文（综述）。 总学时：32学时
其中课堂讲授：26学时；课后练习：6学时。
参考书目
《人工神经网络》高等教育出版社 1992 杨行 俊 郑君里
剩下的工作就是一一筛选了。20的立方是8000，有3个重复数 字0，不合题意。同理，19的四次方等于130321，21的四次方 等于194481，都不合题意。最后只剩下一个18，是不是正确答 案呢？验算一下，18的立方等于5832，四次方等于104976， 恰好不重不漏地用完了十个阿拉伯数字，多么完美的组合。
山东大学控制科学与工程学院
课程目的和基本要求
神经网络在信号处理、自动控制、模式识别等 领域中具有广泛的应用前景。本课程将学生引 入人工神经网络及其应用的研究领域。
介绍人工神经网络基本概念及其基本网络模型 的结构、特点、典型训练算法、运行方式、典 型问题等。
了解人工神经网络的有关研究思想，从中学习 开拓者们的部分问题求解方法。
他9岁上高中，11岁进大学，15岁拿文学学士，18 岁在哈佛大学获哲学博士学位。以后从师罗素、希 尔伯特，及小说家哈迪。研讨伺服系统、防空火炮 控制、生物神经系统的控制机理。
罗素是维纳的主要良师益友，维纳跟他学习数 理逻辑和科学与数学哲学 。罗素建议维纳阅读 爱因斯坦1905年发表的三篇论文，学习卢瑟福 的电子理论和波尔的学说。罗素对物理学中的 重要发现有着敏锐的嗅觉，他的教导使维纳牢 牢记住，不仅数学是重要的。而且还需要有物 理概念。
维纳原计划在剑桥读完这一年，但第二学期罗 素要去哈佛讲学，他劝告维纳去哥丁根大学， 攻读希尔伯特和兰道等人的课程。
30年代开始，维纳关 注布什研究的模拟计算 机。1935～1936年， 他应邀到中国作访问教 授。在清华大学与李郁 荣合作，研究并设计出 很好的电子滤波器，获 得了该项发明的专利权。 维纳把他在中国的这一 年作为自己学术生涯中 的一个特定的里程碑， 即作为科学的一个刚满 师的工匠和在某种程度 上成为这一行的一个独 当一面的师傅的分界点。
维纳小传
20世纪中叶控制论发生了根本变革 ，中心人物就是诺伯特·维纳。
维纳三岁半开始读书，生物学和天文 学的初级科学读物就成了他在科学方面的 启蒙书籍。从此，他兴致勃勃，爱不释卷 的埋首于五花八门的科学读本。七岁时， 开始深入物理学和生物学的领域，甚至超 出了他父亲的知识范围。从达尔文的进化 论、金斯利的《自然史》到夏尔科、雅内 的精神病学著作，从儒勒·凡尔纳的科学 幻想小说到18、19世纪的文学名著等等， 几乎无所不读。
控制论创始人 数学家 维纳
Norbert Wiener 1894～1964
父母几次设法送他到学校去受教育，但不寻常的智 力和训练使维纳在学校里很难被安排。他的阅读远 远地走在书写的前面，他刻苦地学习并掌握了初等 数学，但仍需要扳着手指做算术。直到9岁时，才 作为一名特殊的学生，进了艾尔中学，不满12岁就 毕业了。
维纳此言一出，四座皆惊，大家都被他的这道妙题深深地吸引住 了。整个会场上的人，都在议论他的年龄问题。
其实这个问题不难解答，但是需要一点数字“灵感”。不难发 现，21的立方是四位数，而22的立方已经是五位数了，所以维 纳的年龄最多是21岁；同样道理，18的四次方是六位数，而17 的四次方则是五位数了，所以维纳的年龄至少是18岁。这样， 维纳的年龄只可能是18、19、20、21这四个数中的一个 。
《人工神经网络-第六代计算机的实现》科普 出版社1993 周继成
《神经网络系统理论》 西安电子科大出版社 1992 焦李成
《神经元网络控制》机械工业出版社 1998 王 永骥 徐建
第一章：神经网络基础wenku.baidu.com
一 序言 二 神经网络的发展史及研究现状 三 神经元数学模型 四 神经网络的构成原理 五 神经网络的功能及特点
1959年，维纳从麻省理工学院退休。1964年1月，他 由于“在纯粹数学和应用数学方面并且勇于深入到工 程和生物科学中去的多种令人惊异的贡献及在这些领 域中具有深远意义的开创性工作”荣获美国总统授予 的国家科学勋章。
维纳趣事
20世纪著名数学家诺伯特·维纳，从小就智力超常，三岁时就能 读写，十四岁时就大学毕业了。几年后，他又通过了博士论文答 辩，成为美国哈佛大学的科学博士。在博士学位的授予仪式上， 执行主席看到一脸稚气的维纳，颇为惊讶，于是就当面询问他的 年龄。维纳不愧为数学神童，他的回答十分巧妙：“我今年岁数 的立方是个四位数，岁数的四次方是个六位数，这两个数，刚好 把十个数字0、1、2、3、4、5、6、7、8、9全都用上了，不重 不漏。这意味着全体数字都向我俯首称臣，预祝我将来在数学领 域里一定能干出一番惊天动地的大事业 。”
课程目的和基本要求
通过实验进一步体会有关模型的用法和性能， 获取一些初步的设计经验。
查阅适当的参考文献，将所学的知识与自己未 来的研究课题（包括研究生论文阶段的研究课 题）相结合起来，达到既丰富学习内容，又有 一定研究和应用的目的。
讲授计划
第一章：神经网络基础 第二章：前向神经网络 第三章：反馈神经网络 第四章：随机神经网络 第五章：自组织神经网络 第六章：神经网络控制 第七章：遗传算法
这个年仅18岁的少年博士，后来果然成就了一番大事业：他成 为信息论的前驱和控制论的奠基人。
在第二次世界大战期间，维纳接受了一项与火力控制 有关的研究工作。这问题促使他深入探索了用机器来 模拟人脑的计算功能，建立预测理论并应用于防空火 力控制系统的预测装置。1948年，维纳发表《控制 论》，宣告了这门新兴学科的诞生。这是他长期艰苦 努力并与生理学家罗森勃吕特等人多方面合作的伟大 科学成果。维纳立即从声誉有限的数学家一跃成为一 个国际知名人士，此时他早已年过半百。此后，维纳 继续为控制论的发展和运用作出了杰出的贡献。
授课方式
讲授与课后自学相结合 注意听讲和记笔记。 自学包括：1）看最新文献（中、英文），形成
word文档；2）课后作业（不定期），形成程 序代码，并写明如何使用该文件。 期末考试：1）考试；2）论文（综述）。 总学时：32学时
其中课堂讲授：26学时；课后练习：6学时。
参考书目
《人工神经网络》高等教育出版社 1992 杨行 俊 郑君里
剩下的工作就是一一筛选了。20的立方是8000，有3个重复数 字0，不合题意。同理，19的四次方等于130321，21的四次方 等于194481，都不合题意。最后只剩下一个18，是不是正确答 案呢？验算一下，18的立方等于5832，四次方等于104976， 恰好不重不漏地用完了十个阿拉伯数字，多么完美的组合。