神经网络方法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
Vladmir Vapnik
BP+CNN神经网络成功应用于手写体识别,LeCun
细胞神经网络动力学,廖晓昕 Hopfield网络动力学,章毅 长短时记忆(LSTM)网络, Hochreiter, Schmidhuber 日本神经网络学会最佳论文奖,陈天平
Schmidhuber
1994
1996
Yann LeCun
神经网络发展史
第一次低谷
1969
XOR(异或)问题 计算能力的限制
Marvin Minsky
1969
自适应共振理论(ART)模型, Groisberg,Carpentet
1967
1972 1974
信任分配问题数学求解, Amari
Teuvo Kohonen
自组织映射(SOM)网络, Kohonen
Widrow-Hoff算法
A
������ •������ ������������������ = ������ ������������������ + ������(������������ −������������ )������������
仿逆规则
神经元������
学 习 规 则
Hebb
������������������ 神经元������
p
w ijnew w ijold a i p j
������
a
•������ = ������������+ •������+ = (������������ ������)−1 ������������ ������)
有监督学习
w new w old a p
1971布尔网络理论
2015 deep residual network 2015 highway network 第三次繁荣
第一次繁荣
1943 MP诞生 1949 Hebb 1958 Perceptron 1969 “AI Winter”
`
1982 Hopfield 1986 BP 1995 SVM 2006 DBN 2012 CNN
神经网络生物学理论基础
竞争网络生物学理论基础
大脑神经网络的自组织特性 竞争中“胜者为王” 加强中心、抑制四周 无监督学习策略
竞争层
输入层
SOM网络 ART网络
神经网络的生物学基础
一个整体
功能单一的各种网络
神经网络源于大脑神经网络的计算模型 神经网络是高度抽象、简单模拟 神经网络的功能单一 神经网络近期目标:工程应用(特定智能) 神经网络长期目标:通用智能的模拟
神经网络数学理论基础
数学理论基础—万能逼近理论
1989,Hornik和Stinchcombe
多层前馈神经网络是一个对于连续实值函数的 万能逼近器(universal approximator)
Hornik K, Stinchcombe M, White H. Neural Networks, 1989
������=1
������(������������ )]
st. ������ ������������ ������ ������������������������������������������������������ ������������������������������������������������ 隐层大小为2n+1,神经网络以任意精度逼近任意一个n元的连续实值函数。
轴突:传导 信息
f
������
具有生 物神经 元的处 理机制
轴突 末端
������ = ������
������=1
������������ ������������
MP数学模型开启了神经网络的历史
神经网络生物学理论基础
学习理论生物学理论基础
神 经 元 连 接
B
Hebb学习规则的变换
过滤学习
������ •������ ������������������ = 1 − ������ ������ ������������������ + ������������������ ������������
1943
McCulloch Pitts
神经网络发展史
第一次繁荣
1949 1958
1951
Hebb学习规则 ⊤ ∆ ������ ������ = ������ × ������ ������ ������ ������ ������
Hebb
感知机(Perceptron) 模型
Frank Rosenblatt
0
1989 CNN
1982 霍普神经网
1980 RNN 1980 自组织映射
1985 玻尔兹曼机 1978自适应共振理论(ART) 1997 LSTM 1986 误差反向传播神经网络BP 1978自适应大系统 1986 对传网(Counter-Propagation) 2006 限制玻尔兹曼机 2008 AutoEncoder 2008 Denoise AutoEncoder 2014 对抗网络 2014 Memory networks 2014 Stacked-Augmented RNN 第二次繁荣
G.E. Hinton
1986 《关于思维科学》,钱学森 1987 国际神经网络联合会(INNS)成立
D.E. Rumehart
1990 中国首届神经网络学术大会 1993 BP神经网络方法获得国际模式识别大赛冠军,E.A. Wan
E.A. Wan
神经网络发展史
第二次低谷
1995
1990பைடு நூலகம்
支持向量机(SVM),Vapnik
脑科学的发展将会促进神经网络的进一步发展
神经网络数学理论基础
数学理论基础—万能逼近理论
俄国数学家安德雷·柯尔莫哥洛夫,1956 Kolmogorov定理 ������ ������1 , … , ������������ =
������=1
������=2������+1
������
������������ [
2006
多层神经网络
深度学习
G.E. Hinton
2012 2013 2016
AlexNet在ImageNet比赛 击败传统机器学习方法 DBN+LSTM在语音 识别领域取得突破,Alex Graves
AlphaGo
深度神经网络方法引起了前所未有的关注和研究热潮
神经网络发展史
1943 神经元学习法则 1944 形式神经元模型(MP) 1957 感知机(Perceptron)1968 大系统模型 1961 学习矩阵(Learnmatrix) 1962 自适应模型(Adline) 1972 1972 1972 1972 自组织原理 联想记忆 雪崩网络理论 视觉认知机
1940
1950
1960
1970
1980
1990
2000
2010
2020
神经网络发展史
`
大数据、计算能力、脑科学的发展 神经网络具有理论基础
神经网络的巨大成功
神经网络将会继续向前发展
提纲
神经网络发展史
神经网络理论基础 深度神经网络进展 展望
神经网络理论基础
。。。
神经网络理论基础
Hebb学习规则
1997
1997
1998
LeNet-5卷积神经网络(CNN), Yann LeCun
SVM在手写体识别能力上超越传统神经网络方法 学术专著《Convergence Analysis of Recurrent Neural Networks》,章毅
Yi Zhang
2002
2004
神经网络发展史
第三次繁荣
感知机
Layer of S Neurons
������1
������1 ������������ ������������ ������������
������
������1 ������������
������
1
������������,������
������
������������
������������ 1 ������ = ������(������������ + ������)
。。。
万能逼进理论
大脑记忆原理
生物学 理论基础
自组织特性
数学 理论基础
动力学系统理论
图灵完备性
神经网络生物学理论基础
神经元模型生物学理论基础
生物神经元
树突:接收 多个输入 胞体:对输 入信息叠加
数学模型
抽象
������1 ������2 … ������������ ������1 ������2 … ������������
������(������������ ) ������������
逼近
������������
������������
������ ������������ , ������������
A.N. Kolmogorov, Proceedings of the USSR Academy of Sciences, 1956
具体了 生物神 经网络 的结构 特征
感知机标志了神经网络研究的第一个热潮
…
…
神经网络生物学理论基础
卷积网络生物学理论基础
像素 视网膜 LGN V1 V2 V4 IT
视 觉 系 统 卷 积 神 经 网 络
卷积神经网络具备了视觉系统的结构特征和处理机制
神经网络生物学理论基础
记忆网络生物学理论基础
随机SNARC神经网络,Minsky 神经元膜的H-H方程,Hodgkin,Huxley 神经系统的学习问题,Minsky 达特茅斯会议召开,“人工智能”首次被提出
达特茅斯会议
1952
1954
Marvin Minsky
1955
1962
ADACINE神经网络及Widrow-Hoff学习规则,Widrow, Hoff
Atkinson-Shiffrin 记忆模型 LSTM网络模型 输出 环 境 感 知 学习 记忆 输入
记忆模块 长短期记忆
LSTM模型是目前时序处理中最成功的模型之一
Atkinson R C, Shiffrin R M. Human memory: A proposed system and its control processes[J]. 1968.
Yoshua Bengio
Le Roux N, Bengio Y. Neural computation, 2010 Sutskever I, Hinton G E,Neural Computation, 2008
神经网络数学理论基础
数学理论基础—万能逼近理论
大部分的问题都可以看成是一个高度复杂的非线性函数������ ������
������ •������ ������������������ = ������ ������������������ + ������������������ ������������
Hebb学习规则为神经网络学习奠定了基础
神经网络生物学理论基础
前馈网络生物学理论基础
生物神经网络
Input ������1,1 ������1 ������2 ������3 ������������ 1
误差反向回传(BP)算法, Werbos
Paul Werbos & Yi Zhang
神经网络发展史
第二次繁荣
1982
Hopfield神经网络 解决了TSP问题
Hopfield
1984 玻尔兹曼机(BM)网络模型,Hinton
1986 BP神经网络,Rumehart, Williams, Hinton
神经网络数学理论基础
数学理论基础—万能逼近理论
2010, Y.Bengio等
深且窄的神经网络也能作为连续实值函数万能逼近器 (universal approximator)且相比浅层网络需要更少的参数
“we show that deep but narrow generative networks do not require more parameters than shallow ones to achieve universal approximation.”
CCF-CV走进高校
吕 建 成 四川大学机器智能实验室 2016.11.26 天津
2016 AI
Marvin Minsky 图灵奖 人工智能先驱
提纲
神经网络发展史
神经网络理论基础 深度神经网络进展 发展趋势与展望
神经网络发展史
起源
神经元学说 神经元的连接方式被发现
1906
神经元MP模型,McCulloch, Pitts
������ ������
中文 English
翻译
������ ������ 类别
分类
万能逼近理论是前馈神经网络重要数学理论基础
神经网络数学理论基础
数学理论基础—回复式神经网络的图灵完备性
回复式神经网络(Recurrent Neural Networks, RNNs)具有图灵完备性
BP+CNN神经网络成功应用于手写体识别,LeCun
细胞神经网络动力学,廖晓昕 Hopfield网络动力学,章毅 长短时记忆(LSTM)网络, Hochreiter, Schmidhuber 日本神经网络学会最佳论文奖,陈天平
Schmidhuber
1994
1996
Yann LeCun
神经网络发展史
第一次低谷
1969
XOR(异或)问题 计算能力的限制
Marvin Minsky
1969
自适应共振理论(ART)模型, Groisberg,Carpentet
1967
1972 1974
信任分配问题数学求解, Amari
Teuvo Kohonen
自组织映射(SOM)网络, Kohonen
Widrow-Hoff算法
A
������ •������ ������������������ = ������ ������������������ + ������(������������ −������������ )������������
仿逆规则
神经元������
学 习 规 则
Hebb
������������������ 神经元������
p
w ijnew w ijold a i p j
������
a
•������ = ������������+ •������+ = (������������ ������)−1 ������������ ������)
有监督学习
w new w old a p
1971布尔网络理论
2015 deep residual network 2015 highway network 第三次繁荣
第一次繁荣
1943 MP诞生 1949 Hebb 1958 Perceptron 1969 “AI Winter”
`
1982 Hopfield 1986 BP 1995 SVM 2006 DBN 2012 CNN
神经网络生物学理论基础
竞争网络生物学理论基础
大脑神经网络的自组织特性 竞争中“胜者为王” 加强中心、抑制四周 无监督学习策略
竞争层
输入层
SOM网络 ART网络
神经网络的生物学基础
一个整体
功能单一的各种网络
神经网络源于大脑神经网络的计算模型 神经网络是高度抽象、简单模拟 神经网络的功能单一 神经网络近期目标:工程应用(特定智能) 神经网络长期目标:通用智能的模拟
神经网络数学理论基础
数学理论基础—万能逼近理论
1989,Hornik和Stinchcombe
多层前馈神经网络是一个对于连续实值函数的 万能逼近器(universal approximator)
Hornik K, Stinchcombe M, White H. Neural Networks, 1989
������=1
������(������������ )]
st. ������ ������������ ������ ������������������������������������������������������ ������������������������������������������������ 隐层大小为2n+1,神经网络以任意精度逼近任意一个n元的连续实值函数。
轴突:传导 信息
f
������
具有生 物神经 元的处 理机制
轴突 末端
������ = ������
������=1
������������ ������������
MP数学模型开启了神经网络的历史
神经网络生物学理论基础
学习理论生物学理论基础
神 经 元 连 接
B
Hebb学习规则的变换
过滤学习
������ •������ ������������������ = 1 − ������ ������ ������������������ + ������������������ ������������
1943
McCulloch Pitts
神经网络发展史
第一次繁荣
1949 1958
1951
Hebb学习规则 ⊤ ∆ ������ ������ = ������ × ������ ������ ������ ������ ������
Hebb
感知机(Perceptron) 模型
Frank Rosenblatt
0
1989 CNN
1982 霍普神经网
1980 RNN 1980 自组织映射
1985 玻尔兹曼机 1978自适应共振理论(ART) 1997 LSTM 1986 误差反向传播神经网络BP 1978自适应大系统 1986 对传网(Counter-Propagation) 2006 限制玻尔兹曼机 2008 AutoEncoder 2008 Denoise AutoEncoder 2014 对抗网络 2014 Memory networks 2014 Stacked-Augmented RNN 第二次繁荣
G.E. Hinton
1986 《关于思维科学》,钱学森 1987 国际神经网络联合会(INNS)成立
D.E. Rumehart
1990 中国首届神经网络学术大会 1993 BP神经网络方法获得国际模式识别大赛冠军,E.A. Wan
E.A. Wan
神经网络发展史
第二次低谷
1995
1990பைடு நூலகம்
支持向量机(SVM),Vapnik
脑科学的发展将会促进神经网络的进一步发展
神经网络数学理论基础
数学理论基础—万能逼近理论
俄国数学家安德雷·柯尔莫哥洛夫,1956 Kolmogorov定理 ������ ������1 , … , ������������ =
������=1
������=2������+1
������
������������ [
2006
多层神经网络
深度学习
G.E. Hinton
2012 2013 2016
AlexNet在ImageNet比赛 击败传统机器学习方法 DBN+LSTM在语音 识别领域取得突破,Alex Graves
AlphaGo
深度神经网络方法引起了前所未有的关注和研究热潮
神经网络发展史
1943 神经元学习法则 1944 形式神经元模型(MP) 1957 感知机(Perceptron)1968 大系统模型 1961 学习矩阵(Learnmatrix) 1962 自适应模型(Adline) 1972 1972 1972 1972 自组织原理 联想记忆 雪崩网络理论 视觉认知机
1940
1950
1960
1970
1980
1990
2000
2010
2020
神经网络发展史
`
大数据、计算能力、脑科学的发展 神经网络具有理论基础
神经网络的巨大成功
神经网络将会继续向前发展
提纲
神经网络发展史
神经网络理论基础 深度神经网络进展 展望
神经网络理论基础
。。。
神经网络理论基础
Hebb学习规则
1997
1997
1998
LeNet-5卷积神经网络(CNN), Yann LeCun
SVM在手写体识别能力上超越传统神经网络方法 学术专著《Convergence Analysis of Recurrent Neural Networks》,章毅
Yi Zhang
2002
2004
神经网络发展史
第三次繁荣
感知机
Layer of S Neurons
������1
������1 ������������ ������������ ������������
������
������1 ������������
������
1
������������,������
������
������������
������������ 1 ������ = ������(������������ + ������)
。。。
万能逼进理论
大脑记忆原理
生物学 理论基础
自组织特性
数学 理论基础
动力学系统理论
图灵完备性
神经网络生物学理论基础
神经元模型生物学理论基础
生物神经元
树突:接收 多个输入 胞体:对输 入信息叠加
数学模型
抽象
������1 ������2 … ������������ ������1 ������2 … ������������
������(������������ ) ������������
逼近
������������
������������
������ ������������ , ������������
A.N. Kolmogorov, Proceedings of the USSR Academy of Sciences, 1956
具体了 生物神 经网络 的结构 特征
感知机标志了神经网络研究的第一个热潮
…
…
神经网络生物学理论基础
卷积网络生物学理论基础
像素 视网膜 LGN V1 V2 V4 IT
视 觉 系 统 卷 积 神 经 网 络
卷积神经网络具备了视觉系统的结构特征和处理机制
神经网络生物学理论基础
记忆网络生物学理论基础
随机SNARC神经网络,Minsky 神经元膜的H-H方程,Hodgkin,Huxley 神经系统的学习问题,Minsky 达特茅斯会议召开,“人工智能”首次被提出
达特茅斯会议
1952
1954
Marvin Minsky
1955
1962
ADACINE神经网络及Widrow-Hoff学习规则,Widrow, Hoff
Atkinson-Shiffrin 记忆模型 LSTM网络模型 输出 环 境 感 知 学习 记忆 输入
记忆模块 长短期记忆
LSTM模型是目前时序处理中最成功的模型之一
Atkinson R C, Shiffrin R M. Human memory: A proposed system and its control processes[J]. 1968.
Yoshua Bengio
Le Roux N, Bengio Y. Neural computation, 2010 Sutskever I, Hinton G E,Neural Computation, 2008
神经网络数学理论基础
数学理论基础—万能逼近理论
大部分的问题都可以看成是一个高度复杂的非线性函数������ ������
������ •������ ������������������ = ������ ������������������ + ������������������ ������������
Hebb学习规则为神经网络学习奠定了基础
神经网络生物学理论基础
前馈网络生物学理论基础
生物神经网络
Input ������1,1 ������1 ������2 ������3 ������������ 1
误差反向回传(BP)算法, Werbos
Paul Werbos & Yi Zhang
神经网络发展史
第二次繁荣
1982
Hopfield神经网络 解决了TSP问题
Hopfield
1984 玻尔兹曼机(BM)网络模型,Hinton
1986 BP神经网络,Rumehart, Williams, Hinton
神经网络数学理论基础
数学理论基础—万能逼近理论
2010, Y.Bengio等
深且窄的神经网络也能作为连续实值函数万能逼近器 (universal approximator)且相比浅层网络需要更少的参数
“we show that deep but narrow generative networks do not require more parameters than shallow ones to achieve universal approximation.”
CCF-CV走进高校
吕 建 成 四川大学机器智能实验室 2016.11.26 天津
2016 AI
Marvin Minsky 图灵奖 人工智能先驱
提纲
神经网络发展史
神经网络理论基础 深度神经网络进展 发展趋势与展望
神经网络发展史
起源
神经元学说 神经元的连接方式被发现
1906
神经元MP模型,McCulloch, Pitts
������ ������
中文 English
翻译
������ ������ 类别
分类
万能逼近理论是前馈神经网络重要数学理论基础
神经网络数学理论基础
数学理论基础—回复式神经网络的图灵完备性
回复式神经网络(Recurrent Neural Networks, RNNs)具有图灵完备性