机器学习与深度学习

输出层误差： δki
隐含层误差： smi
BP 算法
初始化参数 θ 两阶段算法： Two-Pass 前向 Forward-Pass： 给定参数，计算输出值 后向 Backward-Pass: 计算输出层误差， 计算隐含层误差，更新
参数
BP算法图示（1985~）
Back-propagate error signal to get derivatives for learning
Compare outputs with correct answer to get error signal
outputs
hidden layers
input vector
神经元网络小结
目录
机器学习的基础 神经元网络 深层神经元网络 延伸和应用 深层学习实现架构 未来和思考
神经元网络 - 激活函数
δ(10v) δ为激活（Activation)函数 (红线） 0< δ <1 δ (sv) , s控制 0 点的激活强度
δ(0.5v)
当 s0, δ-->线性函数
神经元网络 ， 隐含层到输出层
输出层为中间层的线性组合
回归问题
g k (T ) Tk
机器学习与深度学习
目录
机器学习的基础 神经元网络 深层神经元网络 延伸和应用 深层学习实现架构 未来和思考
a 3 + b = 10 a 8 + b = 30
a = ? b = ?
线性回归及分类
机器学习背景
Y 是一个N 维向量 XT 是一转置矩阵 N * (p+1) β 是 一个 p+1 的向量 • • • • 线性回归:， 给定 X, 和 Y, 计算β 以最佳匹 配X, Y 的关系。 N >> p+1 。 β 即为线性回归模型的 参数。 β k 表明对应的维度， Xk 的重要性
BP算法在深层神经元网络中的问题
• 依赖于标注的训练数据
目前大量数据为非标注数据
• 训练时间长， 很难规模化
多层神经元网络训练很慢
• 会停驻在性能较差的本地优化点
浅层网络，该问题不明显 深层网络，问题显著
支持向量基 （SVM) 一个特殊的神经元网络
Bomb Toy
output units e.g. class labels
K-Class 分类问题， softmax函数
eTk g k (T ) Tl e
l 1...K
训练神经元网络 ： 参数集合及维度
神经元网络参数集合 θ
训练神经元网络 优化参数求导
最小化目标函数：最小误差平方和 及求导
训练神经元网络 -- Back Propagation
梯度下降迭代算法
• 2012年，Hinton, ImageNet, 26%-15%。
• 2012年，Andrew Ng和分布式系统顶级专家Jeff Dean，Google Brain项目， 16000个CPU核的并行, >10亿个神经元的深度神经网络 • 2012年，微软首席研究官Rick Rashid在21世纪的计算大会上演示了一套自动同 声传译系统 • 2013年，Hinton->>Google; Yann LeCun ->>Facebook; 用户图片信息提取 2013年，百度成立了百度研究院及下属的深度学习研究所（IDL）， • 2014年，Andrew Ng ->>Badidu
单层前向网络 两阶段回归或分类 K-Class 分类 最底层为数据层 最上层为输出层 中间层为隐含层 这种简单的 NN称为Perceptron
神经元网络 --- 输入层到隐含层
中间层为输入层线性组合的某函数
其中δ为激活函数: sigmoid
(v )
1 1 e v
谁重新激活了神经元网络？
• NCAP: 神经计算和自适应感知项
目
2004 NCAP Researchers
•
• • •
Yoshua Bengio
Yann Lecun (FaceBook) Andrew Ng (Baidu) 20~ Others
Core Team
深度学习的
• 2006年，Geoffery Hinton Science发表DBN文章。
限制参数的大小 ， 以避免过拟合
逻辑回归
P0 P(G 0 | X x)
P 1 P(G 1 | X x) 1 P 0
xj1
x2
xn
log
1
G
P 1 T x P0
P 1
e
T x T x
1 e
P0
1 1 e
T x
Hale Waihona Puke Baidu
逻辑回归 - 参数训练
训练目标函数：最大似然对数概率
non-adaptive hand-coded features
input units e.g. pixels
Sketch of a typical perceptron from the 1960’s
深层信任网络（Deep Belief Net，DBN) 是部分 解决了以上问题的神经元网络
谁重新激活了神经元网络？
什么为最佳匹配？
参数估计方法一： 最小化误差平方和
机器学习背景
RSS( )
0
正则化 L2 (Ridge) Regularization
限制参数的大小 ， 以避免过拟合
正则化 L1 Regularization (Lasso)

j 1...p
|
j
|
No closed form for β
• Geoffrey Hinton
出生于： 1947
专业：
• 学士，心理学，1970，
•
博士，人工智能，1978
多伦多大学教授 Google 研究中心
1986： 神经元网络BP算法发明人
之一 深度学习主要贡献人
I GET VERY EXCITED WHEN WE DISCOVER A WAY OF MAKING NEURAL NETWORKS BETTER — AND WHEN THAT’S CLOSELY RELATED TO HOW THE BRAIN WORKS.’
( ) gi log P 1 (1 g i ) log P 0)
i 1
N
j1 x
x2
xn
gi xi logP 0
i 1
N
1
G
牛顿迭代：
目录
机器学习的基础 神经元网络 深层神经元网络 延伸和应用 深层学习实现架构 未来和思考
神经元网络