信息检索16-神经网络方法ppt课件

I中nt国ro科du学ct院io大n t学o 2In01fo7r年m秋at季io课n R程e《tri现ev代al信息检索》
更新时间： 2017/10/09
现代信息检索 Modern Information Retrieval
第16讲 Neural IR 基于深度神经网络的IR模型
1
提纲
❶ 上一讲回顾 ❷ 深度神经网络(DNN)基础 ❸ 词向量 ❹ Neural IR Model
个样本 (x, y)，包含如下两个过程： ▪ 前向计算 (forward)：根据输入 x，计算网络的输出 y’； ▪ 反向计算 (backward)：计算网络预测 y’ 与标签 y 之间的误差 (损失) 关于
网络各参数的梯度；主要应用求导的链式法则。
▪ 梯度下降算法：BP算法只是得到了误差 (损失) 关于网络参数的梯度，而
算代价小；收敛速度快。
▪ 除了上述三种激活函数，还有其它一些激活函数，如Maxout， Leaky ReLU，ELU等。
▪ 激活函数对参数的学习过程影响较大，需要根据情况适当选 择。
8
现代信息检索
神经元组合成为神经网络
▪ 最简单的多层神经网络—多层感知机 (Multi-Layer Perceptron, 简称MLP)
交叉熵损失与负对数似然是等价的；������������������������������������ 取高斯分布就得到均方误差。
11
现代信息检索
参数的学习
▪ 目标：学习一组网络参数，使得预测 y’ 与实际标签y的误差 (损失)最小。 ▪ BP算法：即反向传播算法，是学习神经网络参数的一个重要方法，给定一
▪ 例：交叉熵损失
交叉熵损失是应用最为广泛的一种损失函数，即用训练数据与模型间的交 叉熵来衡量预测分布于实际分布的差距，它的形式如下：
������ θ = −������������,������~���෤��������������������������� log2 ������������������������������������(������|������)
图中同一个蓝色环上的损失相同，中心点损失最小；红色环上模相等，原 点处模最小，为0；黑色点为解，在黑色点处损失的减小与模的增加达到临 界点，即损失的继续减小不能弥补模增加的部分，导致它们的和反而增加 了。
12
现代信息检索
正则化
▪ 为什么需要正则化？
一般的学习算法都是通过最小化训练集上损失函数来得到的，若训练数据 的数据量较小或者分布不均，对于容量较大的模型而言，则学习到的模型会过度 拟合训练数据分布而与真实分布有一定的差距，所以需要正则化来防止学习到的 模型过度拟合训练数据分布，从而增强模型的泛化能力。
梯度下降算法定义了网络参数的更新方式，如SGD：
θ
=θ-α
əJ(θ) əθ
▪ 其它常见的参数更新方式：Momentum，Adam，Adagrad，RMSprop等
▪ 在实际应用中，一般是同时使用一组样本 (一个batch) 来对网络参数进行 更新。
▪ 另外还有一些二阶的方法：牛顿法，共轭梯度，BFGS
=
ቊ0������,,
������ ������
> ≤
0 0
,
(0,1) (−1,1) [0, +∞)
7
现代信息检索
激活函数
▪ 上述激活函数特点
▪ Sigmoid：两端饱和区梯度极小；输出不以0为中心；指数函数计算代价 大。
▪ Tanh：两端饱和区梯度极小；输出以0为中心；指数函数计算代价大。 ▪ ReLU：在激活值大于0时不存在梯度极小的情况；输出不以0为中心；计
▪ ������1, ������2, … , ������������ 即为归一化后的输出，满足值介于0和1之间且 求和为1的要求。
10
现代信息检索
参数的学习
▪ 损失函数
为了衡量模型预测的效果，通常会定义一个关于模型预测y’与实际标签y的 函数 L(y’, y) ，注意到 y’ 是模型参数 θ 的一个表达式，通过最小化 L(y’, y) 可以 得到模型参数 θ 的一组值使得模型的预测 y’ 能够足够接近实际标签 y 。
2
提纲
❶ 上一讲回顾 ❷ 深度神经网络(DNN)基础 ❸ 词向量 ❹ Neural IR Model
3
现代信息检索
上一讲回顾（待）
4
提纲
❶ 上一讲回顾 ❷ 深度神经网络(DNN)基础 ❸ 词向量 ❹ Neural IR Model
5
现代信息检索
神经元
▪ 最简单的神经网络—神经元
对应的计算如下：
3
ℎ������,������ = ������ ������������������ = ������(෍ ������������������������ + ������)
������=1
其中������和������为需要学习的网络参数，������为激活函数。
6
现代信息检索
激活函数
▪ 激活函数：主要作用是引入非线性，增强网络的表示能力。
由多个神经元组成，一些神经元的输出作为另一些神经元的输入。
9
现代信息检索
Softmax归一化
▪ Softmax归一化是在使用神经网络进行分类时常用的方法，对 于分类问题，通常需要给出可能属于每一个类别的概率，即 需要输出介于0和1之间，且加和为1，对于未归一化输出 (������1, ������2, … , ������������)，具体计算如下： ������ ������������ ������������ = σ������������==1������ ������������������
若想要进一步了解，请参考偏差-方差分解理论。
▪ L1与L2正则
机器学习中常用的正则方法，通过在损失函数中增加模型参数的1-范数或2 范数项来约束模型参数的范围：
▪ 一般认为L1正则会使得模型参数的某些维度变为0，因此具有特征选择的 作用；
13
现代信息检索
正则化
▪ L1与L2正则图解：L1正则（右），L2正则（左）
▪ Sigmoid函数
1
Hale Waihona Puke ������ ������ = 1 + ������−������ ,
▪ Tanh函数
������������ − ������−������
������ ������ = ������������ + ������−������ ,
▪ ReLU函数
������ ������