pytorchLayerNorm参数的用法及计算过程

pytorchLayerNorm参数的⽤法及计算过程
说明
LayerNorm中不会像BatchNorm那样跟踪统计全局的均值⽅差，因此train()和eval()对LayerNorm没有影响。

LayerNorm参数
yerNorm(
normalized_shape: Union[int, List[int], torch.Size],
eps: float = 1e-05,
elementwise_affine: bool = True)
normalized_shape
如果传⼊整数，⽐如4，则被看做只有⼀个整数的list，此时LayerNorm会对输⼊的最后⼀维进⾏归⼀化，这个int值需要和输⼊的最后⼀维⼀样⼤。

假设此时输⼊的数据维度是[3, 4]，则对3个长度为4的向量求均值⽅差，得到3个均值和3个⽅差，分别对这3⾏进⾏归⼀化（每⼀⾏的4个数字都是均值为0，⽅差为1）；LayerNorm中的weight和bias也分别包含4个数字，重复使⽤3次，对每⼀⾏进⾏仿射变换（仿射变换即乘以weight中对应的数字后，然后加bias中对应的数字），并会在反向传播时得到学习。

如果输⼊的是个list或者torch.Size，⽐如[3, 4]或torch.Size([3, 4])，则会对⽹络最后的两维进⾏归⼀化，且要求输⼊数据的最后两维尺⼨也是[3, 4]。

假设此时输⼊的数据维度也是[3, 4]，⾸先对这12个数字求均值和⽅差，然后归⼀化这个12个数字；weight和bias也分别包含12个数字，分别对12个归⼀化后的数字进⾏仿射变换（仿射变换即乘以weight中对应的数字后，然后加bias中对应的数字），并会在反向传播时得到学习。

假设此时输⼊的数据维度是[N, 3, 4]，则对着N个[3,4]做和上述⼀样的操作，只是此时做仿射变换时，weight和bias被重复⽤了N 次。

假设此时输⼊的数据维度是[N, T, 3, 4]，也是⼀样的，维度可以更多。

注意：显然LayerNorm中weight和bias的shape就是传⼊的normalized_shape。

eps
归⼀化时加在分母上防⽌除零。

elementwise_affine
如果设为False，则LayerNorm层不含有任何可学习参数。

如果设为True（默认是True）则会包含可学习参数weight和bias，⽤于仿射变换，即对输⼊数据归⼀化到均值0⽅差1后，乘以weight，即bias。

LayerNorm前向传播（以normalized_shape为⼀个int举例）
1、如下所⽰输⼊数据的shape是(3, 4)，此时normalized_shape传⼊4（输⼊维度最后⼀维的size），则沿着最后⼀维（沿着最后
⼀维的意思就是对最后⼀维的数据进⾏操作）并⽤这两个结果把batch沿着最后⼀维归⼀化，使其均值为0，⽅
差为1。

归⼀化公式⽤到了eps()，即
tensor = torch.FloatTensor([[1, 2, 4, 1],
[6, 3, 2, 4],
[2, 4, 6, 1]])
[[-0.8165, 0.0000, 1.6330, -0.8165],
[ 1.5213, -0.5071, -1.1832, 0.1690],
[-0.6509, 0.3906, 1.4321, -1.1717]]
2、如果elementwise_affine==True，则对归⼀化后的batch进⾏仿射变换，即乘以模块内部的weight（初值是[1., 1., 1., 1.]）然后加上模块内部的bias（初值是[0., 0., 0., 0.]），这两个变量会在反向传播时得到更新。

3、如果elementwise_affine==False，则LayerNorm中不含有weight和bias两个变量，只做归⼀化，不会进⾏仿射变换。

总结
在使⽤LayerNorm时，通常只需要指定normalized_shape就可以了。

补充：【Pytorch】yer_norm和yerNorm到底有什么区别？
背景
最近在做视频⽅向，处理的是时序特征，就想着能不能⽤Batch Normalization来做视频特征BN层？在⽹上查阅资料发现，时序特征并不能⽤Batch Normalization，因为⼀个batch中的序列有长有短。

此外，BN 的⼀个缺点是需要较⼤的 batchsize 才能合理估训练数据的均值和⽅差，这导致内存很可能不够⽤，同时它也很难应⽤在训练数据长度不同的 RNN 模型上。

Layer Normalization (LN) 的⼀个优势是不需要批训练，在单条数据内部就能归⼀化。

对于RNN等时序模型，有时候同⼀个batch内部的训练实例长度不⼀(不同长度的句⼦)，则不同的时态下需要保存不同的统计量，⽆法正确使⽤BN层，只能使⽤Layer Normalization。

查阅Layer Normalization（下述LN）后发现，这东西有两种⽤法，⼀个是yer_norm，⼀个是yerNorm，本⽂探究他们的区别。

yer_norm
⽤法
yer_norm(x, normalized_shape, self.weight.expand(normalized_shape), self.bias.expand(normalized_shape))
其中：
x是输⼊的Tensor
normalized_shape是要归⼀化的维度，可以是x的后若⼲维度
self.weight.expand(normalized_shape)，可选参数，⾃定义的weight
self.bias.expand(normalized_shape)，可选参数，⾃定义的bias
⽰例
很容易看出来，跟F.normalize基本⼀样，没有可学习的参数，或者⾃定义参数。

具体使⽤⽰例如下：
import torch.nn.functional as F
input = torch.tensor(a)
y = yer_norm(input,(4,))
print(y)
#####################输出################
tensor([[[-0.8095, -1.1224, 1.2966, 0.6354],
[-1.0215, -0.9661, 0.8387, 1.1488],
[-0.3047, 1.0412, -1.4978, 0.7613]],
[[ 0.4605, 1.2144, -1.5122, -0.1627],
[ 1.5676, 0.1340, -1.0471, -0.6545],
[ 1.5388, -0.3520, -1.2273, 0.0405]]])
添加缩放：
w = torch.tensor([1,1,2,2])
b = torch.tensor([1,1,1,1])
y = yer_norm(input,(4,),w,b)
print(y)
#########################输出######################
tensor([[[ 0.1905, -0.1224, 3.5931, 2.2708],
[-0.0215, 0.0339, 2.6775, 3.2976],
[ 0.6953, 2.0412, -1.9956, 2.5225]],
[[ 1.4605, 2.2144, -2.0243, 0.6746],
[ 2.5676, 1.1340, -1.0942, -0.3090],
[ 2.5388, 0.6480, -1.4546, 1.0810]]])
yerNorm
⽤法
yerNorm(
normalized_shape: Union[int, List[int], torch.Size],
eps: float = 1e-05,
elementwise_affine: bool = True)
normalized_shape：输⼊尺⼨, [∗×normalized_shape[0]×normalized_shape[1]×…×normalized_shape[−1]]
eps：为保证数值稳定性（分母不能趋近或取0）,给分母加上的值。

默认为1e-5。

elementwise_affine：布尔值，当设为true，给该层添加可学习的仿射变换参数。

⽰例
elementwise_affine如果设为False，则LayerNorm层不含有任何可学习参数。

如果设为True（默认是True）则会包含可学习参数weight和bias，⽤于仿射变换，即对输⼊数据归⼀化到均值0⽅差1后，乘以weight，即bias。

import torch
input = torch.randn(2,3,2,2)
import torch.nn as nn
#取消仿射变换要写成
#m = yerNorm(input.size()[1:], elementwise_affine=False)
m1 = yerNorm(input.size()[1:])#input.size()[1:]为torch.Size([3, 2, 2])
output1 = m1(input)
#只normalize后两个维度
m2 = yerNorm([2,2])
output2 = m2(input)
#只normalize最后⼀个维度
m3 = yerNorm(2)
output3 = m3(input)
总结
yer_norm中没有可学习参数，⽽yerNorm有可学习参数。

当elementwise_affine设为False时，yerNorm退化为yer_norm。

以上为个⼈经验，希望能给⼤家⼀个参考，也希望⼤家多多⽀持。