权重衰减从零开始实现

权重衰减从零开始实现⼀、⽣成数据集
#权重衰退是最⼴泛使⽤的正则化的技术之⼀
%matplotlib inline
import torch
from torch import nn
from d2l import torch as d2l
# where ∼ (0,0.012)：表⽰噪⾳，是⼀个均值为0，⽅差为0.01的正态分布
#n_train：训练样本。

n_test：测试样本。

n_train, n_test, num_inputs, batch_size = 20, 100, 200, 5
# 真实的w和b
# true_w：是⼀个200*1的矩阵，矩阵内容全为0.01
true_w, true_b = torch.ones((num_inputs, 1)) * 0.01, 0.05
# synthetic_data：合成数据集
# train_data：是⼀个包含20个样本的训练数据集
train_data = d2l.synthetic_data(true_w, true_b, n_train)
train_iter = d2l.load_array(train_data, batch_size)
# test_data：是⼀个包含100个样本的测试数据集
test_data = d2l.synthetic_data(true_w, true_b, n_test)
test_iter = d2l.load_array(test_data, batch_size, is_train=False)
⼆、初始化参数模型
def init_params():
#初始化w,w是⼀个均值为0⽅差为1。

长度为200*1的向量
w = torch.normal(0, 1, size=(num_inputs, 1), requires_grad=True)
#初始化b，是⼀个全0的标量
b = torch.zeros(1, requires_grad=True)
return [w, b]
三、定义L2范数惩罚
#L2范数的实现，w中每个向量的平⽅和除以2
def l2_penalty(w):
return torch.sum(w.pow(2)) / 2
四、训练代码实现
#lambd超参数
def train(lambd):
# init_params：初始化权重w和⽅差b
w, b = init_params()
print(w)
print(b)
# linreg：线性回归
# squared_loss：平⽅损失函数
# lambda函数也称为匿名函数（在这⾥相当于定义模型） https:///curo0119/p/8952536.html
net, loss = lambda X: d2l.linreg(X, w, b), d2l.squared_loss
# num_epochs：表⽰迭代次数；lr=0.003：表⽰学习率
num_epochs, lr = 100, 0.003
animator = d2l.Animator(xlabel='epochs', ylabel='loss', yscale='log',
xlim=[5, num_epochs], legend=['train', 'test'])
for epoch in range(num_epochs):
for X, y in train_iter:
#with torch.enable_grad():
# 增加了L2范数惩罚项，⼴播机制使l2_penalty(w)成为⼀个长度为`batch_size`的向量。

#lambd * l2_penalty(w)：增加了L2范数惩罚项
l = loss(net(X), y) + lambd * l2_penalty(w)
l.sum().backward()
d2l.sgd([w, b], lr, batch_size)
if (epoch + 1) % 5 == 0:
animator.add(epoch + 1, (d2l.evaluate_loss(net, train_iter, loss),
d2l.evaluate_loss(net, test_iter, loss)))
print('w的L2范数是：', torch.norm(w).item())
五、忽略正则化直接训练——也就是罚为0
train(lambd=0)
#可以发现明显的过拟合
六、使⽤权重衰减
train(lambd=10)。