optimizer用法

optimizer用法
优化器（Optimizer）在深度学习中是用来更新模型参数的组件。

其主要目标是调整模型权重，以在训练过程中最小化损失函数。

优化器通常使用梯度下降或其他优化算法来更新权重。

以下是一个简单的示例，展示了如何使用优化器来训练一个简单的神经网络：
导入必要的库：
python
import torch
import torch.nn as nn
import torch.optim as optim
定义一个简单的神经网络模型：
python
class SimpleNet(nn.Module):
def __init__(self):
super(SimpleNet, self).__init__()
self.fc1 = nn.Linear(10, 5)
self.fc2 = nn.Linear(5, 1)
def forward(self, x):
x = torch.relu(self.fc1(x))
x = self.fc2(x)
return x
初始化模型、损失函数和优化器：
python
model = SimpleNet()
criterion = nn.MSELoss() # 使用均方误差作为损失函数
optimizer = optim.SGD(model.parameters(), lr=0.01) # 使用随机梯度下降作为优化器，学习率为0.01
训练模型：
python
num_epochs = 100 # 训练轮数
for epoch in range(num_epochs):
# 前向传播：计算预测值
outputs = model(inputs)
loss = criterion(outputs, targets)
# 反向传播：计算梯度值
optimizer.zero_grad() # 清零梯度缓存
loss.backward() # 反向传播，计算梯度值
optimizer.step() # 更新权重参数
在这个示例中，我们使用了随机梯度下降（SGD）作为优化器。

你可以根据需要选择其他的优化器，例如Adam、RMSprop等。

不同的优化器适用于不同的场景，选择合适的优化器可以
提高模型的训练效果。