在PyTorch中如何進(jìn)行模型權(quán)重的正則化

小樊
101
2024-03-05 19:47:07

在PyTorch中，可以使用torch.nn.Module類中的parameters()方法來獲取模型的權(quán)重參數(shù)，然后使用正則化方法來對(duì)這些參數(shù)進(jìn)行約束。下面是一個(gè)示例代碼，演示了如何對(duì)模型的權(quán)重進(jìn)行L2正則化：

import torch
import torch.nn as nn
import torch.optim as optim

# 定義一個(gè)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)模型
class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.fc1 = nn.Linear(10, 5)
        self.fc2 = nn.Linear(5, 1)

    def forward(self, x):
        x = torch.relu(self.fc1(x))
        x = self.fc2(x)
        return x

# 創(chuàng)建模型實(shí)例
model = Net()

# 定義L2正則化參數(shù)
l2_lambda = 0.01

# 定義優(yōu)化器和損失函數(shù)
optimizer = optim.Adam(model.parameters(), lr=0.01)
criterion = nn.MSELoss()

# 訓(xùn)練模型
for epoch in range(100):
    optimizer.zero_grad()
    
    # 正向傳播
    output = model(torch.randn(1, 10))
    loss = criterion(output, torch.randn(1, 1))
    
    # 添加L2正則化項(xiàng)
    l2_reg = torch.tensor(0.)
    for param in model.parameters():
        l2_reg += torch.norm(param)
    
    loss += l2_lambda * l2_reg
    
    # 反向傳播
    loss.backward()
    optimizer.step()

在上述示例中，我們首先定義了一個(gè)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)模型Net，然后創(chuàng)建了模型實(shí)例。在訓(xùn)練循環(huán)中，我們使用optimizer.zero_grad()來清除之前的梯度，然后進(jìn)行正向傳播和計(jì)算損失。接著，我們計(jì)算所有權(quán)重參數(shù)的L2范數(shù)，并將其添加到損失函數(shù)中作為正則化項(xiàng)。最后，我們進(jìn)行反向傳播和更新模型參數(shù)。

0 踩