PyTorch之nn.ReLU與F.ReLU的區(qū)別是什么

這篇文章將為大家詳細(xì)講解有關(guān)PyTorch之nn.ReLU與F.ReLU的區(qū)別是什么，小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

我就廢話不多說了，大家還是直接看代碼吧~

import torch.nn as nn
import torch.nn.functional as F
import torch.nn as nn
 
class AlexNet_1(nn.Module):
 
  def __init__(self, num_classes=n):
    super(AlexNet, self).__init__()
    self.features = nn.Sequential(
      nn.Conv2d(3, 64, kernel_size=3, stride=2, padding=1),
      nn.BatchNorm2d(64),
      nn.ReLU(inplace=True),
     )
 
  def forward(self, x):
    x = self.features(x)
 
class AlexNet_2(nn.Module):
 
  def __init__(self, num_classes=n):
    super(AlexNet, self).__init__()
    self.features = nn.Sequential(
      nn.Conv2d(3, 64, kernel_size=3, stride=2, padding=1),
      nn.BatchNorm2d(64),
     )
 
  def forward(self, x):
    x = self.features(x)
    x = F.ReLU(x)

在如上網(wǎng)絡(luò)中，AlexNet_1與AlexNet_2實(shí)現(xiàn)的結(jié)果是一致的，但是可以看到將ReLU層添加到網(wǎng)絡(luò)有兩種不同的實(shí)現(xiàn)，即nn.ReLU和F.ReLU兩種實(shí)現(xiàn)方法。

其中nn.ReLU作為一個(gè)層結(jié)構(gòu)，必須添加到nn.Module容器中才能使用，而F.ReLU則作為一個(gè)函數(shù)調(diào)用，看上去作為一個(gè)函數(shù)調(diào)用更方便更簡(jiǎn)潔。具體使用哪種方式，取決于編程風(fēng)格。

在PyTorch中,nn.X都有對(duì)應(yīng)的函數(shù)版本F.X，但是并不是所有的F.X均可以用于forward或其它代碼段中，因?yàn)楫?dāng)網(wǎng)絡(luò)模型訓(xùn)練完畢時(shí)，在存儲(chǔ)model時(shí)，在forward中的F.X函數(shù)中的參數(shù)是無法保存的。

也就是說，在forward中，使用的F.X函數(shù)一般均沒有狀態(tài)參數(shù)，比如F.ReLU，F(xiàn).avg_pool2d等，均沒有參數(shù)，它們可以用在任何代碼片段中。

補(bǔ)充知識(shí)：pytorch小知識(shí)點(diǎn)——in-place operation

一、什么是in-place

在pytorch的很多函數(shù)中經(jīng)?？吹絠n-place選項(xiàng)，具體是什么意思一直一知半解。這次專門來學(xué)習(xí)一下，in-place operation在pytorch中是指改變一個(gè)tensor的值的時(shí)候，不經(jīng)過復(fù)制操作，而是直接在原來的內(nèi)存上改變它的值?？梢园阉Q為原地操作符。

在pytorch中經(jīng)常加后綴“_”來代表原地in-place operation，比如說.add_() 或者.scatter()。我們可以將in_place操作簡(jiǎn)單的理解類似于python中的"+=","-="等操作。

舉個(gè)例子，下面是正常的加操作，執(zhí)行結(jié)束后x的值沒有變化

import torch
x = torch.rand(2)
x
Out[3]: tensor([0.3486, 0.2924])  #<-----這是x初始值
 
y = torch.rand(2)
y
Out[5]: tensor([0.6301, 0.0101])  #<-----這是y初始值
x.add(y)
Out[6]: tensor([0.9788, 0.3026])   #<-----這是x+y的結(jié)果
x
Out[7]: tensor([0.3486, 0.2924])  #<-----這是執(zhí)行操作之后x的值
y
Out[8]: tensor([0.6301, 0.0101])   #<-----這是執(zhí)行操作之后y的值

我們可以發(fā)現(xiàn)，在正常操作之后原操作數(shù)的值不會(huì)發(fā)生變化。

下面我們來看看in_place操作

import torch
x = torch.rand(2)
x
Out[3]: tensor([0.3486, 0.2924])  #<-----這是x初始值
y = torch.rand(2)
y
Out[5]: tensor([0.6301, 0.0101])  #<-----這是y初始值
x.add_(y)
Out[9]: tensor([0.9788, 0.3026])  #<-----這是x+y結(jié)果
x
Out[10]: tensor([0.9788, 0.3026]) #<-----這是操作后x的值
y
Out[11]: tensor([0.6301, 0.0101])  #<-----這是操作后y的值

通過對(duì)比可以發(fā)現(xiàn)，in_place操作之后，原操作數(shù)等于表達(dá)式計(jì)算結(jié)果。也就是說將計(jì)算結(jié)果賦給了原操作數(shù)。

二、不能使用in-place的情況

對(duì)于 requires_grad=True 的 葉子張量(leaf tensor) 不能使用 inplace operation

對(duì)于在 求梯度階段需要用到的張量 不能使用 inplace operation

關(guān)于PyTorch之nn.ReLU與F.ReLU的區(qū)別是什么就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到。