pytorch中Sequential的使用方法

今天就跟大家聊聊有關(guān)pytorch中Sequential的使用方法，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結(jié)了以下內(nèi)容，希望大家根據(jù)這篇文章可以有所收獲。

class torch.nn.Sequential(* args)

一個時序容器。Modules 會以他們傳入的順序被添加到容器中。當(dāng)然，也可以傳入一個OrderedDict。

為了更容易的理解如何使用Sequential, 下面給出了一個例子：

# Example of using Sequential
 
model = nn.Sequential(
     nn.Conv2d(1,20,5),
     nn.ReLU(),
     nn.Conv2d(20,64,5),
     nn.ReLU()
    )
# Example of using Sequential with OrderedDict
model = nn.Sequential(OrderedDict([
     ('conv1', nn.Conv2d(1,20,5)),
     ('relu1', nn.ReLU()),
     ('conv2', nn.Conv2d(20,64,5)),
     ('relu2', nn.ReLU())
    ]))

補充知識：pytorch 中 torch.optim.Adam 方法的使用和參數(shù)的解釋

class torch.optim.Adam(params, lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0)[source]

實現(xiàn)Adam算法。

它在Adam: A Method for Stochastic Optimization中被提出。

參數(shù)：

params (iterable) – 待優(yōu)化參數(shù)的iterable或者是定義了參數(shù)組的dict

lr (float, 可選) – 學(xué)習(xí)率（默認(rèn)：1e-3）

betas (Tuple[float, float], 可選) – 用于計算梯度以及梯度平方的運行平均值的系數(shù)（默認(rèn)：0.9，0.999）

eps (float, 可選) – 為了增加數(shù)值計算的穩(wěn)定性而加到分母里的項（默認(rèn)：1e-8）

weight_decay (float, 可選) – 權(quán)重衰減（L2懲罰）（默認(rèn): 0）

個人理解：

lr：同樣也稱為學(xué)習(xí)率或步長因子，它控制了權(quán)重的更新比率（如 0.001）。較大的值（如 0.3）在學(xué)習(xí)率更新前會有更快的初始學(xué)習(xí)，而較小的值（如 1.0E-5）會令訓(xùn)練收斂到更好的性能。

betas = （beta1，beta2）

beta1：一階矩估計的指數(shù)衰減率（如 0.9）。

beta2：二階矩估計的指數(shù)衰減率（如 0.999）。該超參數(shù)在稀疏梯度（如在 NLP 或計算機視覺任務(wù)中）中應(yīng)該設(shè)置為接近 1 的數(shù)。

eps：epsilon：該參數(shù)是非常小的數(shù)，其為了防止在實現(xiàn)中除以零（如 10E-8）。

看完上述內(nèi)容，你們對pytorch中Sequential的使用方法有進一步的了解嗎？如果還想了解更多知識或者相關(guān)內(nèi)容，請關(guān)注億速云行業(yè)資訊頻道，感謝大家的支持。