溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

PyTorch中常用的激活函數(shù)的方法示例

發(fā)布時(shí)間：2020-09-05 08:15:16 來源：腳本之家 閱讀：137 作者：Steven·簡(jiǎn)談 欄目：開發(fā)技術(shù)

神經(jīng)網(wǎng)絡(luò)只是由兩個(gè)或多個(gè)線性網(wǎng)絡(luò)層疊加，并不能學(xué)到新的東西，簡(jiǎn)單地堆疊網(wǎng)絡(luò)層，不經(jīng)過非線性激活函數(shù)激活，學(xué)到的仍然是線性關(guān)系。

但是加入激活函數(shù)可以學(xué)到非線性的關(guān)系，就具有更強(qiáng)的能力去進(jìn)行特征提取。

構(gòu)造數(shù)據(jù)

import torch
import torch.nn.functional as F
from torch.autograd import Variable

import matplotlib.pyplot as plt

x = torch.linspace(-5, 5, 200)  # 構(gòu)造一段連續(xù)的數(shù)據(jù)
x = Variable(x)	 # 轉(zhuǎn)換成張量
x_np = x.data.numpy()	# 換成 numpy array, 出圖時(shí)用

Relu

表達(dá)式：

PyTorch中常用的激活函數(shù)的方法示例

代碼：

y_relu = F.relu(x).data.numpy()
plt.plot(x_np, y_relu, c='red', label='relu')
plt.ylim((-1, 5))
plt.legend(loc='best')

plt.show()

形狀如圖：

PyTorch中常用的激活函數(shù)的方法示例

Sigmoid

表達(dá)式：

PyTorch中常用的激活函數(shù)的方法示例

代碼：

y_sigmoid = F.sigmoid(x).data.numpy()
plt.plot(x_np, y_sigmoid, c='red', label='sigmoid')
plt.ylim((-0.2, 1.2))
plt.legend(loc='best')

plt.show()

形狀如圖：

PyTorch中常用的激活函數(shù)的方法示例

Tanh

表達(dá)式：

PyTorch中常用的激活函數(shù)的方法示例

代碼：

y_tanh = F.tanh(x).data.numpy()
plt.plot(x_np, y_tanh, c='red', label='tanh')
plt.ylim((-1.2, 1.2))
plt.legend(loc='best')

plt.show()

形狀如圖：

PyTorch中常用的激活函數(shù)的方法示例

Softplus

表達(dá)式：

PyTorch中常用的激活函數(shù)的方法示例

代碼：

y_softplus = F.softplus(x).data.numpy()
plt.plot(x_np, y_softplus, c='red', label='softplus')
plt.ylim((-0.2, 6))
plt.legend(loc='best')

plt.show()

形狀如圖：

PyTorch中常用的激活函數(shù)的方法示例

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持億速云。

向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手