nn.BCELoss與nn.CrossEntropyLoss有哪些區(qū)別

這篇文章主要介紹了nn.BCELoss與nn.CrossEntropyLoss有哪些區(qū)別，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

BCELoss與CrossEntropyLoss都是用于分類問題?？梢灾溃珺CELoss是Binary CrossEntropyLoss的縮寫，BCELoss　CrossEntropyLoss的一個特例，只用于二分類問題，而CrossEntropyLoss可以用于二分類，也可以用于多分類。

不過我重新查閱了一下資料，發(fā)現(xiàn)同樣是處理二分類問題，BCELoss與CrossEntropyLoss是不同的。下面我詳細(xì)講一下哪里不同。

1、使用nn.BCELoss需要在該層前面加上Sigmoid函數(shù)。

公式如下：

2、使用nn.CrossEntropyLoss會自動加上Sofrmax層。

公式如下：

可以看出，這兩個計算損失的函數(shù)使用的激活函數(shù)不同，故而最后的計算公式不同。

補(bǔ)充拓展：pytorch的BCELoss和cross entropy

BCELoss:

torch.nn.BCELoss:

Input: (N, *)(N,?) where *? means, any number of additional dimensions

Target: (N, *)(N,?), same shape as the input

Output: scalar. If reduction is 'none', then (N, *)(N,?), same shape as input.

這里的輸入和target 目標(biāo)必須形狀一致，并且都是浮點數(shù)，二分類中一般用sigmoid的把輸出挑出一個數(shù)：

>>> m = nn.Sigmoid()
>>> loss = nn.BCELoss()
>>> input = torch.randn(3, requires_grad=True)
>>> target = torch.empty(3).random_(2)
>>> output = loss(m(input), target)
>>> output.backward()

CrossEntropyLoss:

input(N,C) #n 是batch c是類別
target(N)

輸入和target 形狀是不同的crossEntropy 是自己會做softmax

>>> loss = nn.CrossEntropyLoss()
>>> input = torch.randn(3, 5, requires_grad=True)
>>> target = torch.empty(3, dtype=torch.long).random_(5)
>>> output = loss(input, target)
>>> output.backward()

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“nn.BCELoss與nn.CrossEntropyLoss有哪些區(qū)別”這篇文章對大家有幫助，同時也希望大家多多支持億速云，關(guān)注億速云行業(yè)資訊頻道，更多相關(guān)知識等著你來學(xué)習(xí)!