您好,登錄后才能下訂單哦!
基于pytorch來講
MSELoss()多用于回歸問題,也可以用于one_hotted編碼形式,
CrossEntropyLoss()名字為交叉熵?fù)p失函數(shù),不用于one_hotted編碼形式
MSELoss()要求batch_x與batch_y的tensor都是FloatTensor類型
CrossEntropyLoss()要求batch_x為Float,batch_y為L(zhǎng)ongTensor類型
(1)CrossEntropyLoss() 舉例說明:
比如二分類問題,最后一層輸出的為2個(gè)值,比如下面的代碼:
class CNN (nn.Module ) : def __init__ ( self , hidden_size1 , output_size , dropout_p) : super ( CNN , self ).__init__ ( ) self.hidden_size1 = hidden_size1 self.output_size = output_size self.dropout_p = dropout_p self.conv1 = nn.Conv1d ( 1,8,3,padding =1) self.fc1 = nn.Linear (8*500, self.hidden_size1 ) self.out = nn.Linear (self.hidden_size1,self.output_size ) def forward ( self , encoder_outputs ) : cnn_out = F.max_pool1d ( F.relu (self.conv1(encoder_outputs)),2) cnn_out = F.dropout ( cnn_out ,self.dropout_p) #加一個(gè)dropout cnn_out = cnn_out.view (-1,8*500) output_1 = torch.tanh ( self.fc1 ( cnn_out ) ) output = self.out ( ouput_1) return output
最后的輸出結(jié)果為:
上面一個(gè)tensor為output結(jié)果,下面為target,沒有使用one_hotted編碼。
訓(xùn)練過程如下:
cnn_optimizer = torch.optim.SGD(cnn.parameters(),learning_rate,momentum=0.9,\ weight_decay=1e-5) criterion = nn.CrossEntropyLoss() def train ( input_variable , target_variable , cnn , cnn_optimizer , criterion ) : cnn_output = cnn( input_variable ) print(cnn_output) print(target_variable) loss = criterion ( cnn_output , target_variable) cnn_optimizer.zero_grad () loss.backward( ) cnn_optimizer.step( ) #print('loss: ',loss.item()) return loss.item() #返回?fù)p失
說明CrossEntropyLoss()是output兩位為one_hotted編碼形式,但target不是one_hotted編碼形式。
(2)MSELoss() 舉例說明:
網(wǎng)絡(luò)結(jié)構(gòu)不變,但是標(biāo)簽是one_hotted編碼形式。下面的圖僅做說明,網(wǎng)絡(luò)結(jié)構(gòu)不太對(duì),出來的預(yù)測(cè)也不太對(duì)。
如果target不是one_hotted編碼形式會(huì)報(bào)錯(cuò),報(bào)的錯(cuò)誤如下。
目前自己理解的兩者的區(qū)別,就是這樣的,至于多分類問題是不是也是樣的有待考察。
以上這篇基于MSELoss()與CrossEntropyLoss()的區(qū)別詳解就是小編分享給大家的全部?jī)?nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持億速云。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。