溫馨提示×

溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

如何進(jìn)行深層神經(jīng)網(wǎng)絡(luò)模型Softmax DNN分析

發(fā)布時間：2021-12-10 15:27:03 來源：億速云 閱讀：186 作者：柒染 欄目：大數(shù)據(jù)

本篇文章為大家展示了如何進(jìn)行深層神經(jīng)網(wǎng)絡(luò)模型Softmax DNN分析，內(nèi)容簡明扼要并且容易理解，絕對能使你眼前一亮，通過這篇文章的詳細(xì)介紹希望你能有所收獲。

Softmax DNN推薦

一種可能的DNN模型是softmax，它將問題看作多類預(yù)測問題，其中：

  • 輸入是用戶查詢。

  • 輸出是一個概率向量，其大小等于語料庫中的項目數(shù)，表示與每個項目交互的概率; 例如，點擊或觀看YouTube視頻的可能性。

 

輸入

DNN的輸入可包括：

  • 密集特征（例如，觀看自上次觀看以來的時間和時間）

  • 稀疏特征（例如，觀看歷史記錄和國家/地區(qū)）


與矩陣分解方法不同，還可以添加年齡或國家區(qū)域等側(cè)面特征。這里用x表示輸入向量。

如何進(jìn)行深層神經(jīng)網(wǎng)絡(luò)模型Softmax DNN分析

圖1.輸入層x

模型架構(gòu)

模型架構(gòu)決定了模型的復(fù)雜性和表現(xiàn)力。通過添加隱藏層和非線性激活函數(shù)（例如，ReLU），模型可以捕獲數(shù)據(jù)中更復(fù)雜的關(guān)系。然而，增加參數(shù)的數(shù)量通常也使得模型更難以訓(xùn)練并且計算起來更復(fù)雜。最后一個隱藏層的輸出用如何進(jìn)行深層神經(jīng)網(wǎng)絡(luò)模型Softmax DNN分析表示：

如何進(jìn)行深層神經(jīng)網(wǎng)絡(luò)模型Softmax DNN分析

圖2.隱藏層的輸出， ψ(X)

 

Softmax輸出：預(yù)測的概率分布

如何進(jìn)行深層神經(jīng)網(wǎng)絡(luò)模型Softmax DNN分析

如何進(jìn)行深層神經(jīng)網(wǎng)絡(luò)模型Softmax DNN分析

如何進(jìn)行深層神經(jīng)網(wǎng)絡(luò)模型Softmax DNN分析

如何進(jìn)行深層神經(jīng)網(wǎng)絡(luò)模型Softmax DNN分析

如何進(jìn)行深層神經(jīng)網(wǎng)絡(luò)模型Softmax DNN分析

圖4.損失函數(shù)

如何進(jìn)行深層神經(jīng)網(wǎng)絡(luò)模型Softmax DNN分析

如何進(jìn)行深層神經(jīng)網(wǎng)絡(luò)模型Softmax DNN分析

如何進(jìn)行深層神經(jīng)網(wǎng)絡(luò)模型Softmax DNN分析


如何進(jìn)行深層神經(jīng)網(wǎng)絡(luò)模型Softmax DNN分析

 

Softmax訓(xùn)練

上一節(jié)解釋了如何將softmax層合并到推薦系統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)中。本節(jié)將詳細(xì)介紹此系統(tǒng)的訓(xùn)練數(shù)據(jù)。

 

訓(xùn)練數(shù)據(jù)

softmax訓(xùn)練數(shù)據(jù)由查詢特征X以及用戶與之交互的項目向量（表示為概率分布 p）組成，在下圖中用藍(lán)色標(biāo)記。模型的變量是不同層中的權(quán)重，在下圖中用橙色標(biāo)記。通常使用隨機梯度下降或其變體方法來訓(xùn)練模型。

如何進(jìn)行深層神經(jīng)網(wǎng)絡(luò)模型Softmax DNN分析

如何進(jìn)行深層神經(jīng)網(wǎng)絡(luò)模型Softmax DNN分析

如何進(jìn)行深層神經(jīng)網(wǎng)絡(luò)模型Softmax DNN分析如何進(jìn)行深層神經(jīng)網(wǎng)絡(luò)模型Softmax DNN分析

 

矩陣分解（FM）VS SOFTMAX

DNN模型解決了矩陣分解的許多限制，但通常訓(xùn)練和預(yù)測的代價更高。下表總結(jié)了兩種模型之間的一些重要差異。

矩陣分解Softmax DNN
查詢特征不容易包括在內(nèi)可以包括在內(nèi)
冷啟動不容易處理詞典查詢或項目。可以使用一些啟發(fā)式方法（例如，對于新查詢，類似查詢的平均嵌入）容易處理新查詢
折頁通過調(diào)整WALS中未觀察到的重量可以輕松減少折疊容易折疊，需要使用負(fù)采樣或重力等技術(shù)
訓(xùn)練可擴展性可輕松擴展到非常大的語料庫（可能是數(shù)億項或更多），但僅限于輸入矩陣稀疏難以擴展到非常大的語料庫，可以使用一些技術(shù)，例如散列，負(fù)采樣等。
提供可擴展性嵌入U，V是靜態(tài)的，并且可以預(yù)先計算和存儲一組候選項目嵌入V是靜態(tài)的并且可以存儲，查詢嵌入通常需要在查詢時計算，使得模型的服務(wù)成本更高

矩陣分解通常是大型語料庫的更好選擇。它更容易擴展，查詢計算量更便宜，并且不易折疊。

DNN模型可以更好地捕獲個性化偏好，但是難以訓(xùn)練并且查詢成本更高。DNN模型比評分的矩陣分解更可取，因為DNN模型可以使用更多特征來更好地捕獲相關(guān)性。

上述內(nèi)容就是如何進(jìn)行深層神經(jīng)網(wǎng)絡(luò)模型Softmax DNN分析，你們學(xué)到知識或技能了嗎？如果還想學(xué)到更多技能或者豐富自己的知識儲備，歡迎關(guān)注億速云行業(yè)資訊頻道。

向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進(jìn)行舉報，并提供相關(guān)證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手