溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
youtube召回邏輯是怎樣的，相信很多沒有經(jīng)驗的人對此束手無策，為此本文總結(jié)了問題出現(xiàn)的原因和解決方法，通過這篇文章希望你能解決這個問題。
上圖是整個架構(gòu)中的候選集生成模塊, 也就是召回模塊。
下面的這些embedding直接連起來, 效果, 不怎么好, 感覺只能做base line
example age是當前訓練時間-日志時間, 由于某個視頻的熱度并不是均勻分布在時間線上的, 加上這個特征可以讓分布盡量的與真實的保持一致, 很有意思的一點, 但是原因我沒想太明白。
之后就是三層Relu, 最后輸出一個vector, 假設(shè)為 20x1的embedding, 最后輸出的這個就是 user embedding, 之后softmax然后ANN進行最近鄰檢索就行。
問題來了, 為什么能拿這個DNN最后生成的user embeding 去召回, 進行ANN的Item Embedding從哪里來的? 以及ANN的時候用的是哪個距離?
首先, 對于某一個輸入的user embedding, 判斷此條件對某個item到底點不點, 可以理解為一個多分類問題, 即一個item就是一個分類, 假設(shè)視頻個數(shù)為200w, 那么其實就是使用softmax判斷 20維度的user embedding 到底會落在 200w中的哪一個。
所以, softmax會生成一個200w x 20 的denser, 那么每一個item就是一個 20x1的embedding, 用以表明item的embeding
再看一下softmax的公式, 那就是user embedding 與 item embedding, 然后加和求處理求最大, 但是由于在線上服務的時候不可能直接softmax算一遍, 由于softmax的特性, 只需要求兩個embedding內(nèi)積最大的那些來召回即可。
所以最后的item embedding為softmax產(chǎn)生的, 由于是一個softmax多分類問題, 所以需要在KNN的時候，求內(nèi)積最大來實現(xiàn),
具體實現(xiàn)可以采用Faiss, 創(chuàng)建IndexIVFFlat索引, 相似度方法采用 faiss.METRIC_INNER_PRODUCT, 把200w的item embedding放進去, 線上服務的時候那個三層模型實時反饋生成user embedding, 然后在faiss中做KNN
看完上述內(nèi)容，你們掌握youtube召回邏輯是怎樣的的方法了嗎？如果還想學到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注億速云行業(yè)資訊頻道，感謝各位的閱讀！
免責聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進行舉報，并提供相關(guān)證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權(quán)內(nèi)容。
億速云公眾號
手機網(wǎng)站二維碼
