軟件開發(fā)的十個(gè)關(guān)鍵點(diǎn)是什么

這篇文章主要介紹了軟件開發(fā)的十個(gè)關(guān)鍵點(diǎn)是什么的相關(guān)知識(shí)，內(nèi)容詳細(xì)易懂，操作簡單快捷，具有一定借鑒價(jià)值，相信大家閱讀完這篇軟件開發(fā)的十個(gè)關(guān)鍵點(diǎn)是什么文章都會(huì)有所收獲，下面我們一起來看看吧。

1 顯式\隱式反饋數(shù)據(jù)的充分運(yùn)用

數(shù)據(jù)是一切推薦系統(tǒng)的基礎(chǔ)。良好的推薦效果一定是來自于豐富而準(zhǔn)確的數(shù)據(jù)。這些數(shù)據(jù)既包括了用戶（user）和待推薦物品（item）相關(guān)的基礎(chǔ)信息（注：item和具體的推薦場景相關(guān)，可以是商品、影片、音樂、新聞等，如果是進(jìn)行好友推薦，那么item也可以是user本身），另一方面，user和item之間在網(wǎng)站或應(yīng)用中發(fā)生的用戶行為和關(guān)系數(shù)據(jù)也非常重要。因?yàn)檫@些用戶行為和關(guān)系數(shù)據(jù)能真實(shí)的反映每個(gè)用戶的偏好和習(xí)慣。采集這些基礎(chǔ)數(shù)據(jù)，并做好清洗和預(yù)處理，是整個(gè)推薦系統(tǒng)的基石。

用戶行為數(shù)據(jù)，又可細(xì)分為兩部分：顯式反饋數(shù)據(jù)（explicit feedbacks）和隱式反饋（implicit feedbacks）數(shù)據(jù)。顯式反饋是指能明確表達(dá)用戶好惡的行為數(shù)據(jù)，例如用戶對某商品的購買、收藏、評分等數(shù)據(jù)。與之相反，隱式反饋數(shù)據(jù)是指無法直接體現(xiàn)用戶偏好的行為，例如用戶在網(wǎng)站中的點(diǎn)擊、瀏覽、停留、跳轉(zhuǎn)、關(guān)閉等行為。通過挖掘顯式反饋數(shù)據(jù)能明確把握用戶的偏好，但在很多應(yīng)用中，顯式反饋數(shù)據(jù)通常很稀疏，導(dǎo)致對用戶偏好的挖掘無法深入。這個(gè)問題在一些剛上線的應(yīng)用、或者偏冷門的物品或用戶身上反映尤其明顯。在這種情況下，用戶的隱式反饋數(shù)據(jù)就顯得尤為重要。因?yàn)殡m然用戶在網(wǎng)站中的點(diǎn)擊等行為很龐雜，但其中蘊(yùn)藏了大量信息。在2006-2008年間進(jìn)行的國際著名推薦競賽Netflix Prize中，冠軍隊(duì)成員Yehuda Koren發(fā)現(xiàn)將用戶租用影片的記錄，轉(zhuǎn)換為特征向量注入奇異值分解算法（SVD）用于影響用戶興趣向量，能夠很好的提高推薦準(zhǔn)確率。

基礎(chǔ)數(shù)據(jù)的預(yù)處理對推薦效果的提升也非常有幫助。以今年的KDD-Cup國際數(shù)據(jù)挖掘競賽為例，訓(xùn)練樣本中，負(fù)樣本的數(shù)量居然達(dá)到了總樣本數(shù)量的92.82%，但是通過仔細(xì)分析這些負(fù)樣本，發(fā)現(xiàn)其中有大量樣本存在噪音，通過一系列的Session分析和篩選方法，從中保留了11.2%的樣本進(jìn)行后續(xù)推薦挖掘，不僅成功提高了推薦精度，而且大大減少了運(yùn)算量。所以充分利用各類顯式和隱式數(shù)據(jù)，并做好數(shù)據(jù)的預(yù)處理，保證輸入數(shù)據(jù)的質(zhì)量，是第一個(gè)關(guān)鍵點(diǎn)。

2 多模型融合技術(shù)

經(jīng)過多年的發(fā)展，很多種推薦算法被提出來。常見的推薦方法，從大類上分，有基于歷史行為（Memory-based）的方法、基于模型（Model-based）的方法、基于內(nèi)容（Content-based）方法等。在Memory-based方法這個(gè)方向，又可進(jìn)一步細(xì)分為基于物品的協(xié)同過濾算法（item-based collaborative filtering）、基于用戶的協(xié)同過濾算法（user-based collaborative filtering）、關(guān)聯(lián)規(guī)則（association rule）等；Model-based方法常用的包括Random Walk、pLSA、SVD、SVD++等。每種方法在具體實(shí)施時(shí)，針對不同的問題又有很多不同的實(shí)現(xiàn)方案，例如在基于物品的協(xié)同過濾算法（item-based collaborative filtering）中，item之間相似度計(jì)算公式（Similarity）也可能有很多很多種變化。

在系統(tǒng)推薦的結(jié)果以外，還有一類傳統(tǒng)的方式是通過專家進(jìn)行推薦。這些專家可以是一些有經(jīng)驗(yàn)的編輯，也可以是社區(qū)中意見領(lǐng)袖等。這些領(lǐng)域?qū)＜彝扑]的結(jié)果，在很多實(shí)際應(yīng)用中，可以作為算法推薦結(jié)果的有益補(bǔ)充。

事實(shí)上，在實(shí)踐中并沒有任何一種方法在實(shí)踐中始終占據(jù)壓倒性的優(yōu)勢，它們各有千秋，分別有其各自合適的應(yīng)用場景，因此因地制宜根據(jù)不同的場景，挑選不同的方法，并有機(jī)的結(jié)合起來，能讓推薦效果得到極大的提升。常見的融合方法包括Restricted Boltzmann Machines（RBM）, Gradient Boosted Decision Trees（GBDT），Logistic Regression（LR）等，這方面歷次推薦競賽中有很多相關(guān)文章，可以看到為了提升推薦效果，將不同算法的結(jié)果能夠取長補(bǔ)短，各自發(fā)揮價(jià)值，是極為有效的。

3 時(shí)間因素的運(yùn)用

用戶的行為是存在很強(qiáng)的時(shí)間規(guī)律的。例如通常我們中午要吃飯、周末會(huì)休假、過年會(huì)回家團(tuán)圓等等。用戶在各個(gè)應(yīng)用中的行為也同樣有規(guī)律可以挖掘，用好時(shí)間這個(gè)特征，在很多推薦場景下，會(huì)對推薦效果的提升有很大的幫助。

用戶行為日志中，行為發(fā)生的時(shí)間戳（timestamp）通常都會(huì)被記錄。這個(gè)時(shí)間戳能從user和item兩方面來進(jìn)行分析。從user的角度來看：user的興趣往往會(huì)隨著時(shí)間不斷變化，幾年前的興趣和當(dāng)前的興趣可能是不同的；另一方面，user的行為也存在一定的規(guī)律，例如工作日的行為是類似的，而在周末里user的行為也會(huì)變化，甚至在同一天中，上午和晚上的user行為和偏好也會(huì)有各種不同的規(guī)律。

從item的角度來看，流行度隨著時(shí)間會(huì)有規(guī)律性的波動(dòng)，通過持續(xù)挖掘user與item之間的行為在一段時(shí)間內(nèi)的記錄，往往能夠發(fā)掘出這種規(guī)律，并進(jìn)而用于指導(dǎo)我們預(yù)測user在后續(xù)某個(gè)時(shí)刻的行為，提高推薦的準(zhǔn)確率。

時(shí)間因素的一些常見處理方案包括：1）在協(xié)同過濾計(jì)算user或者item相似度的公式中，增加時(shí)間因子，發(fā)揮相近時(shí)間的作用；2）將時(shí)間離散映射到自然月、周、日、小時(shí)等時(shí)間片中，并分別進(jìn)行統(tǒng)計(jì)計(jì)算，并進(jìn)而將累積的數(shù)據(jù)用于特定的回歸模型（Regression models）中，指導(dǎo)結(jié)果預(yù)測；3）將時(shí)間作為線性連續(xù)變量，用于訓(xùn)練模型參數(shù)等。

4 地域?qū)傩栽谔囟▓鼍暗氖褂?/strong>

有一些推薦場景是和用戶所處地域密切相關(guān)的，尤其對一些LBS、O2O的應(yīng)用來說，一旦離開地域這個(gè)特征，那么智能推薦的效果根本就無從談起。例如當(dāng)需要推薦一個(gè)餐館時(shí)，如果不考慮用戶當(dāng)前所在的位置，那么即使某餐館和當(dāng)前用戶的口味匹配度非常高，但遠(yuǎn)在天邊，這個(gè)推薦也是毫無價(jià)值的。

目前推薦系統(tǒng)在地域特征的使用還停留在較為原始的狀態(tài)，通常需要讓用戶手工篩選推薦結(jié)果所在的區(qū)域（如省、市、區(qū)、縣等），或者指定若干半徑范圍內(nèi)的結(jié)果。這種方式不僅操作繁瑣，而且缺乏對地域信息的細(xì)致分析。例如地點(diǎn)A和B的地圖直線距離雖然較遠(yuǎn)，但兩點(diǎn)間有地鐵直接往返，而另一地點(diǎn)C雖然地圖直線距離A很近，但兩點(diǎn)間需要繞行交通不便。另外從用戶角度來說，每天活動(dòng)的地域總是存在規(guī)律的，例如工作日白天，往往活動(dòng)區(qū)域在工作地點(diǎn)附近，夜晚的時(shí)間會(huì)在家附近等。

在基于地理位置信息的應(yīng)用中，需要更聰明的挖掘用戶對地域的偏好（而且這種偏好往往和時(shí)間緊密聯(lián)系），例如在基于用戶的協(xié)同過濾中，將類似地域用戶活躍用戶的行為，作為推薦的依據(jù)，即認(rèn)為活動(dòng)地域相似的用戶，可能存在一定相同的偏好?；蛘呤褂没谖锲返膮f(xié)同過濾思想，在計(jì)算item之間相似度時(shí)引入地域特征。在Latent Factor Model中，將用戶的活動(dòng)地域作為隱式反饋來作用于用戶特征向量等，都是可行的方案。

手機(jī)是進(jìn)行基于地域信息推薦的最好載體，隨著移動(dòng)互聯(lián)網(wǎng)應(yīng)用越來越普及，期待未來有更多基于地域信息的推薦產(chǎn)品的問世。

5 SNS關(guān)系的使用

社交網(wǎng)絡(luò)近年來得到了突飛猛進(jìn)的發(fā)展，用戶不再是單純的內(nèi)容接收者，而是能夠主動(dòng)的建立用戶之間的關(guān)系。這些關(guān)系，可以劃分為顯式關(guān)系（explicit relations）和隱式關(guān)系（implicit relations）。顯式關(guān)系指的是用戶已明確建立的相關(guān)關(guān)系，例如在微博中關(guān)注/被關(guān)注某人等，或者在社區(qū)中加為好友等。而隱式關(guān)系指用戶之間存在一些互動(dòng)行為，但這些行為不能明確指示用戶間的關(guān)系。例如用戶在微博中點(diǎn)擊、評論、轉(zhuǎn)發(fā)另一個(gè)用戶的帖子，如果在網(wǎng)絡(luò)游戲世界中另一個(gè)玩家交談，或者PK等。隱式關(guān)系雖然并不如顯式關(guān)系那樣明確，但比顯式關(guān)系要豐富的多。所以在一些對推薦精度要求很高的應(yīng)用場景下，顯式關(guān)系需要發(fā)揮主要作用；而對一些需要提高推薦召回率和推薦結(jié)果多樣性的場景下，尤其是當(dāng)顯式關(guān)系面臨數(shù)據(jù)稀疏性的問題時(shí)（注：這個(gè)問題在推薦應(yīng)用中普遍存在），充分利用隱式關(guān)系能起到非常好的效果。以今年的KDD-Cup競賽為例，在騰訊微博的好友推薦系統(tǒng)上，我們通過在SVD++模型中增加隱式關(guān)系，處理數(shù)據(jù)稀疏性的問題，能夠?qū)⑼扑]準(zhǔn)確率提升5.5%

此外，移動(dòng)互聯(lián)網(wǎng)的普及，讓SNS關(guān)系使用起來更加便捷，而且加上地域信息，產(chǎn)生了像微信這樣新穎的移動(dòng)應(yīng)用，而SNS關(guān)系和地域特征的結(jié)合使用，一定會(huì)讓推薦系統(tǒng)也產(chǎn)生出更受歡迎的結(jié)果。

6 冷啟動(dòng)問題處理辦法

冷啟動(dòng)是推薦系統(tǒng)最為悠久的一個(gè)問題，伴隨推薦系統(tǒng)誕生至今。這是因?yàn)橥扑]系統(tǒng)效果提升的關(guān)鍵天然在于數(shù)據(jù)，而當(dāng)新用戶、或新物品等剛上線時(shí)，由于積累的數(shù)據(jù)極為稀少，大量方法在最初這段時(shí)間難以生效。

冷啟動(dòng)問題又可細(xì)分為user冷啟動(dòng)或者item的冷啟動(dòng)。user冷啟動(dòng)在一些場景普遍存在，例如在一些短視頻網(wǎng)站，由于user沒有登錄瀏覽的習(xí)慣，因此大量來訪用戶都是陌生的cookie用戶，如何對這些user進(jìn)行推薦是至關(guān)重要的。常見的思路包括：1）采用熱門推薦（排行榜）結(jié)果。雖然排行榜是一個(gè)看似簡單的方法，但設(shè)計(jì)良好、的排行榜并不如想象中簡單，排行榜如何計(jì)算，基于哪些統(tǒng)計(jì)特征，都是值得深究的。2）充分利用有限的用戶信息來迅速捕捉偏好。例如用戶的來源ip、訪問時(shí)間、最初點(diǎn)擊的幾個(gè)結(jié)果的屬性，都需要被充分運(yùn)用。3）為新用戶設(shè)置簡單的口味測試，根據(jù)用戶提交的答案主動(dòng)收集用戶偏好。常見的方案包括為提供一些預(yù)先精心設(shè)計(jì)的選項(xiàng)，通過用戶的選擇迅速建立用戶模型。在設(shè)計(jì)選項(xiàng)時(shí)，一些注意點(diǎn)包括：A）必須要有代表性的選項(xiàng)；B）選項(xiàng)需要相對熱門，或有一定的用戶知名度；C）選項(xiàng)之間要有區(qū)分度。

item冷啟動(dòng)的問題在一些item頻繁更新的應(yīng)用中普遍存在，例如一些電子商務(wù)網(wǎng)站會(huì)不斷上架新商品，這些新商品由于缺少點(diǎn)擊，很難進(jìn)行推薦。但基于內(nèi)容的方法（content-based）往往此時(shí)能發(fā)揮關(guān)鍵作用。根據(jù)item的類別、標(biāo)簽、關(guān)鍵詞等初始特征，能計(jì)算item之間的關(guān)聯(lián)度。盡管很多對比評測表明，基于內(nèi)容的推薦算法往往推薦精度不夠高，但這種方法在處理item冷啟動(dòng)時(shí)有先天的優(yōu)勢，所以在工程實(shí)踐中可以注意使用。

7 推薦結(jié)果的展現(xiàn)方式

推薦系統(tǒng)絕不僅僅局限于推薦算法和架構(gòu)，而是一個(gè)完整的系統(tǒng)。其中推薦結(jié)果的展現(xiàn)方案是這個(gè)系統(tǒng)中極為重要的一環(huán)，開發(fā)一個(gè)推薦系統(tǒng)時(shí)，這個(gè)環(huán)節(jié)往往被工程師們忽略，但推薦結(jié)果最終呈現(xiàn)給用戶的位置、提供哪些信息，往往起到舉足輕重的作用。

這里需要注意的關(guān)鍵點(diǎn)包括：1）不同item的推薦，由于用戶關(guān)注點(diǎn)不同，展現(xiàn)的方案也需要不同，要盡量凸顯出用戶的關(guān)注重點(diǎn)。例如推薦一個(gè)服飾時(shí)，縮略圖對用戶的點(diǎn)擊意愿起到極為重要的作用；而推薦服務(wù)類商品時(shí)（例如旅游線路），天數(shù)、價(jià)格、是否優(yōu)惠等信息，才是用戶關(guān)注的重點(diǎn)；2）推薦展示的場景和位置，需要符合用戶的行為習(xí)慣。求職社交網(wǎng)站LinkedIn的對比實(shí)驗(yàn)表明，在用戶申請完一個(gè)工作的之前或之后分別展示推薦結(jié)果，前者的點(diǎn)擊率是后者的10倍。在網(wǎng)頁正中或右側(cè)邊欄放置推薦結(jié)果，點(diǎn)擊率也相差5倍之多。

在展現(xiàn)方式中，另一個(gè)極為重要的方面是提供推薦理由。因?yàn)橥ㄟ^展現(xiàn)推薦理由，能夠贏得用戶的信任，進(jìn)而讓用戶更容易接受推薦給他的結(jié)果。例如直接為A用戶給出一個(gè)猜她喜歡的視頻V，可能很難信任。但如果同時(shí)給出推薦理由：“和你口味相似的B和C都收藏了該視頻”，那么能很好的提升用戶的信任感。另外，推薦理由本身也是對推薦結(jié)果的一個(gè)良好的補(bǔ)充描述。例如推薦一本小說，按傳統(tǒng)方案只提供小說名稱、封面，讀者很難獲取足夠的信息，但如果提供推薦理由：“本周銷售量最多”或者“起點(diǎn)白金作家XXX最新作品”，對提升推薦成功率有很大的幫助。

合適的推薦結(jié)果的展示方案，需要技術(shù)、產(chǎn)品、UI、UED等充分結(jié)合，對用戶需求和用戶心里有細(xì)致入微的把握，往往能起到事半功倍的效果。

8 明確優(yōu)化目標(biāo)和評估手段

開發(fā)一個(gè)初步可用的推薦系統(tǒng)并不難，難的是如何在原有推薦效果的基礎(chǔ)上精益求精，更進(jìn)一步。優(yōu)化目標(biāo)和評估手段的確定是解決這個(gè)問題的關(guān)鍵所在。首先需要確定系統(tǒng)的優(yōu)化目標(biāo)。例如有些推薦系統(tǒng)追求推薦結(jié)果的點(diǎn)擊率；有些則還考慮點(diǎn)擊后的實(shí)際轉(zhuǎn)化或成交效果；有些推薦場景更關(guān)注推薦結(jié)果的新穎性，即希望更多的將本站新收錄的物品展現(xiàn)給用戶；另一些則更重視結(jié)果的多樣性。

在推薦系統(tǒng)的目標(biāo)明確后，隨之而來的問題是，如何量化的評價(jià)這些推薦目標(biāo)？傳統(tǒng)的評分預(yù)測問題通常使用均方根誤差（RMSE）或者平均絕對誤差（MAE）等計(jì)算方法。但在實(shí)際應(yīng)用中Top-N推薦更為常見，這種場景下NDCG(Normalized Discounted Cumulative Gain)或MAP（Mean Average Precision）是普遍使用的衡量方法。

由于推薦系統(tǒng)經(jīng)常借鑒相關(guān)領(lǐng)域的一些技術(shù)，如廣告學(xué)或搜索系統(tǒng)，因此計(jì)算廣告學(xué)中的pCTR或者搜索系統(tǒng)的Precision-Recall曲線等也經(jīng)常用于評估推薦效果的優(yōu)劣。有些系統(tǒng)甚至直接將推薦系統(tǒng)轉(zhuǎn)化為一個(gè)機(jī)器學(xué)習(xí)問題，評估手段也隨之轉(zhuǎn)化為對應(yīng)問題的方法。

實(shí)際系統(tǒng)中，往往是多個(gè)指標(biāo)（點(diǎn)擊率、準(zhǔn)確率、覆蓋率、多樣性、新穎性等）共同作用，并且按照產(chǎn)品的實(shí)際需求，加權(quán)折衷后進(jìn)行結(jié)果評測。測試方法也有線上A/B Testing以及人工評測等。無論采用何種方法，一個(gè)成熟的推薦系統(tǒng)一定要建立在明確的優(yōu)化目標(biāo)和評測系統(tǒng)之上，它們像一把尺子，丈量著推薦系統(tǒng)每次前進(jìn)的腳步。

9 時(shí)效性問題

正所謂“天下武功，唯快不破”，推薦系統(tǒng)要能及時(shí)捕捉用戶需求的變化，反饋到模型中，并及時(shí)響應(yīng)用戶請求，實(shí)時(shí)提供在線服務(wù)。因?yàn)橛脩羰翘籼薜摹⒁彩侨狈δ托牡?，新用戶尤其如此，如果一個(gè)推薦系統(tǒng)無法在較短的時(shí)間內(nèi)調(diào)整結(jié)果以迎合用戶，那么用戶會(huì)迅速流失。

推薦系統(tǒng)的時(shí)效性首先體現(xiàn)在能靈敏捕捉用戶反饋，這些反饋既包括正反饋（用戶喜愛），也需要收集負(fù)反饋（用戶不感興趣的）。很多推薦系統(tǒng)往往忽略了負(fù)反饋樣本的收集，而事實(shí)上，有效的收集用戶的正負(fù)反饋，并進(jìn)行對比訓(xùn)練，能夠更全面準(zhǔn)確的掌握用戶偏好。

在用戶反饋收集的基礎(chǔ)上，還需要能夠及時(shí)更新后臺(tái)的推薦模型。很多推薦系統(tǒng)后端的用戶模型和物品模型，都需要通過大量用戶日志來進(jìn)行挖掘運(yùn)算，計(jì)算開銷大，所以一個(gè)設(shè)計(jì)良好的推薦系統(tǒng)，需要將離線挖掘和在線服務(wù)系統(tǒng)進(jìn)行有機(jī)的結(jié)合。離線系統(tǒng)可以設(shè)計(jì)得比較“厚”，即算法復(fù)雜，模型龐大，更新緩慢。而在線系統(tǒng)則傾向于設(shè)計(jì)得輕巧靈活，能及時(shí)將捕獲的正負(fù)反饋信息傳遞進(jìn)來，修改在線模型，捕獲用戶短期興趣變化，從而快速修正推薦結(jié)果。

10 大數(shù)據(jù)挖掘和性能優(yōu)化

大數(shù)據(jù)挖掘是近年來的研究熱點(diǎn)，得益于分布式計(jì)算技術(shù)的廣泛使用，系統(tǒng)吞吐的數(shù)據(jù)規(guī)模越來越大，離線數(shù)據(jù)挖掘的能力也越來越強(qiáng)，處理大量用戶行為數(shù)據(jù)變得越來越便捷。但在推薦挖掘中，系統(tǒng)能夠提供的運(yùn)算能力和實(shí)際的運(yùn)算需求之間，始終存在矛盾，所以如果有效合理的分配運(yùn)算資源十分重要。這里需要在挖掘深度上進(jìn)行合理的分配。對重點(diǎn)的用戶或者item，可以分配更多的資源，進(jìn)行更深入的挖掘。對基礎(chǔ)數(shù)據(jù)也是如此，高質(zhì)量的數(shù)據(jù)可以用于更詳細(xì)的分析，而低價(jià)值的數(shù)據(jù)可能只需要簡化處理流程。

后端的離線系統(tǒng)往往還需要定期更新模型，這里模型的全量或增量更新方式也是一個(gè)值得關(guān)注的點(diǎn)。以用戶模型為例，并非所有用戶的個(gè)性化模型都需要頻繁更新，活躍的、高貢獻(xiàn)值的用戶，應(yīng)該需要更頻繁的予以更新。對item也類似，熱門item和冷門item更新技術(shù)的周期可以不同。在大數(shù)據(jù)推薦系統(tǒng)的性能優(yōu)化方面，還有一些常用的技巧，例如倒排索引的使用，cache機(jī)制的充分運(yùn)用等。

關(guān)于“軟件開發(fā)的十個(gè)關(guān)鍵點(diǎn)是什么”這篇文章的內(nèi)容就介紹到這里，感謝各位的閱讀！相信大家對“軟件開發(fā)的十個(gè)關(guān)鍵點(diǎn)是什么”知識(shí)都有一定的了解，大家如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道。