云聯(lián)反欺詐技術(shù)一瞥

眾所周知，互聯(lián)網(wǎng)普遍存在的“非人類流量”（NHT， non-human-traffic）干擾廣告投放的現(xiàn)象，而公開交易市場又是一個通過實(shí)時(shí)競價(jià)(RTB)售賣的最低層媒體庫存的交易市場，它遍布中小媒體的海量庫存，因此實(shí)施監(jiān)控相當(dāng)困難。造成該問題的原因，一個是許多用戶計(jì)算機(jī)依然運(yùn)行著老版本的Windows系統(tǒng)，這些系統(tǒng)感染了惡意軟件，只要打開計(jì)算機(jī)，機(jī)器人就會在后臺運(yùn)行；另一個是Android手機(jī)，在用戶毫不知情的情況下，預(yù)裝或者安裝了各種各樣應(yīng)用的情況比比皆是，被各種流氓軟件留些后門已是常態(tài)，順理成章地為黑色產(chǎn)業(yè)鏈做貢獻(xiàn)。

   云聯(lián)傳媒采用以下技術(shù)手段對作弊進(jìn)行甄別。

   1、通過云聯(lián)自有IP庫以及第三方合作對來路進(jìn)行區(qū)分，目前可以識別以下五種數(shù)據(jù)來源：1）數(shù)據(jù)中心（即IP地址屬于互聯(lián)網(wǎng)數(shù)據(jù)中心機(jī)房）。2）專用出口（即IP地址是中大型機(jī)構(gòu)使用的固定IP互聯(lián)網(wǎng)接入專線）。3）骨干節(jié)點(diǎn)（即IP地址屬于運(yùn)營商路由器節(jié)點(diǎn)IP）。4）普通寬帶（即IP地址是普通家庭或中小型機(jī)構(gòu)、企業(yè)寬帶等情況）。5）移動寬帶（即IP地址是移動2G/3G/4G等情況）。前三種節(jié)點(diǎn)絕大部分都是不真實(shí)的流量，RTB參與競價(jià)時(shí)會過濾掉。

   2、運(yùn)用機(jī)器學(xué)習(xí)算法和數(shù)據(jù)挖掘技術(shù)產(chǎn)生的IP真實(shí)度評分系統(tǒng)，能夠識別出人類正常形態(tài)的數(shù)據(jù)。評分體系如下：0~49分：此區(qū)段的IP，與人類正常形態(tài)差異較大，RTB競價(jià)時(shí)會下調(diào)或放棄出價(jià)；50~99分：此區(qū)段的IP，基本符合人類正常訪問形態(tài)，可視為正常訪問來源。

   3、對廣告投放按唯一用戶設(shè)置頻次控制，降低模擬器或程序自動刷流量的風(fēng)險(xiǎn)。

   4、運(yùn)用數(shù)據(jù)挖掘技術(shù)建立云聯(lián)自己的反作弊庫，從海量日志識別具有欺詐行為的APP、IP，在競價(jià)時(shí)做過濾。主要從以下幾方面認(rèn)定：

    1）廣告點(diǎn)擊率異常：指的是虛擬或惡意點(diǎn)擊，即Click/PV過高比例，或者起伏很大。

    2）訪問者指紋信息(瀏覽器，操作系統(tǒng)等)異常：例如同等條件下占較大比例的訪問都來自于同一版本的操作系統(tǒng)或?yàn)g覽器；或者信息中帶有Robot/Spider等標(biāo)識信息。

    3）IP分布異常：通過日志挖掘出某幾個IP產(chǎn)生大量的點(diǎn)擊或者曝光。

    4）廣告點(diǎn)擊沒有對應(yīng)的曝光請求異常：如果廣告同時(shí)監(jiān)測了曝光和點(diǎn)擊，廣告的點(diǎn)擊前都應(yīng)該出現(xiàn)對應(yīng)廣告的曝光，且絕大多數(shù)都應(yīng)該出現(xiàn)在同時(shí)段的曝光日志中。

    5）廣告訪問時(shí)間分布異常/規(guī)律：某些IP/MZID每分鐘定時(shí)出現(xiàn)在點(diǎn)擊/曝光日志中，或者連續(xù)點(diǎn)擊/曝光的發(fā)生時(shí)間的間隔過于規(guī)律。

    6）廣告來源異常：點(diǎn)擊或者曝光的Referer可以標(biāo)記點(diǎn)擊或曝光的來源頁面，如果大量來源集中在某一頁面，且不是廣告所在的Web頁面，可能存在媒體在其他流量大的地方(如BBS)設(shè)置隱藏頁面來充當(dāng)曝光和點(diǎn)擊。