如何分析大數(shù)據(jù)中的dmp用戶畫像項(xiàng)目

這篇文章主要為大家分析了如何分析大數(shù)據(jù)中的dmp用戶畫像項(xiàng)目的相關(guān)知識(shí)點(diǎn)，內(nèi)容詳細(xì)易懂，操作細(xì)節(jié)合理，具有一定參考價(jià)值。如果感興趣的話，不妨跟著跟隨小編一起來看看，下面跟著小編一起深入學(xué)習(xí)“如何分析大數(shù)據(jù)中的dmp用戶畫像項(xiàng)目”的知識(shí)吧。

一、互聯(lián)網(wǎng)廣告精準(zhǔn)投放介紹

（1）dsp的展示原理：

①　用戶瀏覽媒體網(wǎng)站，媒體網(wǎng)站通過添加的 SSP 代碼向 AdExchange 發(fā)起廣告請(qǐng)求。
②　AdExchange 將這次請(qǐng)求的關(guān)鍵信息（如域名 URL、IP、Cookie 等）同時(shí)發(fā)送給多家 DSP，我們把這個(gè)請(qǐng)求稱為 Bid Request。
③　DSP 收到請(qǐng)求后通過 Cookie、IP、URL 等信息決策是否參與競(jìng)價(jià)，DSP 可以通過 Cookie 來查詢此用戶在自己系統(tǒng)中的歷史行為來推算人口屬性和興趣愛好，如果DSP沒有這個(gè)能力，則可以通過第三方DMP的協(xié)助來判斷用戶特征，以便更合理地出價(jià)，如若出價(jià)，則向 AdExchange 返回價(jià)格、要展示的廣告、跳轉(zhuǎn)鏈接等信息，我們把這次信息返回稱為 Bid Response。
④　AdExchange 選出出價(jià)最高的 DSP，通知這個(gè) DSP 贏得了競(jìng)價(jià)，并告訴它此次展示的費(fèi)用（由于在RTB中是采用二階定價(jià)，即第二高出價(jià)，所以DSP并不知道實(shí)際的費(fèi)用，需要AdExchang 再通知一次），于此同時(shí)，AdExchange返回給媒體要展示廣告的html內(nèi)容。
⑤　廣告的靜態(tài)資源（圖片、Flash 等文件）一般是存儲(chǔ)在 DSP 的服務(wù)器，所以在加載廣告代碼的時(shí)候需要去 DSP 請(qǐng)求靜態(tài)資源
⑥　DSP 返回靜態(tài)資源，完成廣告的渲染和展示。

（2）相關(guān)名詞解釋：

??DSP：DSP是一個(gè)系統(tǒng)，也是一種在線廣告平臺(tái)。它服務(wù)于廣告主，幫助廣告主在互聯(lián)網(wǎng)或者移動(dòng)互聯(lián)網(wǎng)上進(jìn)行廣告投放，DSP可以使廣告主更簡(jiǎn)單便捷地遵循統(tǒng)一的競(jìng)價(jià)和反饋方式，對(duì)位于多家廣告交易平臺(tái)的在線廣告,以合理的價(jià)格實(shí)時(shí)購(gòu)買高質(zhì)量的廣告庫(kù)存。
??Ad Exchange：Ad Exchange即互聯(lián)網(wǎng)廣告交易平臺(tái)，它聯(lián)系著DSP（買方平臺(tái)）和SSP（賣方平臺(tái)），通過接入SSP匯集大量媒體流量，從而收集處理屬于廣告目標(biāo)客戶的數(shù)據(jù)，Ad Exchange是實(shí)現(xiàn)精準(zhǔn)營(yíng)銷的交易場(chǎng)所。
??SSP：SSP（Suply Side Platform），供應(yīng)方平臺(tái)，即媒體方平臺(tái)，也就是消費(fèi)者看到廣告的媒介。
??DMP：數(shù)據(jù)管理平臺(tái)能夠幫助所有涉及廣告庫(kù)存購(gòu)買和出售的各方管理其數(shù)據(jù)、更方便地使用第三方數(shù)據(jù)、增強(qiáng)他們對(duì)所有這些數(shù)據(jù)的理解、傳回?cái)?shù)據(jù)或?qū)⒍ㄖ茢?shù)據(jù)傳入某一平臺(tái)，以進(jìn)行更好地定位。

（3）DMP詳細(xì)介紹：

?1）用戶數(shù)據(jù)分類：

???- 第一方數(shù)據(jù)：需求方即廣告主自有用戶數(shù)據(jù)，包括網(wǎng)站/APP監(jiān)測(cè)數(shù)據(jù)、 CRM(Custom Relation Management)數(shù)據(jù)、電商交易數(shù)據(jù)等。
???- 第二方數(shù)據(jù)：需求方服務(wù)提供者在廣告投放過程中積累的業(yè)務(wù)數(shù)據(jù)，如DSP平臺(tái)業(yè)務(wù)中積累的受眾瀏覽廣告、點(diǎn)擊廣告等相關(guān)數(shù)據(jù)。
???- 第三方數(shù)據(jù)：非直接合作方擁有的數(shù)據(jù)，如運(yùn)營(yíng)商數(shù)據(jù)等

?2）數(shù)據(jù)分析能力：

??其中用戶畫像是基礎(chǔ)，即通過對(duì)用戶信息的標(biāo)簽化，完美的抽象出一個(gè)用戶的信息全貌，并為進(jìn)一步精準(zhǔn)、快速地分析用戶行為習(xí)慣、消費(fèi)習(xí)慣等重要信息提供足夠的數(shù)據(jù)基礎(chǔ)。顧名思義，用戶畫像的焦點(diǎn)工作就是為用戶打標(biāo)簽，而一個(gè)標(biāo)簽通常是認(rèn)為規(guī)定的高度提煉的特征標(biāo)識(shí)，例如年齡、性別、地域、用戶偏好等，最后將用戶的所有標(biāo)簽綜合來看，就可以勾勒出該用戶的立體畫像了。

?3）DMP的作用：

??- 能快速查詢、反饋和快速呈現(xiàn)結(jié)果
??- 能幫助客戶更快進(jìn)入到市場(chǎng)周期中
??- 能促成企業(yè)用戶和合作伙伴之間的合作
??- 能深入的預(yù)測(cè)分析并作出反應(yīng)
??- 能帶來各方面的競(jìng)爭(zhēng)優(yōu)勢(shì)
??- 能降低信息獲取及人力成本

二、項(xiàng)目需求

(1)實(shí)現(xiàn)的需求：

? - 模擬從文件中讀取數(shù)據(jù)，使用spark將數(shù)據(jù)清洗之后分裝到dataframe，并且壓縮之后，輸出成parquet形式的文件。
? - 讀取parquet文件，使用sparksql將其根據(jù)需求進(jìn)行etl，并且輸出到MySQL中（報(bào)表）
? - 讀取parquet文件，通過userid，根據(jù)每一個(gè)用戶，打相應(yīng)的標(biāo)簽，最終放入hbase

(2)原始文件的字段介紹：

序號(hào)    屬性名稱  描述
1   Sessionid:String    會(huì)話標(biāo)識(shí)
2   Advertisers:Int 廣告主id
3   Adorderid:Int   廣告id
4   Adcreativeid:Int    廣告創(chuàng)意id（>=200000:dsp）
5   Adplatformproviderid:Int    廣告平臺(tái)商id（>=100000:rtb）
6   Sdkversion:String   Sdk版本
7   Adplatformkey:String    平臺(tái)商key
8   Putinmodeltype:Int  根據(jù)廣告主的投放模式，1：顯示量投放，2：點(diǎn)擊量投放
9   Requesmode:Int  數(shù)據(jù)請(qǐng)求方式（1：請(qǐng)求，2：展示，3：點(diǎn)擊）
10  Adprice:Double  廣告價(jià)格
11  Adpprice:Double 平臺(tái)商價(jià)格
12  Requestdate:String  請(qǐng)求時(shí)間格式為：yyyy-m-dd hh:mm:ss
13  Ip:String   設(shè)備用戶的真實(shí)ip地址
14  Appid:String    應(yīng)用IP
15  Appname:String  應(yīng)用名稱
16  Uuid:String 設(shè)備唯一標(biāo)識(shí)
17  Device:String   設(shè)備型號(hào)，如：htc,iphone
18  Client:Int  設(shè)備類型（如：1：Android,2：IOS，3：wp）
19  Osversion:String    設(shè)備操作系統(tǒng)版本
20  Density:String  設(shè)備屏幕密度
21  Pw:Int  設(shè)備屏幕寬度
22  Ph:Int  設(shè)備屏幕高度
23  Long:string 設(shè)備所在經(jīng)度
24  Lat:String  設(shè)備所在維度
25  Provincename:String 設(shè)備所在省份名稱
26  Cityname:String 設(shè)備所在城市名稱
27  Ispid:Int   運(yùn)營(yíng)商id
28  Ispname:String  運(yùn)營(yíng)商名稱
29  Networkmannerid:Int 聯(lián)網(wǎng)方式id
30  Networkmannername:String    聯(lián)網(wǎng)方式名稱
31  Iseffective:Int 有效標(biāo)識(shí)（有效指可以正常計(jì)費(fèi)的）（0：無效，1：有效）
32  Isbilling:Int   是否收費(fèi)（0：未收費(fèi)，1：收費(fèi)）
33  Adspacestype:Int    廣告位類型（1：banner2：插屏3：全屏）
34  Adspacetypename:String  廣告位類型名稱（banner橫幅，插屏，全屏）
35  Devicetype:Int  設(shè)備類型（1：手機(jī):2：平板）
36  Processnode:Int 流程節(jié)點(diǎn)（1：請(qǐng)求量ktp2:有效請(qǐng)求3：廣告請(qǐng)求）
37  Apptype:Int 應(yīng)用類型id
38  District:String 設(shè)備所在縣的名稱
39  Paymode:Int 針對(duì)平臺(tái)商的支付模式1：展示量投放（CPM）2：點(diǎn)擊(cpc)
40  Isbid:Int   是否rtp(1參與競(jìng)價(jià) 0不參與競(jìng)價(jià))
41  Bidprice:Double Rtp競(jìng)價(jià)價(jià)格
42  Winprice:Double Rtp競(jìng)價(jià)成功價(jià)格
43  Iswin:Int   是否競(jìng)價(jià)成功
44  Cur:String  Values:umd|rmb等
45  Rate:Double 匯率
46  Cnywinprice:Double  Rtp競(jìng)價(jià)成功轉(zhuǎn)換成人民幣的價(jià)格
47  Imei:String Imei
48  Imac:string Mac
49  Idfa:String Idfa
50  Openudid:String Openudid
51  Androidid:String    Androidid
52  Rtbprovice:String   Rtb省
53  Rtbcity:String  Rtb市
54  Rtbdistrict:String  Rtb區(qū)
55  Rtbstreet:String    Rtb街道
56  Storeurl:String App的市場(chǎng)下載地址
57  Realip:String   真實(shí)ip
58  Isqualityapp:Int    優(yōu)選標(biāo)識(shí)
59  Bidfloor:Double 低價(jià)
60  Aw:Int  廣告位的寬
61  Ah:Int  廣告位的高
62  Imeimd5:String  Imei_md5
63  Macmd5:String   Mac_md5
64  Idfamd5:String  Idfa_md5
65  Openudidmd5:String  Openudid_md5
66  Androididmd5:String Androidid_md5
67  Imeisha1:String Imei_sha1
68  Macsha1:String  Mac_sha1
69  Idfasha1:String Idfa_sha1
70  Openudidsha1:String Openudid_sha1
71  Androididsha1:String    Androidid_sha1
72  Uuidunknow:String   Uuid_unknow tanx密文
73  Decuuidunknow:String    解密的tanx明文
74  Userid:String   平臺(tái)用戶id
75  Reqdate:String  日期
76  Reqhour:String  小時(shí)
77  Iptype:Int  表示ip類型
78  Initbidprice:Double 初始出價(jià)
79  Adpayment:Double    轉(zhuǎn)換后的廣告消費(fèi)
80  Agentrate:Double    代理商利潤(rùn)率
81  Lomarkrate:Double   代理利潤(rùn)率
82  Adxrate:Double  媒介利潤(rùn)率
83  Title:String    標(biāo)題
84  Keywords:String 關(guān)鍵字
85  Tagid:String    廣告位標(biāo)識(shí)（當(dāng)視頻流量時(shí)值為視頻得ID號(hào)）
86  Callbackdate:String 回調(diào)時(shí)間，格式為YYYY/mm/dd hh:mm:ss
87  Channeid:String 頻道ID
88  Megratype:Int   媒體類型1：長(zhǎng)尾媒體2：視頻媒體3：獨(dú)立媒體，默認(rèn)：1

(3)報(bào)表：

地域分布：

終端設(shè)備：



操作系統(tǒng)

媒體分析：

渠道報(bào)表：

(4)用戶畫像：

標(biāo)簽一：廣告位類型（標(biāo)簽格式：LC03->1或者LC16->1）xx為數(shù)字，小于10 補(bǔ)0
標(biāo)簽二：APP名稱（標(biāo)簽格式：APPxxxx->1）xxxx為APP的名稱，使用緩存文件appname_dict進(jìn)行名稱轉(zhuǎn)換
標(biāo)簽三：渠道（標(biāo)簽格式：CNxxxx->1）xxxx為渠道ID
標(biāo)簽四：設(shè)備：操作系統(tǒng)|聯(lián)網(wǎng)方式|運(yùn)營(yíng)商
設(shè)備操作系統(tǒng)
1   Android D0001001
2   IOS D0001002
3   Winphone    D0001003
4   其他  D0001004
設(shè)備聯(lián)網(wǎng)方式
WIFI    D0002001
4G  D0002002
3G  D0002003
2G  D0002004
設(shè)備運(yùn)營(yíng)商方案
移動(dòng)  D0003001
聯(lián)通  D0003002
電信  D0003003
OPERATOROTHER   D0003004

標(biāo)簽五：關(guān)鍵詞（標(biāo)簽格式：Kxxx->1）xxx為關(guān)鍵字。關(guān)鍵詞個(gè)數(shù)不能少于3個(gè)字符，且不能超過8個(gè)字符；關(guān)鍵字中如包含”|”,則分割成數(shù)組，轉(zhuǎn)化成多個(gè)關(guān)鍵字標(biāo)簽
標(biāo)簽六：地域標(biāo)簽（省標(biāo)簽格式：ZPxxx->1，地市標(biāo)簽格式：ZCxxx->1）xxx為省或市名稱
標(biāo)簽七：6）上下文標(biāo)簽：將數(shù)據(jù)打上上述6類標(biāo)簽，并根據(jù)【用戶ID】進(jìn)行當(dāng)前文件的合并，數(shù)據(jù)保存格式為：userid   K×××志:3 D00030002:1........

這篇文章主要為大家分析了如何分析大數(shù)據(jù)中的dmp用戶畫像項(xiàng)目的相關(guān)知識(shí)點(diǎn)，內(nèi)容詳細(xì)易懂，操作細(xì)節(jié)合理，具有一定參考價(jià)值。如果感興趣的話，不妨跟著跟隨小編一起來看看，下面跟著小編一起深入學(xué)習(xí)“如何分析大數(shù)據(jù)中的dmp用戶畫像項(xiàng)目”的知識(shí)吧。