大數(shù)據(jù)DMP畫像系統(tǒng)

內(nèi)容介紹

一、目標(biāo)

1、掌握畫像標(biāo)簽開發(fā)技巧

2、掌握數(shù)據(jù)挖掘技巧

3、了解業(yè)內(nèi)畫像和DMP系統(tǒng)的架構(gòu)和開發(fā)

4、大數(shù)據(jù)結(jié)合業(yè)務(wù)場(chǎng)景落地

系統(tǒng)開發(fā)要求

涉及的技術(shù)要點(diǎn)：spark 、elasticsearch、hadoop 、hive 、LR GBDT等機(jī)器學(xué)習(xí)算法 開發(fā)工具：idea、eclipse 開發(fā)環(huán)境：spark2.2、hadoop2.7、hive1.2、hbase、redis 開發(fā)語(yǔ)言：scala、java、python、shell、sql

三、課程目錄

課程一覽

1、用戶畫像概述

什么是用戶畫像，為什么要用戶畫像，畫像的場(chǎng)景應(yīng)用 業(yè)內(nèi)，facebook,阿里巴巴（達(dá)摩盤），騰訊（廣點(diǎn)通）分析 打造自己的內(nèi)部達(dá)摩盤，基本功能跟達(dá)摩盤一致

2、畫像指標(biāo)整理

2-1.基礎(chǔ)屬性。人的基礎(chǔ)屬性標(biāo)簽，包括地域、年齡、性別等。

2-2.興趣偏好。這部分是投放端已有的定向能力，后期可規(guī)劃更細(xì)的基于寶貝、店鋪或行業(yè)的搜索選擇，特定興趣的定向功 能。

2-3.行為軌跡?；谂d趣偏好更細(xì)的行為（包括瀏覽、點(diǎn)擊、成交、收藏、復(fù)購(gòu)等），及不同時(shí)間段的行為交叉（包括1天、7天、30天的行為）。

2-4.消費(fèi)能力?；谄脚_(tái)的支付交易，購(gòu)物行為、交易額計(jì)算高中低，及類目上的高消費(fèi)偏好。

2-5.好友關(guān)系。基于平臺(tái)的關(guān)系鏈數(shù)據(jù)，推薦偏好該寶貝、店鋪、行業(yè)的好友用戶。

2-6.自定義人群。支持上傳自定義人群包，lookalike擴(kuò)展包的大小。

3、 畫像標(biāo)簽體系建設(shè)和開發(fā)

3-1）基本屬性 地域、年齡、性別、學(xué)歷、職業(yè)

3- 2）興趣偏好 品牌、 店鋪、一級(jí)類目、場(chǎng)景、行業(yè)

3-3）消費(fèi)能力 能力等級(jí)開發(fā)

3-4）特征人群 劃分一些特定的人群，高活躍，低活躍，有車一族，奶爸一家

3-5）LBS屬性 長(zhǎng)居住地

3-6）用戶軌跡 交易、瀏覽，收藏等

四、畫像系統(tǒng)架構(gòu)

功能：畫像多維度分析、畫像指標(biāo)下鉆分析、投放效果追蹤分析 技術(shù)：基于es 、spark、hadoop 建設(shè)畫像計(jì)算，以及數(shù)據(jù)存儲(chǔ)和計(jì)算 模塊：用戶人群包（交集并集）、追蹤分析、人群畫像、人群對(duì)比模塊開發(fā)

五、畫像系統(tǒng)應(yīng)用案例

用戶精準(zhǔn)營(yíng)銷

用戶商品推薦

六、大數(shù)據(jù)面試技巧

hadoop、hive、spark常見面試問題以及解答