構(gòu)建基于LBS的大數(shù)據(jù)應(yīng)用

移動互聯(lián)網(wǎng)時代，“大數(shù)據(jù)”是關(guān)鍵詞之一。作為推送技術(shù)服務(wù)行業(yè)的先行者，個推不斷進行技術(shù)革新引領(lǐng)推送革命。通過挖掘用戶使用場景，結(jié)合地理位置信息精確命中不同用戶的各類需求。在服務(wù)大客戶的過程中通過自身平臺積累的海量數(shù)據(jù)發(fā)展了大數(shù)據(jù)。

目前，3.0產(chǎn)品最重要的技術(shù)——電子圍欄技術(shù)：電子圍欄是精確捕捉用戶場景，實時給用戶推送有價值消息的手機推送解決方案?？蛻舾鶕?jù)業(yè)務(wù)需求，在地圖上設(shè)置電子圍欄區(qū)域和目標用戶屬性，通過冷數(shù)據(jù)畫像（結(jié)合大數(shù)據(jù)分析，篩選目標用戶）以及熱數(shù)據(jù)投放（當目標用戶進入電子圍欄實時觸發(fā)），做到在合適的時間、合適的地點、合適的場景、把合適的內(nèi)容、推送給合適的人。

構(gòu)建基于LBS的大數(shù)據(jù)應(yīng)用，一般的實現(xiàn)流程為：通過信息收集后進行基礎(chǔ)數(shù)據(jù)的整理，數(shù)據(jù)挖掘/機器學(xué)習(xí)，服務(wù)搭建以及數(shù)據(jù)可視化等。

數(shù)據(jù)挖掘的基本流程
基礎(chǔ)數(shù)據(jù)的處理主要包括：數(shù)據(jù)集成和一些部分數(shù)據(jù)處理。

數(shù)據(jù)集成，數(shù)據(jù)挖掘或統(tǒng)計分析可能用到來自不同數(shù)據(jù)源的數(shù)據(jù)，我們需要將這些數(shù)據(jù)集成在一起。但如果只有一個數(shù)據(jù)源，這一步可以省略。

基礎(chǔ)數(shù)據(jù)處理，有些數(shù)據(jù)是缺失的（數(shù)據(jù)屬性的值是空值），有些數(shù)據(jù)是含噪聲的（屬性的值是錯誤的，或有孤立點數(shù)據(jù)），有時同樣的信息采用了多種不同的表示方式（在編碼或命名上存在不一致），基于種種問題要對數(shù)據(jù)進行基礎(chǔ)的處理。通過基礎(chǔ)數(shù)據(jù)處理，可以確保村人數(shù)據(jù)倉庫中的信息是完整、正確和格式一致的。

數(shù)據(jù)轉(zhuǎn)換主要是利用現(xiàn)有的字段進行運算來得到新的字段，通常說到數(shù)據(jù)變換主要包括四種：數(shù)據(jù)離散化（采用分箱等方式）、產(chǎn)生衍生變量、使變量分布更接近正態(tài)分布、數(shù)據(jù)標準化。如果對連續(xù)變量進行離散化，可以避免引入任何分布假設(shè)。這樣就不需要符合正態(tài)分布了。
數(shù)據(jù)挖掘時只根據(jù)數(shù)據(jù)庫中的數(shù)據(jù)，用合適的數(shù)據(jù)挖掘算法進行分析，得出有用的信息。其中，模型算法質(zhì)量的評價是很重要的一步。且數(shù)據(jù)挖掘是一個循環(huán)往復(fù)的過程。

基于LBS的大數(shù)據(jù)應(yīng)用需要解決很多問題：基礎(chǔ)數(shù)據(jù)問題比如海量數(shù)據(jù)流（>20W 條/s）、數(shù)據(jù)處理性能復(fù)雜計算（定位和統(tǒng)計）、準確率、秒級實時性要求、以及數(shù)據(jù)的實時性等。對此，個推的解決方案是：分布式流式計算框架、Spark Streaming、發(fā)布/訂閱模型、Apache Kafka、Events等。

最后，基于大數(shù)據(jù)的LBS應(yīng)用，可以使用分布式流式計算框架，構(gòu)建數(shù)據(jù)閉環(huán)，從而實現(xiàn)持續(xù)優(yōu)化基礎(chǔ)數(shù)據(jù)。

目前的成功案例有：
1.杭州白馬湖動漫節(jié)的安全保障。本通過海量的樣本數(shù)據(jù)采集和分析，以實時人流熱力分析圖為主要服務(wù)接口，監(jiān)控動漫節(jié)期間杭州濱江區(qū)白馬湖動漫廣場附近的人流去向和擁擠程度。這一項部署建立了白馬湖區(qū)塊的實時監(jiān)控和人流預(yù)警系統(tǒng)，在人流量超過一定數(shù)量的時候?qū)崟r發(fā)布預(yù)警，從而及時提醒相關(guān)人員注意對應(yīng)區(qū)域的高峰人流量疏散和引導(dǎo)，從源頭上防范踩踏事件及避免安全隱患的發(fā)生。
2.發(fā)生地震時實時警報，并通過大數(shù)據(jù)對人群熱力圖的分析，為震后救援工作定制合理方案及提供有效幫助。
3.與旅游局合作，將旅游分析熱點圖與實時推送相結(jié)合，用于疏散和引導(dǎo)景區(qū)高峰人流量，避免危險事件發(fā)生。