挨踢部落坐診第五期:數(shù)據(jù)采集與前端運(yùn)用

活動(dòng)說(shuō)明：挨踢部落是為核心開發(fā)者提供深度技術(shù)交流，解決開發(fā)需求，資源共享的服務(wù)社群?；诖松缛?，我們邀請(qǐng)了業(yè)界技術(shù)大咖對(duì)開發(fā)需求進(jìn)行一對(duì)一突破，解除開發(fā)過(guò)程中的絆腳石。以最專業(yè)、最高效的答復(fù)為開發(fā)者解決開發(fā)難題。

話題關(guān)鍵詞：大數(shù)據(jù)來(lái)源/數(shù)據(jù)安全/云計(jì)算/Linux

部落陣容：51CTO社群智囊團(tuán)

面向?qū)ο?/strong>：Java工程師、大數(shù)據(jù)開發(fā)工程師、IT運(yùn)維、數(shù)據(jù)分析師

參與方式：加入51CTO開發(fā)者QQ交流群（群號(hào)370892523（已滿）、請(qǐng)加312724475），有任何技術(shù)問(wèn)題，在群里提問(wèn)，或發(fā)給群主小官。

活動(dòng)詳情：

 Android-小包-重慶：我有個(gè)疑問(wèn)，大多盈利性質(zhì)的商業(yè)公司和企業(yè)都不會(huì)輕易泄露自己的數(shù)據(jù)、建模方法和分析過(guò)程，那么大數(shù)據(jù)的來(lái)源是什么？

云計(jì)算-恩威-成都：數(shù)據(jù)的來(lái)源：1、自有用戶的數(shù)據(jù)庫(kù)；2、采集網(wǎng)絡(luò)（爬蟲）；3、買數(shù)據(jù)接口或者購(gòu)買數(shù)據(jù)；4、聚合數(shù)據(jù)API市場(chǎng)。四種常見的大數(shù)據(jù)的數(shù)據(jù)來(lái)源。

Android-小包-重慶：買數(shù)據(jù)接口或者購(gòu)買數(shù)據(jù)，這個(gè)可能又要涉及到另一個(gè)問(wèn)題，數(shù)據(jù)安全性。好像存在一個(gè)因果關(guān)系：要實(shí)現(xiàn)大數(shù)據(jù)的核心價(jià)值，第一步是通過(guò)“眾包”的形式收集海量數(shù)據(jù)，第二步是通過(guò)大數(shù)據(jù)的技術(shù)途徑進(jìn)行“全量數(shù)據(jù)挖掘”，最后利用分析結(jié)果進(jìn)行“資源優(yōu)化配置”；但收集海量數(shù)據(jù)就得先解決數(shù)據(jù)安全性問(wèn)題，才能進(jìn)行“全量數(shù)據(jù)挖掘”，才有后續(xù)的發(fā)展。不知道理解得對(duì)不對(duì)？

云計(jì)算-恩威-成都：講的好，每一步的語(yǔ)言都是精煉，提到點(diǎn)上。目前大數(shù)據(jù)還處于開始階段，很多問(wèn)題都還沒(méi)有解決，安全性是任何行業(yè)的通病。

Java+李賽+鄭州：輸入法的數(shù)據(jù)收集么？像輸入法，很多人的打字?jǐn)?shù)據(jù)能不能算上大數(shù)據(jù)？

云計(jì)算-恩威-成都：大數(shù)據(jù)要經(jīng)過(guò)處理分析才算的上是大數(shù)據(jù)，否則僅僅是大容量的二進(jìn)制數(shù)據(jù)。例如這個(gè)，都是在輸入基礎(chǔ)之上經(jīng)過(guò)提煉分析的結(jié)果。

輸入法

Java+李賽+鄭州：大數(shù)據(jù)是Java的進(jìn)階么？

1>App-zee-重慶：算是Java一個(gè)方向吧。

2>云計(jì)算-恩威-成都：如果采用的是 Hadoop平臺(tái)，那邊無(wú)疑是Java語(yǔ)言又一場(chǎng)景的使用。

Java+李賽+鄭州：在做大數(shù)據(jù)么？云計(jì)算是做哪些？有什么關(guān)系？

1>云計(jì)算-恩威-成都：云計(jì)算和大數(shù)據(jù)，應(yīng)該是不分家的，因?yàn)榇髷?shù)據(jù)的分析離不開云計(jì)算的基礎(chǔ)平臺(tái)。

2>后端接口開發(fā)-劉聲杰-成都：云計(jì)算和大數(shù)據(jù)是分不開，沒(méi)有云計(jì)算，大數(shù)據(jù)永遠(yuǎn)只是數(shù)據(jù)，對(duì)我們沒(méi)有任何價(jià)值。

Java-太陽(yáng)-深圳:話說(shuō)有人知道單元測(cè)試怎么寫么？這樣是不是證明裝好了？

Java-笨鳥先飛-北京：參考這里>>

網(wǎng)絡(luò)編程-付振華-武漢：請(qǐng)教下各位，我現(xiàn)在有個(gè)需求，在一個(gè)電腦上對(duì)上百個(gè)網(wǎng)站首頁(yè)進(jìn)行輪詢打開，如果打不開就彈出提示，或者發(fā)郵件。有現(xiàn)成的軟件實(shí)現(xiàn)這個(gè)功能么？

云計(jì)算-恩威-成都：URL的監(jiān)控HTTP狀態(tài)檢測(cè)（200 ok）。

Java網(wǎng)編－海本無(wú)因－長(zhǎng)沙：我是問(wèn)HTML5在大數(shù)據(jù)里不是代替了Java？

1>PHP-Coeus-安徽：這兩個(gè)在大數(shù)據(jù)上扯不上。H5是負(fù)責(zé)展示、動(dòng)效，數(shù)據(jù)方面的處理還是看后臺(tái)的。數(shù)據(jù)是五花肉，處理語(yǔ)言是材料，HTML5就是紅燒肉出鍋時(shí)候的蔥花吧。HTML5和瀏覽器就像Java和JVM，分工不同罷了。隨著HTML5的規(guī)范完善，本地存儲(chǔ)、WebSocket、內(nèi)存管理都已經(jīng)做的很不錯(cuò)了。

2>架構(gòu)師-崔一凡-北京：HTML5可以做報(bào)表，有用的，各種數(shù)據(jù)展示、報(bào)表，處理前，處理中，處理后。

3>網(wǎng)絡(luò)編程-付振華-武漢：HTML不就是個(gè)表示語(yǔ)言嗎，用來(lái)編網(wǎng)頁(yè)游戲的也挺厲害的。但沒(méi)有瀏覽器時(shí)它無(wú)法交互吧，基于瀏覽器就各種調(diào)試。Java程序只要有對(duì)應(yīng)操作系統(tǒng)的JVM就能干活，內(nèi)存回收機(jī)制也完善些吧。

App-zee-重慶：有用過(guò)Vue那個(gè)Mint UI的嗎？mt-loadmore的加載更多嵌入到iframe在蘋果的瀏覽器上面上拉有問(wèn)題，有遇見過(guò)的沒(méi)？

半吊子全棧工匠-曹洪偉-北京：很多IM 的提供商都提供了客服方案的，可以集成到自己的系統(tǒng)中來(lái)。

新人-菜鳥-蘇州：?jiǎn)栆幌麓罄?，我如果要研究Linux，想通過(guò)烏班圖入手，我是要看linux的書還是Ubuntu的書？半路出家搞IT要從哪里入手呢？linux和Unix不一樣吧？

1>學(xué)習(xí)-JSON-重慶：看這個(gè)《UNIX環(huán)境高級(jí)編程》。

2>運(yùn)維-華子-武漢：差不多，Linux門檻低，適合PC機(jī)折騰。

Java-氣-北京：有沒(méi)有人對(duì)Spring Data JPA有熟悉的嗎？是一個(gè)趨勢(shì)，最近在做。復(fù)雜查詢還行，updata碰到坎上了，感覺(jué)SpringBoot慢慢要趕超SpringMvc。而SpringDataJpa技術(shù)是標(biāo)配之一。希望大家可以看看，有問(wèn)題一起交流。

Java-哈韓浪子-成都：SpringData做持久層的，個(gè)人感覺(jué)不好用啊，沒(méi)有Hibernate好用。因?yàn)橛昧撕芫玫腍ibernate，所以不習(xí)慣其他的了。

Java-Derrick-北京：有誰(shuí)在用Linux系統(tǒng)？個(gè)人用了一個(gè)Ubuntu17.0，主要是算法和設(shè)計(jì)模式 。

1>鏟屎官-項(xiàng)目經(jīng)理-北京：個(gè)人用，烏班圖不錯(cuò)，企業(yè)級(jí)，紅帽，等都挺好。

2>Java-氣-北京：公司用centos比較好，和紅帽一樣。

您對(duì)這些解答方案是否仍有疑問(wèn)？歡迎加51CTO開發(fā)者QQ交流群 312724475 討論。

下期活動(dòng)預(yù)告：6月8日

關(guān)鍵詞：智能客服、Android權(quán)限、Java方法、App

活動(dòng)回顧：挨踢部落第一期:Spark離線分析維度

挨踢部落第二期:大數(shù)據(jù)在醫(yī)療領(lǐng)域的應(yīng)用和實(shí)踐

挨踢部落坐診第三期:Python在大數(shù)據(jù)處理上的優(yōu)勢(shì)分析

挨踢部落故事匯第四期:Java消息隊(duì)列的應(yīng)用場(chǎng)景和作用