#

大數(shù)據(jù)

  • 大話架構師之 大數(shù)據(jù)框架簡述

    大數(shù)據(jù)框架 hadoop/spark/hbase/storm/hive 等最近會抽時間開寫這篇博客

    作者:LANTIANFEIYING
    2020-07-21 00:43:13
  • ELK 實驗(四)安裝logstash

    logstash可以理解為log的采集傳輸組件老樣子第一步下載sudo wget https://artifacts.elastic.co/downloads/logstash/logstash-6.

    作者:pcdog
    2020-07-21 00:35:55
  • 大數(shù)據(jù)服務運營之數(shù)據(jù)采集

    數(shù)據(jù)采集過程包括集成、導入、格式化。 數(shù)據(jù)采集過程中首先集成來自不同來源的數(shù)據(jù)。數(shù)據(jù)集成要考慮存儲架構、采集方式、接口方式、采集周期等。 在存儲架構方面,可以考慮在數(shù)據(jù)源側設置數(shù)據(jù)暫存區(qū)(Stagin

    作者:易仔阿克
    2020-07-20 19:15:00
  • 學習大數(shù)據(jù)必須了解的大數(shù)據(jù)開發(fā)課程大綱

    大數(shù)據(jù)開發(fā)最核心的課程就是Hadoop框架,幾乎可以說Hadoop就是大數(shù)據(jù)開發(fā)。這個框架就類似于Java應用開發(fā)的SSH/SSM框架,都是Apache基金會或者其他Java開源社區(qū)團體的能人牛人開發(fā)

    作者:a大數(shù)據(jù)
    2020-07-20 18:13:17
  • ELK大數(shù)據(jù)分析課程

    ELK大數(shù)據(jù)分析課程文檔出自:廣通學院    版本:1.0  QQ:430696786   微信號:winlone 官方資料:be

    作者:廣通學院
    2020-07-20 15:27:23
  • Flume自定義Source

    模擬編寫了一個Flume 1.7中TAILDIR的功能實現(xiàn),通過手動控制文件的讀取位置來達到對文件的讀寫,防止flume掛了之后重復消費的情況。以下是代碼實現(xiàn),僅做參考,生產(chǎn)上直接用TAILDIR讀取

    作者:興趣e族
    2020-07-20 15:01:34
  • Giraph源碼分析(六)——Edge 分析

    1.在Vertex類中,頂點的存儲方式采用鄰接表形式。每個頂點有 VertexId、VertexValue、OutgoingEdges和Halt,boolean型的halt變量用于記錄頂點的狀態(tài),fa

    作者:數(shù)瀾
    2020-07-20 13:47:53
  • 宜信開源|詳解PaaS平臺LAIN的功能和架構

    【技術沙龍002期】數(shù)據(jù)中臺:宜信敏捷數(shù)據(jù)中臺建設實踐|宜信技術沙龍 將于5月23日晚8點線上直播,點擊報名 LAIN是宜信公司大數(shù)據(jù)創(chuàng)新中心開發(fā)的開源PaaS平臺。在金融的場景下,LAIN 是為解放

    作者:宜信技術
    2020-07-20 12:54:48
  • python計算IV值及使用

    更多大數(shù)據(jù)分析、建模等內(nèi)容請關注公眾號《bigdatamodeling》 在對變量分箱后,需要計算變量的重要性,IV是評估變量區(qū)分度或重要性的統(tǒng)計量之一,python計算IV值的代碼如下: def C

    作者:佛曰可說
    2020-07-20 12:18:20
  • 旅游研究院大數(shù)據(jù)挖掘與分析科研平臺建設方案

    一. 背景 一.1 數(shù)據(jù)挖掘和大數(shù)據(jù)分析行業(yè)背景和發(fā)展趨勢 移動互聯(lián)網(wǎng)、電子商務以及社交媒體的快速發(fā)展使得企業(yè)需要面臨的數(shù)據(jù)量成指數(shù)增長。根據(jù) IDC 《數(shù)字宇宙》(Digital Universe)

    作者:guxiaodou002
    2020-07-20 11:57:06