#

大數(shù)據(jù)

  • Spark Streaming筆記整理(一):基本工作原理介紹

    [TOC] 概述 大數(shù)據(jù)實(shí)時(shí)計(jì)算介紹 1、Spark Streaming,其實(shí)就是一種Spark提供的,對(duì)于大數(shù)據(jù),進(jìn)行實(shí)時(shí)計(jì)算的一種框架。它的底層,其實(shí),也是基于我們之前講解的Spark Cor

    作者:xpleaf
    2020-07-24 12:38:27
  • 大數(shù)據(jù) MongoDB 3.2.1 分片

    MongoDB 分片 在Mongodb里面存在另一種集群,就是分片技術(shù),可以滿足MongoDB數(shù)據(jù)量大量增長(zhǎng)的需求。 當(dāng)MongoDB存儲(chǔ)海量的數(shù)據(jù)時(shí),一臺(tái)機(jī)器可能不足以存儲(chǔ)數(shù)據(jù),也可能不足以提

    作者:HHHNDYD
    2020-07-24 11:49:23
  • 新手必備:Hadoop基礎(chǔ)——YARN認(rèn)知

    Yarn是一個(gè)分布式的資源管理系統(tǒng),用以提高分布式的集群環(huán)境下的資源利用率,這些資源包括內(nèi)存、IO、網(wǎng)絡(luò)、磁盤等。其產(chǎn)生的原因是為了解決原MapReduce框架的不足。 最初MapReduce的com

    作者:Hjiangxue
    2020-07-24 10:51:05
  • spark-sql case when 問(wèn)題

    SELECT CASE (pmod(datediff(f0.`4168388__c_0`,'1970-01-04'),7)+1)  WHEN '1' THEN '星期日' WHEN '2'

    作者:去買大白兔
    2020-07-24 10:29:36
  • 大數(shù)據(jù)和海量數(shù)據(jù)有什么區(qū)別與聯(lián)系

    本篇文章給大家分享的是有關(guān)大數(shù)據(jù)和海量數(shù)據(jù)有什么區(qū)別與聯(lián)系,小編覺(jué)得挺實(shí)用的,因此分享給大家學(xué)習(xí),希望大家閱讀完這篇文章后可以有所收獲,話不多說(shuō),跟著小編一起來(lái)看看吧?!贝髷?shù)據(jù)”包含”海量數(shù)據(jù)”的含義

    作者:Leah
    2020-07-24 09:14:16
  • kafka作為流式處理的上一層,為什么吞吐量那么大?

    Kafka為什么速度快、吞吐量大 Kafka是大數(shù)據(jù)領(lǐng)域無(wú)處不在的消息中間件,目前廣泛使用在企業(yè)內(nèi)部的實(shí)時(shí)數(shù)據(jù)管道,并幫助企業(yè)構(gòu)建自己的流計(jì)算應(yīng)用程序。Kafka雖然是基于磁盤做的數(shù)據(jù)存儲(chǔ),但卻具有高

    作者:Stitch_x
    2020-07-23 20:24:02
  • Flume數(shù)據(jù)采集之常見(jiàn)集群配置案例

    [TOC] 非集群配置 這種情況非集群配置方式,比較簡(jiǎn)單,可以直接參考我整理的《Flume筆記整理》,其基本結(jié)構(gòu)圖如下: Flume集群之多個(gè)Agent一個(gè)source 結(jié)構(gòu)說(shuō)明 結(jié)構(gòu)圖如下: 說(shuō)

    作者:xpleaf
    2020-07-23 19:58:43
  • Hive筆記整理(二)

    [TOC] Hive筆記整理(二) Hive中表的分類 managed_table—受控表、管理表、內(nèi)部表 表中的數(shù)據(jù)的生命周期/存在與否,受到了表結(jié)構(gòu)的影響,當(dāng)表結(jié)構(gòu)被刪除的,表中的數(shù)據(jù)隨之一并被

    作者:xpleaf
    2020-07-23 19:46:18
  • Elasticsearch搜索調(diào)優(yōu)權(quán)威指南 (1/3)

    英文原文:https://qbox.io/blog/elasticsearch-search-tuning-5-0-ultimate-guide 作者:Adam Vanderbush 譯者:楊振

    作者:vivo互聯(lián)網(wǎng)
    2020-07-23 15:42:05
  • 大數(shù)據(jù)之---hadoop常用命令大全終極篇

    軟件環(huán)境 RHEL6.8 hadoop2.8.1 apache-maven-3.3.9findbugs-1.3.9 protobuf-2.5.0.tar.gz jdk-8u45(操作環(huán)境root安裝啟

    作者:ycwyong
    2020-07-23 15:13:56
香港云服務(wù)器