#

hdfs

  • HDFS HA架構(gòu)

    HA背景對(duì)于HDFS、YARN的每個(gè)角色都是一個(gè)進(jìn)程，比如HDFS：NN/SNN/DN? ?老大是NNYARN：RM/NM? ?老大是RM對(duì)于上面，都會(huì)存在單點(diǎn)故障的問題，假如老大NN或者RM掛了，那

    作者：xiao酒窩
    2020-06-30 18:39:45

  • Hadoop HDFS Balancer

    Hadoop HDFS Balancer    Hadoop的HDFS集群非常容易出現(xiàn)機(jī)器與機(jī)器之間磁盤利用率不平衡的情況，比如集群中添加新的數(shù)據(jù)節(jié)點(diǎn)。當(dāng)HDFS出現(xiàn)不平衡狀況的時(shí)

    作者：zlfwmm
    2020-06-30 15:16:04

  • 4、Intelij+Maven搭建Hadoop項(xiàng)目

    1創(chuàng)建工程 點(diǎn)擊project——Maven——next 2通過maven導(dǎo)入項(xiàng)目依賴jar包 （1）設(shè)置maven自動(dòng)導(dǎo)入依賴jar包勾選 Import Maven projects automa

    作者：victor19901114
    2020-06-29 07:40:39

  • 【總結(jié)】Hadoop配置文件hdfs-site.xml

    dfs.ha.automatic-failover.enabledtrue

    作者：巧克力黒
    2020-06-29 05:11:53

  • 第85課：基于HDFS的SparkStreaming案例實(shí)戰(zhàn)和內(nèi)幕源碼解密

    一：Spark集群開發(fā)環(huán)境準(zhǔn)備啟動(dòng)HDFS，如下圖所示： 通過web端查看節(jié)點(diǎn)正常啟動(dòng)，如下圖所示：2.啟動(dòng)Spark集群，如下圖所示：通過web端查看集群啟動(dòng)正常，如下圖所示：3.啟動(dòng)st

    作者：Spark_2016
    2020-06-27 06:00:35

  • 大數(shù)據(jù)生態(tài)學(xué)習(xí)__HS&MR

    Hadoop：版本迭代較快，最新為3.0版本，本次學(xué)習(xí)以2.0為主；

    作者：perfectgum
    2020-06-25 16:33:38

  • hdfs數(shù)據(jù)誤刪分析與恢復(fù)

    一、相關(guān)參數(shù)：1、core-site.xml  文件修改以下配置項(xiàng)：      fs

    作者：zouqingyun
    2020-06-23 11:10:35

  • 大數(shù)據(jù)分布式計(jì)算--hadoop

     Hadoop是一個(gè)由Apache基金會(huì)所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進(jìn)行高速運(yùn)算和存儲(chǔ)。Hadoop 核心

    作者：yi003958
    2020-06-22 09:36:11

  • Hadoop運(yùn)維記錄系列（二十七）

    記錄一個(gè)調(diào)試 pyspark2sql 訪問 HDFS 透明加密的問題。訪問源碼如下，使用 pyspark2.1.3，基于 CDH 5.14.0 hive 1.1.0 + parquet，其中selec

    作者：Slaytanic
    2020-06-21 17:50:19

  • 修改hadoop/hdfs日志級(jí)別

    描述：If a large directory is deleted and namenode is immediately restarted, there are a lot of blocks

    作者：DearArvin
    2020-06-19 04:26:20
< 上一頁
下一頁>