溫馨提示×
您好，登錄后才能下訂單哦！
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》
您好，登錄后才能下訂單哦！
部署：分為測(cè)試環(huán)境、生產(chǎn)環(huán)境。
Hadoop發(fā)行版本：Apache、CDH（tar包、rpm包、parcel包，必須由cloudera manager進(jìn)行管理）、HDP
注意：大數(shù)據(jù)框架內(nèi)禁用IPV6；同時(shí)要修改用戶的最大進(jìn)程數(shù)、單個(gè)進(jìn)程打開(kāi)的最大文件數(shù)量；
Hadoop 2 三大組件：1. HDFS 2.MapReduce 3 YARN
HDFS：分布式文件系統(tǒng)，從功能上分為namenode、datanode。其中，namenode用于存放集群元數(shù)據(jù)，例如文件名稱層、文件存放在哪個(gè)datanode之上、有沒(méi)有進(jìn)行切片等；數(shù)據(jù)是以block形式存儲(chǔ)；namenode中數(shù)據(jù)存放在內(nèi)存中、本地磁盤(pán)包括鏡像文件、編輯日志；以塊為單位存儲(chǔ)，在V2中默認(rèn)大小是128MB；datanode與namenode之間會(huì)發(fā)送心跳（證明存活狀態(tài)，默認(rèn)是每隔3秒鐘，在心跳返回結(jié)果中含有namenode發(fā)送給datanode的指令，如復(fù)制或刪除數(shù)據(jù)塊）、塊狀態(tài)報(bào)告（默認(rèn)是每隔一個(gè)小時(shí)上報(bào)一次）等，是通過(guò)底層協(xié)議如RPC進(jìn)行通信；副本默認(rèn)是3，默認(rèn)策略是其中兩個(gè)副本在同一個(gè)rack不同節(jié)點(diǎn)，第三個(gè)副本在不同的rack上；
YARN架構(gòu)：分為node manager（每一個(gè)節(jié)點(diǎn)）、resource manager（管理整個(gè)集群）
免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。
億速云公眾號(hào)
手機(jī)網(wǎng)站二維碼
