20180524早課記錄17-Hadoop

1.MapReduce談?wù)勀銈兊睦斫?/h6>

執(zhí)行引擎 計(jì)算

2.Map是什么

map：映射函數(shù)

3.Reduce是什么

reduce：規(guī)約函數(shù)

4.shuffle談?wù)勀銈兊睦斫?/h6>

相當(dāng)于洗牌 按key進(jìn)行分組

5.wordcount那副圖，腦子是否有印象?

不太深入

6.輸入分片一般和什么有關(guān)?多少個(gè)分片就可以有多少個(gè)map task，對不對?

塊大小 不對 會(huì)合并小文件

7.mapreduce架構(gòu)設(shè)計(jì)中應(yīng)用程序AM和task都運(yùn)行在哪個(gè)抽象概念中?

container

8.假如hdfs的文件都是小文件，那么就會(huì)有多個(gè)map task，我們生產(chǎn)上一般設(shè)計(jì)時(shí)，是需要合并的或者設(shè)計(jì)我們文件存儲(chǔ)時(shí)盡量保持一個(gè)文件在一個(gè)塊大?。私忸}）

是的

9.NM節(jié)點(diǎn)的內(nèi)存和容器的內(nèi)存參數(shù)哪幾個(gè)?

yarn.nodemanager.resource.memory-mb
yarn.scheduler.minimum-allocation-mb
yarn.scheduler.maximum-allocation-mb
yarn.scheduler.minimum-allocation-vcores
yarn.scheduler.maximum-allocation-vcores

10.容器是使用物理core還是虛擬core

虛擬core

11.總結(jié)一下mapreduce架構(gòu)設(shè)計(jì) wordcount博客 容器的概念，內(nèi)存和vcore的參數(shù)設(shè)置