溫馨提示×

溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊×
其他方式登錄
點(diǎn)擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

MapReduce映射怎么定義

發(fā)布時間：2022-01-04 14:56:42 來源：億速云 閱讀：139 作者：iii 欄目：服務(wù)器

本篇內(nèi)容主要講解“MapReduce映射怎么定義”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實(shí)用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“MapReduce映射怎么定義”吧!

  1. 定義

    map：俗稱--映射，map之后元素個數(shù)不變

    如：

    x  --> (x,1) 
    y  --> (y,1)
    z  --> (z,1)

    reduce:俗稱--規(guī)約，reduce之后元素個數(shù)<=當(dāng)前個數(shù)（把key相同的元素，拉倒一起）

    如：

    x --> (x,1)  
    x --> (x,1)    -->>(x,1+1+1)
    x --> (x,1)

  2. mapReduce架構(gòu)

    MR job提交到Y(jié)arn的工作流程==Yarn架構(gòu)設(shè)計(jì)==Yarn工作流程

  3. shuffle

    map->shuffle->reduce

    理解：key相同的元素通過網(wǎng)絡(luò)IO放到一起，進(jìn)行業(yè)務(wù)計(jì)算


  4. 常用命令

    mapred

到此，相信大家對“MapReduce映射怎么定義”有了更深的了解，不妨來實(shí)際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！

向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進(jìn)行舉報，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手