溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章主要講解了“Map和Reduce的Task數(shù)目由哪些因素決定”，文中的講解內容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“Map和Reduce的Task數(shù)目由哪些因素決定”吧！
在不指定的情況下，Map 和Reduce Task 的數(shù)目由這樣幾個因素決定：
1.輸入數(shù)據(jù)的塊數(shù)，Map 輸出數(shù)據(jù)的塊數(shù)(Reduce數(shù)量是可以設定)，一個塊一般由一個task 來處理（一般，即文件格式是否支持切分）
2.輸入數(shù)據(jù)的文件數(shù)量。一個文件至少需要1 個task 來處理（至少，即一個文件可能是存儲于多個文件塊）
3.是否對數(shù)據(jù)進行了壓縮，壓縮格式是否可切分（Splitable），如果不可分，即使文件大于64M，也只能由一個task 來處理 （不支持切分，順序讀取）
感謝各位的閱讀，以上就是“Map和Reduce的Task數(shù)目由哪些因素決定”的內容了，經過本文的學習后，相信大家對Map和Reduce的Task數(shù)目由哪些因素決定這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是億速云，小編將為大家推送更多相關知識點的文章，歡迎關注！
免責聲明：本站發(fā)布的內容（圖片、視頻和文字）以原創(chuàng)、轉載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權請聯(lián)系站長郵箱：is@yisu.com進行舉報，并提供相關證據(jù)，一經查實，將立刻刪除涉嫌侵權內容。
