溫馨提示×
您好，登錄后才能下訂單哦！
點(diǎn)擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》
您好，登錄后才能下訂單哦！
這篇文章主要介紹“ hdfs命令行和客戶端的區(qū)別是什么”，在日常操作中，相信很多人在 hdfs命令行和客戶端的區(qū)別是什么問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答” hdfs命令行和客戶端的區(qū)別是什么”的疑惑有所幫助！接下來，請跟著小編一起來學(xué)習(xí)吧！
一直都沒有發(fā)現(xiàn)，原理hdfs的命令行和客戶端api的使用還是有很大差別的
現(xiàn)象：
將dfs.block.size設(shè)置成128M
現(xiàn)有28G的數(shù)據(jù)，理論上講map的總數(shù)應(yīng)該是224個(gè)，但是map數(shù)量卻翻倍成448個(gè)
一直都找不出原因，使用hdfs命令行查看需要進(jìn)行mapreduce的文件的block大小
然后通過hdfs fs -put 命令放進(jìn)去的文件block大小就是128M
最后猜測應(yīng)該是客戶端API沒有讀到在構(gòu)造Configuration對象時(shí)沒有讀到服務(wù)器上的*-site.xml導(dǎo)致的，將服務(wù)器上的*-site.xml放到客戶端的根目錄下實(shí)驗(yàn)了一下，果然OK了
到此，關(guān)于“ hdfs命令行和客戶端的區(qū)別是什么”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請繼續(xù)關(guān)注億速云網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！
免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。
億速云公眾號
手機(jī)網(wǎng)站二維碼
