您好,登錄后才能下訂單哦!
小編給大家分享一下如何測(cè)試Hadoop的hdfs的問題,希望大家閱讀完這篇文章之后都有所收獲,下面讓我們一起去探討吧!
在測(cè)試hadoop-2.4.1版本的hdfs時(shí),總是報(bào)錯(cuò):
Unable to load native-hadoop library for your platform
Hadoop是使用Java語(yǔ)言開發(fā)的,但是有一些需求和操作并不適合使用java,所以就引入了本地庫(kù)(Native Libraries)的概念,通過本地庫(kù),Hadoop可以更加高效地執(zhí)行某一些操作。
目前在Hadoop中,本地庫(kù)應(yīng)用在文件的壓縮上面:
在使用這兩種壓縮方式的時(shí)候,Hadoop默認(rèn)會(huì)從$HADOOP_HOME/lib/native/Linux-*目錄中加載本地庫(kù)。
如果加載成功,輸出為:
DEBUG util.NativeCodeLoader - Trying to load the custom-built native-hadoop library...
INFO util.NativeCodeLoader - Loaded the native-hadoop library
如果加載失敗,輸出為:
INFO util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
在Hadoop的配置文件core-site.xml中可以設(shè)置是否使用本地庫(kù):
<property>
<name>hadoop.native.lib</name>
<value>true</value>
<description>Should native hadoop libraries, if present, be used.</description>
</property>
Hadoop默認(rèn)的配置為啟用本地庫(kù)。
另外,可以在環(huán)境變量中設(shè)置使用本地庫(kù)的位置:
export JAVA_LIBRARY_PATH=/path/to/hadoop-native-libs
有的時(shí)候也會(huì)發(fā)現(xiàn)Hadoop自帶的本地庫(kù)無(wú)法使用,這種情況下就需要自己去編譯本地庫(kù)了。在
$HADOOP_HOME目錄下,
使用如下命令即可:
ant compile-native
編譯完成后,可以在$HADOOP_HOME/build/native目錄下找到相應(yīng)的文件,然后指定文件的路徑或者移動(dòng)編譯好的文件到默認(rèn)目錄下即可。
看完了這篇文章,相信你對(duì)“如何測(cè)試Hadoop的hdfs的問題”有了一定的了解,如果想了解更多相關(guān)知識(shí),歡迎關(guān)注億速云行業(yè)資訊頻道,感謝各位的閱讀!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。