nutch部署到eclipse常見錯(cuò)誤有哪些

nutch部署到eclipse常見錯(cuò)誤有哪些，針對(duì)這個(gè)問題，這篇文章詳細(xì)介紹了相對(duì)應(yīng)的分析和解答，希望可以幫助更多想解決這個(gè)問題的小伙伴找到更簡(jiǎn)單易行的方法。

Nutch部署到eclipse常見錯(cuò)誤

Failed to set permissions of path: \tmp\hadoop-hadoop\mapred\staging\hadoop1847455384\.staging to 0700

之前在eclipse上部署hadoop時(shí)好像也遇到過這個(gè)問題。但是，現(xiàn)在已經(jīng)不知道怎么解決了。

方法1：

1. 注釋掉

<target name="create-native-configure">

<exec executable="autoreconf" dir="${native.src.dir}" searchpath="yes" failonerror="yes">  <arg value="-if"/>

</exec>

  </target>

1. 去掉compile-core-native

  <target name="compile-core-native" depends="create-native-configure，compile-core-classes"

 if="compile.native">

中的create-native-configure依賴

3、修改hadoop-1.1.2/src/core/org/apache/hadoop/fs/FileUtil.java 691行，把throw new IOException改為L(zhǎng)OG.warn

4、用ant編譯項(xiàng)目，編譯成功后從build文件夾中取出hadoop-core.jar文件夾，放入我們eclipse中的hadoop項(xiàng)目中，替換項(xiàng)目中原有hadoop-core.jar，放入lib文件夾下。再通過buildpath添加jar包。

方法2：

不用修改build.xml，直接修改FileUtil.java文件中的“checkReturnValue(rv, f, permission);”，直接注釋掉，再用ant命令編譯一遍即可產(chǎn)生hadoop-core.jar包，同樣將hadoop-core.jar替換掉項(xiàng)目中hadoop-core.jar。

繼解決了上一個(gè)異常Failed to set permissions of path:之后，運(yùn)行文件又出現(xiàn)異常：

運(yùn)行參數(shù)為：urls -dir crawl -depth 2 -topN 2

異常為：

Input path does not exist: file:/E:/qjay/wrokespace2013/trunk/-dir

這個(gè)錯(cuò)是由于未正確指定參數(shù)Program arguments導(dǎo)致的。來來去去就這么幾個(gè)錯(cuò)，折騰了一天。深刻體會(huì)到，有時(shí)候想問題真的不要那么狹隘，要敢于大膽假設(shè)。從沒想過是Program arguments的問題。。。不過找到問題了就快了。

Eclipse查看hadoop源代碼

Eclipse查看hadoop源代碼導(dǎo)入不成功。以hadoop-1.2.1.tar.gz為例，我們先解壓hadoop項(xiàng)目，然后在壓縮成zip格式的文件，導(dǎo)入即可成功。

total number of urls rejected by filters: 0

我遇見的這個(gè)問題并不是由于程序本身問題導(dǎo)致的，而是因?yàn)閭鬟f配置參數(shù)時(shí)沒寫正確。

在eclipse中運(yùn)行injector類時(shí)，傳的參數(shù)應(yīng)當(dāng)為：

Main class: org.apache.nutch.crawl.Injector

VM arguments: -Dhadoop.log.dir=logs -Dhadoop.log.file=hadoop.log

Program arguments: crawldb urls

繼續(xù)運(yùn)行，這次會(huì)發(fā)現(xiàn)已經(jīng)開始報(bào)錯(cuò)了。很好，報(bào)錯(cuò)是好事，害怕的就是它不報(bào)錯(cuò)。能報(bào)錯(cuò)就好辦了，繼續(xù)解決下邊這個(gè)異常：

nutch java.lang.Exception: java.lang.RuntimeException: Error in configuring object

nutch部署過程中出現(xiàn)了下面錯(cuò)誤，主要是沒有正確配置插件導(dǎo)致的，可以通過設(shè)置nutch-site.xml文件的plugin.folders屬性解決問題

 修改conf下nutch-default文件將plugin.folders的值由plugins修改為./src/plugin

因?yàn)閜lugin文件在src目錄下。

關(guān)于nutch部署到eclipse常見錯(cuò)誤有哪些問題的解答就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關(guān)注億速云行業(yè)資訊頻道了解更多相關(guān)知識(shí)。