您好,登錄后才能下訂單哦!
執(zhí)行如下命令,發(fā)現(xiàn)報(bào)錯(cuò)
[hdfs@cdhm1 ~]$ hadoop distcp ftp://ftp01:ftppasswd@132.110.64.186/test hdfs:///user/data Error: java.net.SocketException: 網(wǎng)絡(luò)不可達(dá) at java.net.PlainSocketImpl.socketConnect(Native Method) at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:350) at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:206) at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188) at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392) at java.net.Socket.connect(Socket.java:589) at org.apache.commons.net.SocketClient.connect(SocketClient.java:171) at org.apache.commons.net.SocketClient.connect(SocketClient.java:192) at org.apache.hadoop.fs.ftp.FTPFileSystem.connect(FTPFileSystem.java:133) at org.apache.hadoop.fs.ftp.FTPFileSystem.getFileStatus(FTPFileSystem.java:405) at org.apache.hadoop.tools.mapred.CopyMapper.map(CopyMapper.java:218) at org.apache.hadoop.tools.mapred.CopyMapper.map(CopyMapper.java:50) at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:145) at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:787) at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341) at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:163) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1671) at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)
這是為什么呢?命令應(yīng)該的正確的。
查網(wǎng)絡(luò),正常,ftp也能正常傳輸。
防火墻,selinux都已經(jīng)關(guān)閉,但就是執(zhí)行報(bào)錯(cuò)。
百思不得其解。
查了好多資料,才發(fā)現(xiàn):
原來(lái),hadoop官方不提供ftp接口!
只有個(gè)人開(kāi)發(fā)的工具,感覺(jué)安裝挺麻煩,也許還會(huì)有bug,參考資料鏈接:
http://www.linuxidc.com/Linux/2013-01/78302.htm
我就沒(méi)安裝了,現(xiàn)在是先把文件從ftp下載到本地,在通過(guò)
[hdfs@cdhm1 ~]$ hadoop fs -put test /user/data
上傳到hadoop中,雖然麻煩點(diǎn),但勝在穩(wěn)定,后期也可通過(guò)腳本來(lái)簡(jiǎn)化步驟。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。