溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶(hù)服務(wù)條款》

python如何訪問(wèn)hdfs

發(fā)布時(shí)間：2020-07-18 10:19:00 來(lái)源：億速云 閱讀：231 作者：小豬 欄目：開(kāi)發(fā)技術(shù)

這篇文章主要為大家展示了python如何訪問(wèn)hdfs，內(nèi)容簡(jiǎn)而易懂，希望大家可以學(xué)習(xí)一下，學(xué)習(xí)完之后肯定會(huì)有收獲的，下面讓小編帶大家一起來(lái)看看吧。

pip install hdfs

python 讀取hdfs目錄或文件

import hdfs
 
client =hdfs.Client("http://10.10.1.4:50070")
fileDir="/user/hive/warehouse/house.db/dm_house/dt=201800909"
try:
  status=client.status(fileDir,False)
  if status:
    print (status)
    rst=client.download(fileDir,"/home/dev/gewei")
    print (rst)
exception Exception as e:
  print (e)

補(bǔ)充知識(shí)：用python訪問(wèn)hdfs出現(xiàn)webhdfs找不到的情況

有可能是webhdfs服務(wù)沒(méi)有開(kāi)啟

向hdfs-site.xml文件中添加屬性：

<property> 
  <name>dfs.webhdfs.enabled</name> 
  <value>true</value> 
</property>

可以使用如下命令檢測(cè)，

獲得目錄的列表：

curl -i "http://Hadoop:50070/webhdfs/v1/&#63;user.name=hadoop&op=LISTSTATUS"

以上就是關(guān)于python如何訪問(wèn)hdfs的內(nèi)容，如果你們有學(xué)習(xí)到知識(shí)或者技能，可以把它分享出去讓更多的人看到。

向AI問(wèn)一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手