urlopen()和urlretrieve()函數(shù)如何在Python中使用

本篇文章為大家展示了urlopen()和urlretrieve()函數(shù)如何在Python中使用，內(nèi)容簡明扼要并且容易理解，絕對(duì)能使你眼前一亮，通過這篇文章的詳細(xì)介紹希望你能有所收獲。

1.urlopen()方法

urllib.urlopen(url[, data[, proxies]]) :創(chuàng)建一個(gè)表示遠(yuǎn)程url的類文件對(duì)象，然后像本地文件一樣操作這個(gè)類文件對(duì)象來獲取遠(yuǎn)程數(shù)據(jù)。

參數(shù)url表示遠(yuǎn)程數(shù)據(jù)的路徑，一般是網(wǎng)址；

參數(shù)data表示以post方式提交到url的數(shù)據(jù)(玩過web的人應(yīng)該知道提交數(shù)據(jù)的兩種方式：post與get。如果你不清楚，也不必太在意，一般情況下很少用到這個(gè)參數(shù))；

參數(shù)proxies用于設(shè)置代理。

• urlopen返回 一個(gè)類文件對(duì)象，它提供了如下方法：

• read() , readline() , readlines() , fileno() , close() ：這些方法的使用方式與文件對(duì)象完全一樣;

• info()：返回一個(gè)httplib.HTTPMessage 對(duì)象，表示遠(yuǎn)程服務(wù)器返回的頭信息

• getcode()：返回Http狀態(tài)碼。如果是http請(qǐng)求，200表示請(qǐng)求成功完成;404表示網(wǎng)址未找到；

• geturl()：返回請(qǐng)求的url；

代碼示例：

import urllib
url = "http://www.baidu.com/"
#urlopen()
sock = urllib.urlopen(url)
htmlCode = sock.read()
sock.close
fp = open("e:/1.html","wb")
fp.write(htmlCode)
fp.close
#urlretrieve()
urllib.urlretrieve(url, 'e:/2.html')

2.urlretrieve方法

直接將遠(yuǎn)程數(shù)據(jù)下載到本地。

urllib.urlretrieve(url[, filename[, reporthook[, data]]])
參數(shù)說明：
url：外部或者本地url
filename：指定了保存到本地的路徑（如果未指定該參數(shù)，urllib會(huì)生成一個(gè)臨時(shí)文件來保存數(shù)據(jù)）；
reporthook：是一個(gè)回調(diào)函數(shù)，當(dāng)連接上服務(wù)器、以及相應(yīng)的數(shù)據(jù)塊傳輸完畢的時(shí)候會(huì)觸發(fā)該回調(diào)。我們可以利用這個(gè)回調(diào)函數(shù)來顯示當(dāng)前的下載進(jìn)度。
data：指post到服務(wù)器的數(shù)據(jù)。該方法返回一個(gè)包含兩個(gè)元素的元組(filename, headers)，filename表示保存到本地的路徑，header表示服務(wù)器的響應(yīng)頭。

下面通過例子來演示一下這個(gè)方法的使用，這個(gè)例子將新浪首頁的html抓取到本地，保存在D:/sina.html文件中，同時(shí)顯示下載的進(jìn)度。

import urllib
def callbackfunc(blocknum, blocksize, totalsize):
  '''回調(diào)函數(shù)
  @blocknum: 已經(jīng)下載的數(shù)據(jù)塊
  @blocksize: 數(shù)據(jù)塊的大小
  @totalsize: 遠(yuǎn)程文件的大小
  '''
  percent = 100.0 * blocknum * blocksize / totalsize
  if percent > 100:
    percent = 100
  print "%.2f%%"% percent
url = 'http://www.sina.com.cn'
local = 'd:\\sina.html'
urllib.urlretrieve(url, local, callbackfunc)

上述內(nèi)容就是urlopen()和urlretrieve()函數(shù)如何在Python中使用，你們學(xué)到知識(shí)或技能了嗎？如果還想學(xué)到更多技能或者豐富自己的知識(shí)儲(chǔ)備，歡迎關(guān)注億速云行業(yè)資訊頻道。