溫馨提示×
您好，登錄后才能下訂單哦！
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶(hù)服務(wù)條款》
您好，登錄后才能下訂單哦！
這篇文章主要介紹“怎么用Python爬蟲(chóng)獲取國(guó)外大橋排行榜數(shù)據(jù)清單”，在日常操作中，相信很多人在怎么用Python爬蟲(chóng)獲取國(guó)外大橋排行榜數(shù)據(jù)清單問(wèn)題上存在疑惑，小編查閱了各式資料，整理出簡(jiǎn)單好用的操作方法，希望對(duì)大家解答”怎么用Python爬蟲(chóng)獲取國(guó)外大橋排行榜數(shù)據(jù)清單”的疑惑有所幫助！接下來(lái)，請(qǐng)跟著小編一起來(lái)學(xué)習(xí)吧！
前言：
正式開(kāi)始前，先安裝 pyquery 到本地開(kāi)發(fā)環(huán)境中。命令如下：pip install pyquery ，我使用的版本為 1.4.3。
基本使用如下所示，看懂也就掌握了 5 成了，就這么簡(jiǎn)單。
from pyquery import PyQuery as pq
s = '<html><title>橡皮擦的PyQuery小課堂</title></html>'
doc = pq(s)
print(doc('title'))輸出如下內(nèi)容：
<title>橡皮擦的PyQuery小課堂</title>
也可以直接將要解析的網(wǎng)址 URL 傳遞給 pyquery 對(duì)象，代碼如下所示：
from pyquery import PyQuery as pq
url = "https://www.bilibili.com/"
doc = pq(url=url,encoding="utf-8")
print(doc('title')) # <title>嗶哩嗶哩 (゜-゜)つロ 干杯~-bilibili</title>相同的思路，還可以通過(guò)文件初始化 pyquery 對(duì)象，只需要修改參數(shù)為 filename 即可。
基礎(chǔ)鋪墊過(guò)后，就可以進(jìn)入到實(shí)操環(huán)節(jié)，下面是本次要抓取的目標(biāo)案例分析。
本次要采集的為 ：List of Highest International Bridges（最高國(guó)際橋梁名單），
頁(yè)面呈現(xiàn)的數(shù)據(jù)如下所示：
在翻閱過(guò)程中發(fā)現(xiàn)多數(shù)都是中國(guó)設(shè)計(jì)的，果然我們基建世界第一。
翻頁(yè)規(guī)則如下所示：
http://www.highestbridges.com/wiki/index.php?title=List_of_Highest_International_Bridges/Page_1
http://www.highestbridges.com/wiki/index.php?title=List_of_Highest_International_Bridges/Page_2
# 實(shí)測(cè)翻到第 13 頁(yè)數(shù)據(jù)就空了，大概1200座橋梁
http://www.highestbridges.com/wiki/index.php?title=List_of_Highest_International_Bridges/Page_13
由于目標(biāo)數(shù)據(jù)以表格形式存在，故直接按照表頭提取數(shù)據(jù)即可。 Rank，Name，Height (meters / feet)，Main Span Length，Completed，Location，Country
正式編碼前，先拿第一頁(yè)進(jìn)行練手：
from pyquery import PyQuery as pq
url = "http://www.highestbridges.com/wiki/index.php?title=List_of_Highest_International_Bridges/Page_1"
doc = pq(url=url, encoding='utf-8')
print(doc('title'))
def remove(str):
return str.replace("
", "").replace("\n", "")
# 獲取所有數(shù)據(jù)所在的行，下面使用的是 css 選擇器，稱(chēng)作 jquery 選擇器也沒(méi)啥問(wèn)題
items = doc.find('table.wikitable.sortable tr').items()
for item in items:
td_list = item.find('td')
rank = td_list.eq(1).find("span.sorttext").text()
name = td_list.eq(2).find("a").text()
height = remove(td_list.eq(3).text())
length = remove(td_list.eq(4).text())
completed = td_list.eq(5).text()
location = td_list.eq(6).text()
country = td_list.eq(7).text()
print(rank, name, height, length, completed, location, country)代碼整體寫(xiě)下來(lái)，發(fā)現(xiàn)依舊是對(duì)于選擇器的依賴(lài)比較大，也就是需要熟練的操作選擇器，選中目標(biāo)元素，方便獲取最終的數(shù)據(jù)。
將上述代碼擴(kuò)大到全部數(shù)據(jù)，修改成迭代采集：
from pyquery import PyQuery as pq
import time
def remove(str):
return str.replace("
", "").replace("\n", "").replace(",", "，")
def get_data(page):
url = "http://www.highestbridges.com/wiki/index.php?title=List_of_Highest_International_Bridges/Page_{}".format(
page)
print(url)
doc = pq(url=url, encoding='utf-8')
print(doc('title'))
# 獲取所有數(shù)據(jù)所在的行，下面使用的是 css 選擇器，稱(chēng)作 jquery 選擇器也沒(méi)啥問(wèn)題
items = doc.find('table.wikitable.sortable tr').items()
for item in items:
td_list = item.find('td')
rank = td_list.eq(1).find("span.sorttext").text()
name = remove(td_list.eq(2).find("a").text())
height = remove(td_list.eq(3).text())
length = remove(td_list.eq(4).text())
completed = remove(td_list.eq(5).text())
location = remove(td_list.eq(6).text())
country = remove(td_list.eq(7).text())
data_tuple = (rank, name, height, length, completed, location, country)
save(data_tuple)
def save(data_tuple):
try:
my_str = ",".join(data_tuple) + "\n"
# print(my_str)
with open(f"./data.csv", "a+", encoding="utf-8") as f:
f.write(my_str)
print("寫(xiě)入完畢")
except Exception as e:
pass
if __name__ == '__main__':
for page in range(1, 14):
get_data(page)
time.sleep(3)其中發(fā)現(xiàn)存在英文的逗號(hào)，統(tǒng)一進(jìn)行修改，即 remove(str) 函數(shù)的應(yīng)用。
到此，關(guān)于“怎么用Python爬蟲(chóng)獲取國(guó)外大橋排行榜數(shù)據(jù)清單”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注億速云網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)?lái)更多實(shí)用的文章！
免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。
億速云公眾號(hào)
手機(jī)網(wǎng)站二維碼