溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》
您好，登錄后才能下訂單哦！
如何用python進(jìn)行靜態(tài)爬蟲及地址經(jīng)緯度轉(zhuǎn)換，很多新手對此不是很清楚，為了幫助大家解決這個難題，下面小編將為大家詳細(xì)講解，有這方面需求的人可以來學(xué)習(xí)下，希望你能有所收獲。
“ 下面通過一個小例子，展示了用python進(jìn)行靜態(tài)爬蟲的方法，并且將爬取下來的城市列表，通過調(diào)用百度地圖api，返回對應(yīng)經(jīng)緯度。”
requests和bs4
1，requests.get()：將網(wǎng)頁上的數(shù)據(jù)全部抓取下來。
2，BeautifulSoup()：在調(diào)用了requests.get()以后，可以通過調(diào)用BeautifulSoup()來對代碼進(jìn)行解析。此時生成一個BeautifulSoup對象，針對這個對象，find_all函數(shù)可以幫助查找相應(yīng)標(biāo)簽，get_text函數(shù)可以返回對象中文字內(nèi)容。
百度地圖api申請
調(diào)用百度地圖api接口，輸入地址信息，得到對應(yīng)經(jīng)緯度坐標(biāo)。申請接口AK操作如下：
1，進(jìn)入百度地圖開放平臺官網(wǎng)并注冊，網(wǎng)站地址：http://lbsyun.baidu.com/
2，點擊“申請密鑰”，填寫個人信息，注冊郵箱
3，在控制臺中，點擊“創(chuàng)建應(yīng)用”，自定義應(yīng)用名稱，選擇合適的“應(yīng)用類型”，本例中通過瀏覽器調(diào)用，因此選擇“瀏覽器端”。IP白名單中，如不想對IP進(jìn)行限制，可寫0.0.0.0/0
4，提交后，應(yīng)用列表里，“訪問應(yīng)用（AK）”一欄，就是申請的密鑰
代碼實例
python2與python3語法上略有不同，本例為python3下運行代碼。
1，加載相應(yīng)模塊
? 2，定義爬蟲函數(shù)
打開我們要爬取的網(wǎng)頁，如下圖：
頁面上點擊右鍵查看網(wǎng)頁源碼，發(fā)現(xiàn)城市列表都記錄在p標(biāo)簽中，因此我們可以通過找到p標(biāo)簽，來獲得相應(yīng)文字位置。
本例中，我們抓取一、二線城市，爬蟲函數(shù)代碼如下：
3，定義地址轉(zhuǎn)經(jīng)緯度函數(shù)
首先觀察，通過api調(diào)用，返回地址經(jīng)緯度的格式：
可見，經(jīng)緯度信息存放在p標(biāo)簽內(nèi)。接下來，通過對api調(diào)用結(jié)果內(nèi)容的爬取，定義地址轉(zhuǎn)換經(jīng)緯度函數(shù)：
4，定義程序入口
最終，部分返回結(jié)果如下：
看完上述內(nèi)容是否對您有幫助呢？如果還想對相關(guān)知識有進(jìn)一步的了解或閱讀更多相關(guān)文章，請關(guān)注億速云行業(yè)資訊頻道，感謝您對億速云的支持。
免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進(jìn)行舉報，并提供相關(guān)證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權(quán)內(nèi)容。
億速云公眾號
手機網(wǎng)站二維碼
