您好,登錄后才能下訂單哦!
小編給大家分享一下python如何爬取酷狗音樂排行榜,相信大部分人都還不怎么了解,因此分享這篇文章給大家參考一下,希望大家閱讀完這篇文章后大有收獲,下面讓我們一起去了解一下吧!
具體內(nèi)容如下
#coding=utf-8 from pymongo import MongoClient import time import requests from lxml import etree client = MongoClient() #連接mongo hello = client.hello #連接數(shù)據(jù)庫 user = hello.song #連接表 headers = { 'User-Agent': 'Mozilla/5.0 (Android 6.0; Nexus 5 Build/MRA58N)\ AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Mobile Safari/537.36'} def get_info(url): ''' get源碼,encode,解析,xpath,保存 ''' response = requests.get(url, headers=headers) response = response.text.encode('utf-8') selector = etree.HTML(response) soup = selector.xpath('//*[@class="pc_temp_songlist "]/ul//li/a/text()') #保存到本地 # with open('aa.txt','a') as f: # for i in soup: # f.write(i.encode('utf-8') + '\n') #存入數(shù)據(jù)庫 for i in soup: user.insert({'song': i}) if __name__ == '__main__': urls = ['http://www.kugou.com/yy/rank/home/{}-8888.html?from=rank'.format(str(i)) for i in range(1, 24)] for url in urls: print(url) get_info(url)
以上是“python如何爬取酷狗音樂排行榜”這篇文章的所有內(nèi)容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內(nèi)容對大家有所幫助,如果還想學(xué)習(xí)更多知識,歡迎關(guān)注億速云行業(yè)資訊頻道!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。