溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
首先要做的就是去豆瓣網(wǎng)找對應的接口，這里就不贅述了，谷歌瀏覽器抓包即可，然后要做的就是分析返回的json數(shù)據(jù)的結(jié)構(gòu)：
https://movie.douban.com/j/search_subjects?type=tv&tag=%E5%9B%BD%E4%BA%A7%E5%89%A7&sort=recommend&page_limit=20&page_start=0
這是接口地址，可以大概的分析一下各個參數(shù)的規(guī)則：
下面這里是返回的json數(shù)據(jù)格式，可以看出我們要的是json中subjects列表中的每條數(shù)據(jù)，在之后的程序中會把每一個電視劇的信息保存到文件里的一行
有了這些，就直接上程序了，因為感覺程序還是比較好懂，主要還是遵從面向?qū)ο蟮某绦蛟O計：
import json
import requests
class DoubanSpider(object):
"""爬取豆瓣熱門國產(chǎn)電視劇的數(shù)據(jù)并保存到本地"""
def __init__(self):
# url_temp中的start的值是動態(tài)的，所以這里用{}替換，方便后面使用format方法
self.url_temp = 'https://movie.douban.com/j/search_subjects?type=tv&tag=%E5%9B%BD%E4%BA%A7%E5%89%A7&sort=recommend&page_limit=20&page_start={}'
self.headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36',
}
def pass_url(self, url): # 發(fā)送請求，獲取響應
print(url)
response = requests.get(url, headers=self.headers)
return response.content.decode()
def get_content_list(self, json_str): # 提取數(shù)據(jù)
dict_ret = json.loads(json_str)
content_list = dict_ret['subjects']
return content_list
def save_content_list(self, content_list): # 保存
with open('douban.txt', 'a', encoding='utf-8') as f:
for content in content_list:
f.write(json.dumps(content, ensure_ascii=False)) # 一部電視劇的信息一行
f.write('\n') # 寫入換行符進行換行
print('保存成功！')
def run(self): # 實現(xiàn)主要邏輯
num = 0
while True:
# 1. start_url
url = self.url_temp.format(num)
# 2. 發(fā)送請求，獲取響應
json_str = self.pass_url(url)
# 3. 提取數(shù)據(jù)
content_list = self.get_content_list(json_str)
# 4. 保存
self.save_content_list(content_list)
if len(content_list) < 20:
break
# 5. 構(gòu)造下一頁url地址，進入循環(huán)
num += 20 # 每一頁有二十條數(shù)據(jù)
if __name__ == '__main__':
douban_spider = DoubanSpider()
douban_spider.run()
上面是利用循環(huán)遍歷每一頁，后來我又想到用遞歸也可以，雖然遞歸效率可能不高，這里還是展示一下，只需要改幾個地方而已：
import json
import requests
class DoubanSpider(object):
"""爬取豆瓣熱門國產(chǎn)電視劇的數(shù)據(jù)并保存到本地"""
def __init__(self):
# url_temp中的start的值是動態(tài)的，所以這里用{}替換，方便后面使用format方法
self.url_temp = 'https://movie.douban.com/j/search_subjects?type=tv&tag=%E5%9B%BD%E4%BA%A7%E5%89%A7&sort=recommend&page_limit=20&page_start={}'
self.headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36',
}
self.num = 0
def pass_url(self, url): # 發(fā)送請求，獲取響應
print(url)
response = requests.get(url, headers=self.headers)
return response.content.decode()
def get_content_list(self, json_str): # 提取數(shù)據(jù)
dict_ret = json.loads(json_str)
content_list = dict_ret['subjects']
return content_list
def save_content_list(self, content_list): # 保存
with open('douban2.txt', 'a', encoding='utf-8') as f:
for content in content_list:
f.write(json.dumps(content, ensure_ascii=False)) # 一部電視劇的信息一行
f.write('\n') # 寫入換行符進行換行
print('保存成功！')
def run(self): # 實現(xiàn)主要邏輯
# 1. start_url
url = self.url_temp.format(self.num)
# 2. 發(fā)送請求，獲取響應
json_str = self.pass_url(url)
# 3. 提取數(shù)據(jù)
content_list = self.get_content_list(json_str)
# 4. 保存
self.save_content_list(content_list)
# 5. 構(gòu)造下一頁url地址，進入循環(huán)
if len(content_list) == 20:
self.num += 20 # 每一頁有二十條數(shù)據(jù)
self.run()
if __name__ == '__main__':
douban_spider = DoubanSpider()
douban_spider.run()
最終文件得到的結(jié)果：
以上就是本文的全部內(nèi)容，希望對大家的學習有所幫助，也希望大家多多支持億速云。
免責聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進行舉報，并提供相關(guān)證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權(quán)內(nèi)容。
億速云公眾號
手機網(wǎng)站二維碼