怎么用Python爬蟲下載整本小說

這篇文章主要介紹“怎么用Python爬蟲下載整本小說”，在日常操作中，相信很多人在怎么用Python爬蟲下載整本小說問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”怎么用Python爬蟲下載整本小說”的疑惑有所幫助！接下來，請跟著小編一起來學(xué)習(xí)吧！

# 用于獲取網(wǎng)頁的html
from urllib import request
# 用于解析html
from bs4 import BeautifulSoup

3.首先我們寫出獲取網(wǎng)頁html源碼的一個方法：

# 得到網(wǎng)頁的html
def getHtml(url):
    url = url
    res = request.urlopen(url)
    res = res.read().decode()
    # print(res)
    return res

這個方法傳入一個url,會返回一個html源碼

4.然后我們再來寫一下，獲取整本小說所有章節(jié)的鏈接的方法：

# 解析小說章節(jié)頁面,獲取所有章節(jié)的子鏈接def jsoupUrl(html):
    # 獲取soup對象
    url_xiaoshuo = BeautifulSoup(html)
    # 因?yàn)槲覀円萌lass為box1中的div
    class_dict = {'class': 'box1'}
    url_xiaoshuo = url_xiaoshuo.find_all('div', attrs=class_dict)
    # 因?yàn)榉治鰄tml中的代碼可以發(fā)現(xiàn)div的class為box1的有兩個,通過上面的代碼返回的是一個list格式的結(jié)果，所以下面的索引應(yīng)該是１
    # 我們要獲取li中的值，所以find_all，這個方法返回的是一個ｌｉｓｔ集合
    url_xiaoshuo = url_xiaoshuo[1].find_all('li')
    # print(url_xiaoshuo)
    # 創(chuàng)建一個集合,用于存放每個章節(jié)的鏈接
    url_xs = []
    for item in url_xiaoshuo:
        # 獲取每個元素中的href值
        url = item.a['href']
        # 將值傳入url_xs集合中
        url_xs.append(url)
    return url_xs

具體的解釋，我已經(jīng)寫在注釋里了，不懂的可以在公眾號后臺留言

5.我們獲取到每個章節(jié)的鏈接之后，我們就需要把每一章節(jié)的內(nèi)容給弄下來并且把它寫入到txt文本而且每個文本的標(biāo)題為章節(jié)的標(biāo)題

# 解析小說每個章節(jié)的的主要內(nèi)容
def jsoupXiaoshuo(list):
    for item in list:
        html = getHtml(item)
        html = BeautifulSoup(html)
        # 獲取小說標(biāo)題
        title = html.h2.get_text()
        xiaoshuo = html.find_all('p')

        for item in xiaoshuo:
            str = item.get_text()
            # open中的第二個參數(shù)是讓每一次的字符串接連到上一個字符串，千萬不能是ｗ
            with open(title + '.txt', 'a') as f:
                f.write(str+'\n')

6.最后我們再main方法中運(yùn)行這幾個方法即可：

if __name__ == '__main__':
    html = getHtml("http://www.136book.com/dadaozhaotian/")

    url_xs = jsoupUrl(html)

    jsoupXiaoshuo(url_xs)

運(yùn)行出來的結(jié)果：

到此，關(guān)于“怎么用Python爬蟲下載整本小說”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識，請繼續(xù)關(guān)注億速云網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！