python爬取免費(fèi)或付費(fèi)小說(shuō)的示例分析

import urllib.requestimport re# 1 獲取主頁(yè)源代碼# 2 獲取章節(jié)超鏈接# 3 獲取章節(jié)超鏈接源碼# 4 獲取小說(shuō)內(nèi)容# 5 下載,文件操作
# 駝峰命名法# 獲取小說(shuō)內(nèi)容def getNovertContent():    # <http.client.HTTPResponse object at 0x000001DFD017F400>    html = urllib.request.urlopen("http://www.quanshuwang.com/book/0/269").read()    html = html.decode("gbk")    # 不加括號(hào)  不匹配    # 正則表達(dá)式  .*?  匹配所有    reg = r'<li><a href="(.*?)" title=".*?">(.*?)</a></li>'    # 增加效率的    reg = re.compile(reg)    urls = re.findall(reg,html)    # print(urls)    # 列表    # [(http://www.quanshuwang.com/book/0/269/78850.html,第一章 山邊小村),    # (http://www.quanshuwang.com/book/0/269/78854.html,第二章 青牛鎮(zhèn))]    for url in urls:        # 章節(jié)的URL地址        novel_url = url[0]        # 章節(jié)標(biāo)題        novel_title = url[1]
        chapt = urllib.request.urlopen(novel_url).read()        chapt_html = chapt.decode("gbk")        # r 表示原生字符串   \ \\d  r"\d"        reg = r'</script>&nbsp;&nbsp;&nbsp;&nbsp;(.*?)<script type="text/javascript">'        # S 代表多行匹配        reg = re.compile(reg,re.S)        chapt_content = re.findall(reg,chapt_html)        # print(chapt_content)        # 列表["&nbsp;&nbsp;&nbsp;&nbsp二愣子睜大著雙眼，直直望著茅草和爛泥糊成的<br />"]
        # 第一個(gè)參數(shù)   要替換的字符串   替換后的字符串        chapt_content = chapt_content[0].replace("&nbsp;&nbsp;&nbsp;&nbsp;","")        # print(chapt_content)    字符串  二愣子睜大著雙眼，直直望著茅草和爛泥糊成的<br />        chapt_content = chapt_content.replace("<br />","")
        print("正在保存 %s"%novel_title)        # w 讀寫模式  wb        # f = open("{}.txt".format(novel_title),'w')        # f.write(chapt_content)
        with open("{}.txt".format(novel_title),'w') as f:            f.write(chapt_content)
        # f.close()
getNovertContent()