Python下載網(wǎng)絡小說實例代碼

#主函數(shù)
if __name__ == '__main__':
  global numChapter
  global NOVERL

  NOVERL = '大主宰.txt'
  #NOVERL = '擇天記.txt'
  NOVERL = '武動乾坤.txt'


  if(NOVERL == '大主宰.txt'):
    textStartURL = 'http://www.bxwx8.org/b/62/62724/11455540.html';#大主宰第一章的URL
    textStartURL = 'http://www.bxwx8.org/b/62/62724/28019405.html';#第一千兩百三十七章 鬼大師
  else:  
    textStartURL = 'http://www.bxwx8.org/b/98/98289/17069215.html';#擇天記第一章URL
    textStartURL = 'http://www.bxwx8.org/b/98/98289/28088874.html';#擇天記第七十八章 合劍術(shù)

    textStartURL = 'http://www.bxwx8.org/b/35/35282/5839471.html';#武動乾坤第一章
    #textStartURL = 'http://www.bxwx8.org/b/35/35282/7620539.html';#武動乾坤
  nextURL = textStartURL;

  isEnd = False

  f = open(NOVERL, 'w', encoding='utf-8')  
  f.close()

  numChapter = 0;
  while(not isEnd):
    nextURL,isEnd = findNextTextURL(nextURL)

  print('end of capture!')
  print('獲取到 ' + str(numChapter) + ' 章')

#找到 下一章節(jié)的URL
#獲取小說內(nèi)容
def findNextTextURL(url):
  global numChapter
  global NOVERL
  #如果nextURL == endURL 則返回false

  if(NOVERL == '大主宰.txt'):
    endURL = 'http://www.bxwx8.org/b/62/62724/index.html'#大主宰
    headURL = 'http://www.bxwx8.org/b/62/62724/'#大主宰
  else:  
    endURL = 'http://www.bxwx8.org/b/98/98289/index.html'#擇天記
    headURL = 'http://www.bxwx8.org/b/98/98289/'#擇天記

    endURL = 'http://www.bxwx8.org/b/35/35282/index.html'#武動乾坤
    headURL = 'http://www.bxwx8.org/b/35/35282/'#武動乾坤

  isEnd = False 


  resp   = urllib.request.urlopen(url)

  #處理的字符的確是gbk的，但是其中夾雜的部分特殊字符，
  #是gbk編碼中所沒有的如果有些特殊字符是GB18030中有的，但是是gbk中沒有的。
  #則用gbk去解碼，去所不支持的字符，也比如會出錯。
  #所以，此種情況，可以嘗試用和當前編碼（gbk）所兼容的但所包含字符更多的編碼（gb18030）去解碼，或許就可以了。
  #allHtml = resp.read().decode('gbk')#
  allHtml = resp.read().decode('gb18030')#

  textSoup = BeautifulSoup(allHtml)

  #章節(jié)名
  strChapter = textSoup.find(id='title').getText().split(r'【')[0]
  strChapter = strChapter.split(r'（')[0]
  strChapter = strChapter.replace('正文 ','') + '\n'
  numChapter = numChapter + 1
  strID = '#' + str(numChapter) + '-'
  strChapter = strID + strChapter

  strChapter = strChapter + '\n------------------------------\n' + url + '\n------------------------------\n'
  #小說正文
  strNovel = textSoup.find(id='content').getText()
  strNovel = strNovel.replace('  ','\n')

  #除去正文中多余的第XXX章
  strMatch = r"第[\u4e00-\u9fa5]+章"
  list2replace = re.findall(strMatch, strNovel)
  if list2replace:
    str2replace = list2replace[0]
    strNovel = strNovel.replace(str2replace, '')

  #合并章節(jié)和正文
  strNovel = strChapter + strNovel + '\n------------------------------\n------------------------------\n'

  #寫到txt文件中
  write2TXT(strNovel)

  #獲取下一個章節(jié)的URL
  nextURL = re.findall(r'var next_page = "[\w]+.html"', allHtml)[0]
  nextURL = nextURL.replace(r'"', '')
  nextURL = nextURL.replace(r'var next_page = ', '')
  nextURL = headURL + nextURL

  print(numChapter)#章節(jié)數(shù)
  print(strChapter)#章節(jié)名字
  print((nextURL))#下一章URL


  if(endURL == nextURL):
    isEnd = True

  return nextURL,isEnd

#寫到文本文件中
def write2TXT(txt):
  global NOVERL

  f = open(NOVERL, 'a', encoding='utf-8')
  f.write(txt + '\n\n')
  f.close()