如何使用python爬蟲爬取騰訊云技術(shù)社區(qū)的文章

這篇文章主要介紹了如何使用python爬蟲爬取騰訊云技術(shù)社區(qū)的文章，具有一定借鑒價(jià)值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

正文

編程思路

1. 獲取所有文章的地址

2. 對單文章頁進(jìn)行內(nèi)容提取

3. 將所有文章進(jìn)行內(nèi)容提取，并將結(jié)果存入MongoDB數(shù)據(jù)庫中

4. 利用分詞系統(tǒng)和wordcloud進(jìn)行詞云的構(gòu)建

注:存儲所有文章地址前，我加了一個(gè)隨機(jī)數(shù)，后期隨機(jī)抽取文章進(jìn)行提取
防止因日期不同導(dǎo)致結(jié)果具有局部性

獲取文章列表頁，所有的文章信息

保存格式為:

• index 隨機(jī)數(shù)索引

• title 文章名

• address 文章地址

• content 文章內(nèi)容

  def getonepageall(self, url): try: html = self.getpageindex(self.baseURL) # 采用BeautifulSoup解析 soup = BeautifulSoup(html, 'lxml') title = soup.select('.article-item > .title') address = soup.select('.article-item > .title > a[href]') for i in range(len(title)): # 生成隨機(jī)索引 randomnum = random.randrange(0, 6500) content = self.parsecontent('https://www.qcloud.com' + address[i].get('href').strip()) yield { 'index' : randomnum, 'title':title[i].get_text().strip(), 'address' : 'https://www.qcloud.com' + address[i].get('href').strip(), 'content' : content } # 遇到索引錯(cuò)誤時(shí)跳過 except IndexError: pass

解析文章內(nèi)容

   def parse_content(self, url):
        html = self.get_page_index(url)
        soup = BeautifulSoup(html, 'lxml')
        #這里直接用了class為J-article-detail的div里面的內(nèi)容
        content = soup.select('.J-article-detail')
        return content[0].get_text()

結(jié)果

這里我就直接把最后生成的結(jié)果放出來了
由于分詞系統(tǒng)不是很好，導(dǎo)致結(jié)果不是很理想
這里我利用了正則表達(dá)式，將內(nèi)容中所有非中文的字符去掉了

由于個(gè)人計(jì)算機(jī)配置不是很好，我將結(jié)果分為了20份，每份均為隨機(jī)選取的100篇文章組成

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“如何使用python爬蟲爬取騰訊云技術(shù)社區(qū)的文章”這篇文章對大家有幫助，同時(shí)也希望大家多多支持億速云，關(guān)注億速云行業(yè)資訊頻道，更多相關(guān)知識等著你來學(xué)習(xí)!