您好,登錄后才能下訂單哦!
今天小編給大家分享一下Python爬蟲框架NewSpaper如何使用的相關(guān)知識(shí)點(diǎn),內(nèi)容詳細(xì),邏輯清晰,相信大部分人都還太了解這方面的知識(shí),所以分享這篇文章給大家參考一下,希望大家閱讀完這篇文章后有所收獲,下面我們一起來了解一下吧。
安裝非常簡(jiǎn)單
pip install newspaper3k -i pypi.tuna.tsinghua.edu.cn/simple
對(duì)于這款框架,使用起來難度是非常低的。簡(jiǎn)單對(duì)照這一頁文檔即可應(yīng)用起來
第一種應(yīng)用方式,直接獲取網(wǎng)頁內(nèi)容
from newspaper import Article url = "https://36kr.com/p/857678806293124" article = Article(url) # 創(chuàng)建文章對(duì)象 article.download() # 加載網(wǎng)頁 article.parse() # 解析網(wǎng)頁 print(article.html) # 打印html文檔
當(dāng)然還有一些其他屬性,不過該框架都是基于關(guān)鍵字識(shí)別的,有一些BUG存在,有時(shí)識(shí)別不準(zhǔn)
# print(article.html) # 打印html文檔 print(article.text) # 新聞?wù)? print("-"*100) print(article.title) # 新聞標(biāo)題 print("-"*100) print(article.authors) # 新聞作者 print("-"*100) print(article.summary) # 新聞?wù)? print(article.keywords) # 新聞關(guān)鍵詞 # print(article.top_image) # 本文的top_image的URL # print(article.images) # 本文中的所有圖像url
默認(rèn)情況下,newspaper緩存所有待提取的文章,如果文章被爬取過之后就會(huì)清除掉它。此功能用于防止重復(fù)的文章和提高提取速度。可以使用memoize_articles
參數(shù)選擇是否緩存。
但當(dāng)我使用下面這個(gè)辦法進(jìn)行提取的時(shí)候,神奇的BUG出現(xiàn)了,怎么也得不到我想要的文章了。唉~看來框架完善之路還是要繼續(xù)啊
import newspaper url = "https://news.sina.com.cn/c/2020-08-29/doc-iivhvpwy3651884.shtml" # article = Article(url) # 創(chuàng)建文章對(duì)象 # article.download() # 加載網(wǎng)頁 # article.parse() # 解析網(wǎng)頁 news = newspaper.build(url, language='zh', memoize_articles=False) article = news.articles[0] article.download() article.parse() print('title=',article.title)
在應(yīng)用的過程中發(fā)現(xiàn)確實(shí)解析存在很大的問題,不過整體的框架設(shè)計(jì)思路還是非常棒的。有點(diǎn)高開低走 ,看到github上的評(píng)語其實(shí)對(duì)newspaper是非常有期待的,使用之后,我建議還是使用requests然后加上bs4自己搞搞更加合理。
除了上面簡(jiǎn)單介紹到的功能,它還有一些擴(kuò)展,例如下面這些
requests
和newspaper
合體解析網(wǎng)頁正文,也就是用requests爬取,newspaper充當(dāng)解析器
可以調(diào)用Google Trends
信息
支持多任務(wù)爬取
支持NPL自然語言處理
以上就是“Python爬蟲框架NewSpaper如何使用”這篇文章的所有內(nèi)容,感謝各位的閱讀!相信大家閱讀完這篇文章都有很大的收獲,小編每天都會(huì)為大家更新不同的知識(shí),如果還想學(xué)習(xí)更多的知識(shí),請(qǐng)關(guān)注億速云行業(yè)資訊頻道。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。