您好,登錄后才能下訂單哦!
這篇文章主要介紹了python爬蟲中如何爬取新聞,具有一定借鑒價(jià)值,感興趣的朋友可以參考下,希望大家閱讀完這篇文章之后大有收獲,下面讓小編帶著大家一起了解一下。
python的五大特點(diǎn):1.簡單易學(xué),開發(fā)程序時(shí),專注的是解決問題,而不是搞明白語言本身。2.面向?qū)ο?,與其他主要的語言如C++和Java相比, Python以一種非常強(qiáng)大又簡單的方式實(shí)現(xiàn)面向?qū)ο缶幊獭?.可移植性,Python程序無需修改就可以在各種平臺(tái)上運(yùn)行。4.解釋性,Python語言寫的程序不需要編譯成二進(jìn)制代碼,可以直接從源代碼運(yùn)行程序。5.開源,Python是 FLOSS(自由/開放源碼軟件)之一。
1、爬蟲思路:
定義編碼形式并引入模塊;
請(qǐng)求新聞網(wǎng)站URL,獲取其text文本并解析;
通過select選擇器定位解析文件指定的元素,返回一個(gè)列表并遍歷;
獲取相關(guān)內(nèi)容。
2、具體實(shí)現(xiàn)
第一步:使用UTF-8編碼形式定義文件(避免一些編碼錯(cuò)誤導(dǎo)致中文亂碼),并引入相關(guān)模塊。
# coding:utf-8 # 引入相關(guān)模塊 import requests from bs4 import BeautifulSoup url = "http://news.qq.com/"
第二步:請(qǐng)求新聞網(wǎng)站URL,獲取其text文本
wbdata = requests.get(url).text
第三步:解析獲取到的文本
soup = BeautifulSoup(wbdata,'lxml')
第四步:通過select選擇器定位解析文件指定的元素,返回一個(gè)列表
從解析文件中通過select選擇器定位指定的元素,返回一個(gè)列表 news_titles = soup.select("div.text > em.f14 > a.linkto")
第五步:遍歷返回的列表
for n in news_titles:
第六步:獲取新聞標(biāo)題及信息
# 提取出標(biāo)題和鏈接信息 title = n.get_text() link = n.get("href") data = { '標(biāo)題':title, '鏈接':link } print(data)
感謝你能夠認(rèn)真閱讀完這篇文章,希望小編分享的“python爬蟲中如何爬取新聞”這篇文章對(duì)大家有幫助,同時(shí)也希望大家多多支持億速云,關(guān)注億速云行業(yè)資訊頻道,更多相關(guān)知識(shí)等著你來學(xué)習(xí)!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請(qǐng)聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。