您好,登錄后才能下訂單哦!
這篇文章主要介紹了python如何獲取網(wǎng)頁(yè)內(nèi)容,具有一定借鑒價(jià)值,需要的朋友可以參考下。希望大家閱讀完這篇文章后大有收獲。下面讓小編帶著大家一起了解一下。
Python用做數(shù)據(jù)處理還是相當(dāng)不錯(cuò)的,如果你想要做爬蟲(chóng),Python是很好的選擇,它有很多已經(jīng)寫(xiě)好的類包,只要調(diào)用,即可完成很多復(fù)雜的功能。
1 Pyhton獲取網(wǎng)頁(yè)的內(nèi)容(也就是源代碼)
page = urllib2.urlopen(url) contents = page.read() #獲得了整個(gè)網(wǎng)頁(yè)的內(nèi)容也就是源代碼 print(contents)
url代表網(wǎng)址,contents代表網(wǎng)址所對(duì)應(yīng)的源代碼,urllib2是需要用到的包,以上三句代碼就能獲得網(wǎng)頁(yè)的整個(gè)源代碼
2 獲取網(wǎng)頁(yè)中想要的內(nèi)容(先要獲得網(wǎng)頁(yè)源代碼,再分析網(wǎng)頁(yè)源代碼,找所對(duì)應(yīng)的標(biāo)簽,然后提取出標(biāo)簽中的內(nèi)容)
以豆瓣電影排名為例子
現(xiàn)在我需要獲得當(dāng)前頁(yè)面的所有電影的名字,評(píng)分,評(píng)價(jià)人數(shù),鏈接
#coding:utf-8 ''''' @author: jsjxy ''' import urllib2 import re from bs4 import BeautifulSoup from distutils.filelist import findall page = urllib2.urlopen('http://movie.douban.com/top250?format=text') contents = page.read() #print(contents) soup = BeautifulSoup(contents,"html.parser") print("豆瓣電影TOP250" + "\n" +" 影片名 評(píng)分 評(píng)價(jià)人數(shù) 鏈接 ") for tag in soup.find_all('div', class_='info'): # print tag m_name = tag.find('span', class_='title').get_text() m_rating_score = float(tag.find('span',class_='rating_num').get_text()) m_people = tag.find('div',class_="star") m_span = m_people.findAll('span') m_peoplecount = m_span[3].contents[0] m_url=tag.find('a').get('href') print( m_name+" " + str(m_rating_score) + " " + m_peoplecount + " " + m_url )
控制臺(tái)輸出,你也可以寫(xiě)入文件中
感謝你能夠認(rèn)真閱讀完這篇文章,希望小編分享python如何獲取網(wǎng)頁(yè)內(nèi)容內(nèi)容對(duì)大家有幫助,同時(shí)也希望大家多多支持億速云,關(guān)注億速云行業(yè)資訊頻道,遇到問(wèn)題就找億速云,詳細(xì)的解決方法等著你來(lái)學(xué)習(xí)!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。