溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

Python使用Beautiful Soup爬取豆瓣音樂(lè)排行榜過(guò)程解析

發(fā)布時(shí)間：2020-10-06 21:32:08 來(lái)源：腳本之家 閱讀：204 作者：Summer哥 欄目：開(kāi)發(fā)技術(shù)

前言

要想學(xué)好爬蟲(chóng)，必須把基礎(chǔ)打扎實(shí)，之前發(fā)布了兩篇文章，分別是使用XPATH和requests爬取網(wǎng)頁(yè)，今天的文章是學(xué)習(xí)Beautiful Soup并通過(guò)一個(gè)例子來(lái)實(shí)現(xiàn)如何使用Beautiful Soup爬取網(wǎng)頁(yè)。

什么是Beautiful Soup

  • Beautiful Soup是一款高效的Python網(wǎng)頁(yè)解析分析工具，可以用于解析HTL和XML文件并從中提取數(shù)據(jù)。
  • Beautiful Soup輸入文件的默認(rèn)編碼是Unicode，輸出文件的編碼是UTF-8。
  • Beautiful Soup具有將輸入文件自動(dòng)補(bǔ)全的功能，如果輸入的HTML文件的title標(biāo)簽沒(méi)有閉合，則在輸出的文件中會(huì)自動(dòng)補(bǔ)全</title>，并且還可以將格式混亂的輸入文件按照標(biāo)準(zhǔn)的縮進(jìn)格式輸出。

Beautiful Soup要和其他的解析器搭配使用，例如Python標(biāo)準(zhǔn)庫(kù)中的HTML解析器和其他第三方的lxml解析器，由于lxml解析器速度快、容錯(cuò)能力強(qiáng)，因此一般和Beautiful Soup搭配使用。

初始化Beautiful Soup對(duì)象的代碼：

html = 
'''
<html><title>Hello Beautiful Soup</title><p>Hello</p></html>
'''
soup = BeautifulSoup(html,'lxml')

只需把第二個(gè)參數(shù)寫成”lxml”即可使用lxml解析器初始化Beautiful Soup對(duì)象。

Beautiful Soup提供了三種選擇器用去爬取節(jié)點(diǎn)中的數(shù)據(jù)，分別是節(jié)點(diǎn)選擇器、方法選擇器和CSS選擇器。下面分別介紹著三個(gè)選擇器的用法。

節(jié)點(diǎn)選擇器：

HTML網(wǎng)頁(yè)有title、p、a、head、tr、td等節(jié)點(diǎn)。通過(guò)Beautiful Soup對(duì)象+”.”+節(jié)點(diǎn)即可直接訪問(wèn)到節(jié)點(diǎn)。 Beautiful Soup對(duì)象+”.”+節(jié)點(diǎn)+”.”+string即可提取到節(jié)點(diǎn)的文本信息。

用法 描述
soup.title 選擇第一個(gè)title節(jié)點(diǎn)
soup.title.string 提取第一個(gè)title節(jié)點(diǎn)的文本信息
soup.title.attrs 獲取第一個(gè)title節(jié)點(diǎn)的所有屬性，返回的結(jié)果的詞典。
如果有class屬性，則class屬性返回的是list，class屬性之間以空格當(dāng)做分隔符
soup.p.contents 獲取第一個(gè)p節(jié)點(diǎn)的所有直接子節(jié)點(diǎn)。
該方法返回的是第一個(gè)p節(jié)點(diǎn)中包含的所有直接子字節(jié)點(diǎn)和文本，
不包含孫節(jié)點(diǎn)，兩個(gè)節(jié)點(diǎn)之間的文本也當(dāng)做是一個(gè)節(jié)點(diǎn)返回。
返回的結(jié)果是列表
soup.p.children 返回第一個(gè)p節(jié)點(diǎn)的所有直接子節(jié)點(diǎn)，返回的結(jié)果是list_iterator對(duì)象
soup.p.descendants 獲取第一個(gè)p節(jié)點(diǎn)的所有子孫節(jié)點(diǎn)
soup.a.parent 獲取第一個(gè)a節(jié)點(diǎn)的父節(jié)點(diǎn)
soup.a.parents 獲取第一個(gè)a節(jié)點(diǎn)的所有祖先節(jié)點(diǎn)
soup.p.next_siblings 獲取第一個(gè)p節(jié)點(diǎn)的下一個(gè)兄弟節(jié)點(diǎn)
soup.p.previous_siblings 獲取第一個(gè)p節(jié)點(diǎn)的上一個(gè)兄弟節(jié)點(diǎn)

方法選擇器：

根據(jù)傳入的參數(shù)查找符合條件的節(jié)點(diǎn)。 下面是方法選擇器提供的方法：

方法 描述
find_all(name,attrs,recursive,text,**kwargs) 根據(jù)傳入?yún)?shù)查找所有符合條件的節(jié)點(diǎn)，
name是節(jié)點(diǎn)名，attrs屬性值，text文本內(nèi)容等。
text參數(shù)可以是字符串，也可以是正則表達(dá)式:
soup.find_all(text=re.compile(‘test'))
find(name,attrs,recursive,text,**kwargs) 返回第一個(gè)符合條件的節(jié)點(diǎn)
find_parents() 返回所有祖先節(jié)點(diǎn)
find_parent() 返回父節(jié)點(diǎn)
find_next_siblings() 往后查找，所有兄弟節(jié)點(diǎn)
find_next_sibling() 往后查找，返回第一個(gè)兄弟節(jié)點(diǎn)
find_previous_siblings() 往前查找，返回所有兄弟節(jié)點(diǎn)
find_previous_sibling() 往前查找，返回第一個(gè)兄弟節(jié)點(diǎn)

在使用上面的方法時(shí)，如果參數(shù)中有Python的關(guān)鍵字，則需要在參數(shù)下面加一個(gè)下劃線，例如下面的代碼，class是Python的關(guān)鍵字，必須在class后加下劃線class_=”title_class”：

from bs4 import BeautifulSoup
html = '''
<html>
  <body>
    <title id="title_id" class="title_class" name="title name">Test BeautifulSoup</title>
    <p>
      <a href = "./test_beautifulsoup.html">test beautifulsoup link<a>
      
    </p>
    <ul>
      <li class="animal">cat</li>
      <li class="animal">dog</li>
    </ul>
  </body>
</html>
'''
soup = BeautifulSoup(html,'lxml')
print(soup.find_all(name='title',class_='title_class'))

CSS選擇器：

BeautifulSoup還支持獲取css元素，例如ul、div、li等元素。CSS選擇器主要提供select()方法獲取符合條件的節(jié)點(diǎn)(Tag對(duì)象)，然后通過(guò)節(jié)點(diǎn)的get_text()方法和text屬性可以獲取該節(jié)點(diǎn)的文本值。

select方法還可以根據(jù)css的樣式規(guī)則選擇相應(yīng)的節(jié)點(diǎn)：

from bs4 import BeautifulSoup

html = '''
<html>
  <body>
    <title id="title_id" class="title_class" name="title name">Test BeautifulSoup</title>
    <p>
      <a href = "./test_beautifulsoup.html">test beautifulsoup link<a>
      
    </p>
    <ul class="animal" id="aninal_id">
      <li class="cat">cat</li>
      <li class="animal dog">dog</li>
    </ul>
    <ul class="fruit" id = "fruit_id">
      <li class="apple">apple</li>
      <li class="banana">banana</li>
    </ul>
  </body>
</html>
'''
soup = BeautifulSoup(html,'lxml')
print('獲取id為title_的所有節(jié)點(diǎn)')
print(soup.select('#title_id'))
print('獲取class為title_的所有節(jié)點(diǎn)')
print(soup.select('.title_class'))
print('獲取所有ul節(jié)點(diǎn)下面的所有l(wèi)i節(jié)點(diǎn)')
print(soup.select('ul li'))
print('獲取所有class為fruit節(jié)點(diǎn)下的所有l(wèi)i節(jié)點(diǎn)')
print(soup.select('.fruit li'))
print('獲取所有class為fruit節(jié)點(diǎn)下的第一個(gè)li節(jié)點(diǎn)的文本值')
print(soup.select('.fruit li')[0].string)
print('獲取所有class為fruit節(jié)點(diǎn)下的第一個(gè)li節(jié)點(diǎn)的文本值')
print(soup.select('.fruit li')[0].get_text())
print('獲取所有class為fruit節(jié)點(diǎn)下的第一個(gè)li節(jié)點(diǎn)的class屬性值，注意class屬性返回的是list列表，屬性之間用空格分隔')
print(soup.select('.fruit li')[0].attrs['class'])
print(soup.select('.animal li')[1].attrs['class'])
print('循環(huán)迭代所有ul下面的所有l(wèi)i節(jié)點(diǎn)的文本值')
for li in soup.select('ul li'):
  print(li.text)

下面使用Beautiful Soup爬取豆瓣音樂(lè)排行榜。 在瀏覽器中打開(kāi)豆瓣音樂(lè)排行榜，打開(kāi)瀏覽器，輸入網(wǎng)址：https://music.douban.com/chart，我們要抓取的是每首歌曲的排名、歌曲名、演唱者、播放次數(shù)、上榜天數(shù)等數(shù)據(jù)。

Python使用Beautiful Soup爬取豆瓣音樂(lè)排行榜過(guò)程解析

下面分析怎么通過(guò)beautiful soup抓取到我們的數(shù)據(jù)。 通過(guò)開(kāi)發(fā)者工具，我們可以看到所有歌曲是在class為article的div中，然后每首個(gè)在class為clearfix的li中。

Python使用Beautiful Soup爬取豆瓣音樂(lè)排行榜過(guò)程解析

因此首先使用css選擇器獲取到class為article下面的所有l(wèi)i節(jié)點(diǎn)：

soup.select(".article li")

然后查看每首歌曲的html代碼：

Python使用Beautiful Soup爬取豆瓣音樂(lè)排行榜過(guò)程解析

紅色框部分是一首歌的html代碼。 歌曲排名在class為“gree-num-box”的span節(jié)點(diǎn)中，因?yàn)閟pan節(jié)點(diǎn)是<li class="clearfix">節(jié)點(diǎn)的子節(jié)點(diǎn)，獲取排名的代碼為：li.span.text

綠色框中A節(jié)點(diǎn)中是歌曲的鏈接和圖片鏈接，獲取歌曲鏈接的代碼為：li.a['href']

藍(lán)色框中是歌曲的名字、演唱者和播放次數(shù)，歌曲名是在class=”icon-play”的H3節(jié)點(diǎn)中，因此可以使用方法選擇器中的find()方法獲取到H3節(jié)點(diǎn)，然后獲取H3節(jié)點(diǎn)下面a節(jié)點(diǎn)中的文本信息就是歌曲的名字，代碼為：li.find(class_="icon-play").a.text

獲取演唱者和播放次數(shù)的代碼為： li.find(class_="intro").p.text.strip()

獲取上榜天數(shù)的代碼為：

li.find(class_="days").text.strip()

在豆瓣音樂(lè)排行榜的頁(yè)面一個(gè)現(xiàn)實(shí)20首歌曲，前面10首歌曲會(huì)有圖片，后面10首歌曲是沒(méi)有圖片的，因此后面10首歌曲將不獲取圖片的地址。

另外還有一點(diǎn)需要注意的是，后面10首歌曲的演唱者和播放次數(shù)是在class=”icon-play”的p節(jié)點(diǎn)中：

Python使用Beautiful Soup爬取豆瓣音樂(lè)排行榜過(guò)程解析

而該節(jié)點(diǎn)中有a節(jié)點(diǎn)，要想獲取a節(jié)點(diǎn)外的信息，必須使用節(jié)點(diǎn)選擇器的contents方法： li.find(class_="intro").p.contents[2].strip() contents返回的是p節(jié)點(diǎn)的直接子節(jié)點(diǎn)，以列表的形式返回，這里返回列表中有3個(gè)元素，分別是<p>后的字符串，a節(jié)點(diǎn)、演唱者/播次數(shù)。contents會(huì)將直接子節(jié)點(diǎn)之間的換行符也當(dāng)做一個(gè)元素。 代碼整理后如下：

# coding:utf-8

from bs4 import BeautifulSoup
import requests
def parseHtml(url):
  headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0"}

  response = requests.get(url,headers=headers)
  soup = BeautifulSoup(response.text,'lxml')
  #使用css選擇器獲取class="article"的節(jié)點(diǎn)下面的所有l(wèi)i節(jié)點(diǎn)
  for index,li in enumerate(soup.select(".article li")):
    if(index <10):
      print('歌曲排名：' + li.span.text)
      print('歌曲鏈接：' + li.a['href'])
      print('歌曲名：' + li.find(class_="icon-play").a.text)#使用方法選擇器
      print('演唱者/播放次數(shù)：' + li.find(class_="intro").p.text.strip())
      print('上榜時(shí)間：'+li.find(class_="days").text.strip())
    else:
      print('歌曲排名：' + li.span.text)
      print('歌曲名：' + li.find(class_="icon-play").a.text)
      print('演唱者/播放次數(shù)：' + li.find(class_="intro").p.contents[2].strip())#方法選擇器和節(jié)點(diǎn)選擇器搭配使用
      print('上榜時(shí)間：' + li.find(class_="days").text.strip())
    print('—————————————————強(qiáng)力分隔符———————————————————')

def main():
  url = "https://music.douban.com/chart"
  parseHtml(url)

if __name__ == '__main__':
  main()

本文通過(guò)爬取豆瓣音樂(lè)排行榜的小項(xiàng)目學(xué)習(xí)了如何使用Beautiful Soup的節(jié)點(diǎn)選擇器、方法選擇器、CSS選擇器來(lái)爬取一個(gè)網(wǎng)頁(yè)。這三個(gè)選擇器可以混合搭配使用。

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持億速云。

向AI問(wèn)一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手