利用Python爬蟲怎么爬取喜馬拉雅app上的音頻數(shù)據(jù)

發(fā)布時間：2020-12-07 14:25:36 來源：億速云閱讀：482 作者：Leah 欄目：開發(fā)技術

本篇文章給大家分享的是有關利用Python爬蟲怎么爬取喜馬拉雅app上的音頻數(shù)據(jù)，小編覺得挺實用的，因此分享給大家學習，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

環(huán)境：

1.確定數(shù)據(jù)所在的鏈接地址(url)
2.通過代碼發(fā)送url地址的請求
3.解析數(shù)據(jù)(要的, 篩選不要的)
4.數(shù)據(jù)持久化(保存)

案例思路：

1. 在靜態(tài)數(shù)據(jù)中獲取音頻的id值

2. 發(fā)送指定id值json數(shù)據(jù)請求(src)

3. 從json數(shù)據(jù)中解析音頻所對應的URL地址開始寫代碼

先導入所需的模塊

import requests
import parsel # 數(shù)據(jù)解析模塊
import re

1.確定數(shù)據(jù)所在的鏈接地址(url) 逆向分析網頁性質(靜態(tài)網頁/動態(tài)網頁)

打開開發(fā)者工具，播放一個音頻，在Madie里面可以找到一個數(shù)據(jù)包

利用Python爬蟲怎么爬取喜馬拉雅app上的音頻數(shù)據(jù)

復制URL，搜索

利用Python爬蟲怎么爬取喜馬拉雅app上的音頻數(shù)據(jù)

找到ID值

利用Python爬蟲怎么爬取喜馬拉雅app上的音頻數(shù)據(jù)

繼續(xù)搜索，找到請求頭參數(shù)

利用Python爬蟲怎么爬取喜馬拉雅app上的音頻數(shù)據(jù)

url = 'https://www.ximalaya.com/youshengshu/4256765/p{}/'.format(page)
headers = {
 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36'}

2.通過代碼發(fā)送url地址的請求

response = requests.get(url=url, headers=headers)
html_data = response.text

3.解析數(shù)據(jù)(要的, 篩選不要的) 解析音頻的 id值

selector = parsel.Selector(html_data)
lis = selector.xpath('//div[@class="sound-list _is"]/ul/li')

for li in lis:
 try:
  title = li.xpath('.//a/@title').get() + '.m4a'
  href = li.xpath('.//a/@href').get()
  # print(title, href)

  m4a_id = href.split('/')[-1]
  # print(href, m4a_id)

  # 發(fā)送指定id值json數(shù)據(jù)請求(src)
  json_url = 'https://www.ximalaya.com/revision/play/v1/audio&#63;id={}&ptype=1'.format(m4a_id)
  json_data = requests.get(url=json_url, headers=headers).json()
  # print(json_data)

  # 提取音頻地址
  m4a_url = json_data['data']['src']
  # print(m4a_url)

  # 請求音頻數(shù)據(jù)
  m4a_data = requests.get(url=m4a_url, headers=headers).content

  new_title = change_title(title)

4.數(shù)據(jù)持久化(保存)

with open('video\\' + new_title, mode='wb') as f:
 f.write(m4a_data)
 print('保存完成:', title)

最后還要處理文件名非法字符

def change_title(title):
 pattern = re.compile(r"[\/\\\:\*\&#63;\"\<\>\|]") # '/ \ : * &#63; " < > |'
 new_title = re.sub(pattern, "_", title) # 替換為下劃線
 return new_title

完整代碼

import re

import requests
import parsel # 數(shù)據(jù)解析模塊


def change_title(title):
 """處理文件名非法字符的方法"""
 pattern = re.compile(r"[\/\\\:\*\&#63;\"\<\>\|]") # '/ \ : * &#63; " < > |'
 new_title = re.sub(pattern, "_", title) # 替換為下劃線
 return new_title


for page in range(13, 33):
 print('---------------正在爬取第{}頁的數(shù)據(jù)----------------'.format(page))
 # 1.確定數(shù)據(jù)所在的鏈接地址(url) 逆向分析 網頁性質(靜態(tài)網頁/動態(tài)網頁)
 url = 'https://www.ximalaya.com/youshengshu/4256765/p{}/'.format(page)
 headers = {
  'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36'}

 # 2.通過代碼發(fā)送url地址的請求
 response = requests.get(url=url, headers=headers)
 html_data = response.text
 # print(html_data)

 # 3.解析數(shù)據(jù)(要的, 篩選不要的) 解析音頻的 id值
 selector = parsel.Selector(html_data)
 lis = selector.xpath('//div[@class="sound-list _is"]/ul/li')

 for li in lis:
  try:
   title = li.xpath('.//a/@title').get() + '.m4a'
   href = li.xpath('.//a/@href').get()
   # print(title, href)

   m4a_id = href.split('/')[-1]
   # print(href, m4a_id)

   # 發(fā)送指定id值json數(shù)據(jù)請求(src)
   json_url = 'https://www.ximalaya.com/revision/play/v1/audio&#63;id={}&ptype=1'.format(m4a_id)
   json_data = requests.get(url=json_url, headers=headers).json()
   # print(json_data)

   # 提取音頻地址
   m4a_url = json_data['data']['src']
   # print(m4a_url)

   # 請求音頻數(shù)據(jù)
   m4a_data = requests.get(url=m4a_url, headers=headers).content

   new_title = change_title(title)
   # print(new_title)

   # 4.數(shù)據(jù)持久化(保存)
   with open('video\\' + new_title, mode='wb') as f:
    f.write(m4a_data)
    print('保存完成:', title)
  except:
   pass

以上就是利用Python爬蟲怎么爬取喜馬拉雅app上的音頻數(shù)據(jù)，小編相信有部分知識點可能是我們日常工作會見到或用到的。希望你能通過這篇文章學到更多知識。更多詳情敬請關注億速云行業(yè)資訊頻道。

向AI問一下細節(jié)

利用Python爬蟲怎么爬取喜馬拉雅app上的音頻數(shù)據(jù)

猜你喜歡

最新資訊

相關推薦

相關標簽