Python爬取表格的步驟

小編給大家分享一下Python爬取表格的步驟，希望大家閱讀完這篇文章后大所收獲，下面讓我們一起去探討方法吧！

Python爬取表格的步驟：

1、檢查url地址，用raise_for_status()檢查url地址；

2、爬取資源，用BeautifulSoup()爬取數(shù)據(jù)，并且用find_all('tr')抓取其中的表格；

3、保存資源，用write()將表格保存到指定目錄。

from bs4 import BeautifulSoup 
import requests 
import csv 
import bs4 
#檢查url地址 
def check_link(url): 
 try: 
  r = requests.get(url) 
  r.raise_for_status() 
  r.encoding = r.apparent_encoding 
  return r.text 
 except: 
  print('無法鏈接服務(wù)器?。。?#39;) 
#爬取資源 
def get_contents(ulist,rurl): 
 soup = BeautifulSoup(rurl,'lxml') 
 trs = soup.find_all('tr') 
 for tr in trs: 
  ui = [] 
  for td in tr: 
   ui.append(td.string) 
  ulist.append(ui) 
#保存資源 
def save_contents(urlist): 
 with open("D:/2016年中國企業(yè)500強(qiáng)排行榜.csv",'w') as f: 
  writer = csv.writer(f) 
  writer.writerow(['2016年中國企業(yè)500強(qiáng)排行榜']) 
  for i in range(len(urlist)): 
   writer.writerow([urlist[i][1],urlist[i][3],urlist[i][5]]) 
def main(): 
 urli = [] 
 url = "http://www.maigoo.com/news/463071.html"
 rs = check_link(url) 
 get_contents(urli,rs) 
 save_contents(urli) 
main()

運(yùn)行結(jié)果：

看完了這篇文章，相信你對(duì)Python爬取表格的步驟有了一定的了解，想了解更多相關(guān)知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道，感謝各位的閱讀！