用Python爬蟲(chóng)獲取百度企業(yè)信用中企業(yè)基本信息的方法

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# @Author: Wild Orange
# @Email: jixuanfan_seu@163.com
# @Date:  2020-06-19 22:38:14
# @Last Modified time: 2020-07-01 17:33:13

import requests
import re
import json

headers={'User-Agent': 'Chrome/76.0.3809.132'}

#正則表達(dá)式提取數(shù)據(jù)
re_get_js=re.compile(r'<script>([\s\S]*&#63;)</script>')
re_resultList=re.compile(r'"resultList":(\[{.+&#63;}\]}])')

def Get_company_info(name):
	'''
		@func: 通過(guò)百度企業(yè)信用查詢(xún)企業(yè)基本信息
	'''
	url='https://xin.baidu.com/s&#63;q=%s'%name
	res=requests.get(url,headers=headers)
	if res.status_code==200:
		html=res.text
		retVal=_parse_baidu_company_info(html)
		return retVal
	else:
		print('無(wú)法獲取%s的企業(yè)信息'%name)

def _parse_baidu_company_info(html):
	'''
		@function：解析百度企業(yè)信用提供的企業(yè)基本信息
		@output: list of dict, [{},{},...]
			pid: 跳轉(zhuǎn)到具體企業(yè)頁(yè)面的參數(shù)
			bid: 具體企業(yè)頁(yè)面URL中的參數(shù)
			name: 企業(yè)名稱(chēng)
			type: 企業(yè)類(lèi)型
			date: 成立日期
			address: 地址
			person: 法人代表
			status: 存續(xù)狀態(tài)
			regCap: 注冊(cè)資本
			scope: 經(jīng)營(yíng)范圍
	'''
	js=re_get_js.findall(html)[1]
	data=re_resultList.search(js)
	if not data:
		return
	compant_list=json.loads(data.group(1))
	
	retVal=[]
	for x in compant_list:
		regCap=x['regCap'].replace(',','')
		if regCap[-1]=='萬(wàn)':
			regCap=regCap[:-1]
		regCap=float(regCap)
		address=x['domicile'].replace('<em>','').replace('</em>','')
		
		temp_v={'pid':x['pid'],'bid':x['bid'],'name':x['titleName'],'type':x['entType'],'date':x['validityFrom'],\
				'address':address,'person':x['legalPerson'],'status':x['openStatus'],'regCap':regCap,\
				'scope':x['scope']}
		retVal.append(temp_v)
	return retVal

res=Get_company_info('江蘇蘇寧')
	print(res)