Python如何一鍵爬取你所關心的書籍信息

import json
import requests
import pandas as pd
from lxml import etree

bsdf=pd.read_excel('booklistfortest.xlsx') 
blst=list(bsdf['書名'])  #書名列表
#bsdf.head(3)

def getBookInfo(binfo,cc):
    i=0
    rss={}
    k=''
    v=''
    f=0
    clw=[]
    for c in cc:
        if '\n' in c:
            if '\xa0' in c:
                clw.append(c)
        else:
            clw.append(c)
    
    for m in binfo[0]:
        if m.tag=='span':
            mlst=m.getchildren()
            if len(mlst)==0: 
                k=m.text.replace(':','')
                if '\xa0' in clw[i]:
                    f=1#需要m.tag=='a'下的值
                else:
                    v=clw[i].replace('\n','').replace(' ','')
                i+=1
            elif len(mlst)>0:#下面有子span 一種判斷是m.attrib=={} 不夠精確
                for n in mlst:
                    if n.tag=='span':
                        k=n.text.replace('\n','').replace(' ','') #不至于下面還有span，懶得用遞歸了
                    elif n.tag=='a':
                        v=n.text.replace('\n','').replace(' ','')
        
        elif m.tag=='a':
            if f==1: #是否可以不用這個if
                v=m.text.replace('\n','').replace(' ','')
                f=0
        elif m.tag=='br':
            if k=='':
                print(i,'err')
            else:
                rss[k]=v
        else:
            print(m.tag,i)
    return rss

rlst=[]
for bn in blst:
    res={}
    r=requests.get('https://book.douban.com/j/subject_suggest?q={0}'.format(bn))
    rj=json.loads(r.text)
    #對rj進行一下驗證和篩選
    html=requests.get(rj[0]['url']) #之后再考慮多個返回值的驗證
    con = etree.HTML(html.text)
    bname=con.xpath('//*[@id="wrapper"]/h2/span/text()')[0] #和bn比較
    res['bname_sq']=bn
    res['bname']=bname
    res['dbid']=rj[0]['id'] #不需要存url，存id就夠了
    #這部分取到info就夠了，之后再用高級方法去匹配需要的元素，目前對應不對
    binfo=con.xpath('//*[@id="info"]')
    cc=con.xpath('//*[@id="info"]/text()')
    res.update(getBookInfo(binfo,cc))  #調用上面的函數(shù)處理binfo
    bmark=con.xpath('//*[@id="interest_sectl"]/div/div[2]/strong/text()')[0]
    if bmark=='  ':
        bits=con.xpath('//*[@id="interest_sectl"]/div/div[2]/div/div[2]/span/a/text()')[0]
        if bits=='評價人數(shù)不足':
            res['評分']=''
            res['評價人數(shù)']='評價人數(shù)不足'
        else:
            res['評分']=''
            res['評價人數(shù)']=''
    else:
        res['評分']=bmark.replace(' ','')
        bmnum=con.xpath('//*[@id="interest_sectl"]/div/div[2]/div/div[2]/span/a/span/text()')[0]
        res['評價人數(shù)']=bmnum
    rlst.append(res)
得到的數(shù)據可以進行一定的標準化然后進行分析再輸出。上面得到的列表rlst=[{'書名':'a','出版社':'b'},{'','','':''}]，可以直接變成dataframe，

outdf=pd.DataFrame(rlst) #轉dataframe
outdf.to_excel('out_douban_binfo.xlsx',index=False) #輸出數(shù)據

bdf=bsdf.merge(outdf,on='書名',how='left') # 數(shù)據合并
# 基本統(tǒng)計值
print('一共有{0}本書，{1}個作者，{2}個出版社；'.format(len(bdf),len(set(list(bdf['作
者']))),len(set(list(bdf['出版社'])))))

bdf.loc[bdf['作者']=='吳軍',['書名','閱讀時間','閱讀情況','出版社']]
#output：
'''
                  書名       閱讀時間 閱讀情況      出版社
103             數(shù)學之美 2016-10-20   P5  人民郵電出版社
233             智能時代 2017-06-22   P4    中信出版社
237             硅谷之謎 2017-07-01   P4  人民郵電出版社
383  見識--商業(yè)的本質和人生的智慧 2018-10-21   P4    中信出版社
'''
對每月閱讀數(shù)量進行統(tǒng)計：

import matplotlib.pyplot as plt #繪圖用到matplotlib庫
%matplotlib inline

bdf['閱讀年月']=bdf['閱讀時間'].apply(lambda x : x.strftime('%Y-%m'))
read_date=bdf['閱讀年月'].value_counts() #每月閱讀量，按月計數(shù)
read_date=pd.DataFrame(read_date,columns=['閱讀年月']) #從Series變?yōu)镈ataFrame
read_date=read_date.sort_index()

plt.figure(figsize=(15,5))
plt.xticks(rotation=90)#設置時間標簽顯示格式
plt.plot(read_date) #因為jupyter里寫了 %matplotlib inline 不用寫 plt.show()

import numpy as np
bdf['閱讀年']=bdf['閱讀時間'].apply(lambda x : x.strftime('%Y'))
bdf['閱讀月']=bdf['閱讀時間'].apply(lambda x : x.strftime('%m')) #這里也可以用.month .year
r_dd=bdf.loc[:,['閱讀年','閱讀月']]
r_dd['val']=1 #用以初始化
r_dd=pd.pivot_table(r_dd,values='val',index=['閱讀月'],columns=['閱讀年'],aggfunc=np.sum).fillna(value=0)
#這部分代碼的細節(jié)可以看本人github里jupyter notebook文件的輸出
r_dd=r_dd.loc[:,['2016','2017','2018']] #因為其他年份月份不全，只取這3年來看
plt.figure()
r_dd.plot(xticks=range(1,13),figsize=(12,5))

b_rank=pd.DataFrame(bdf['評分']) #評分分布（箱線圖）
b_rank.boxplot()

#另，評分 top 10：
#bdf.sort_values(by='評分',ascending=False).head(10).loc[:,['書名','作者','閱讀時間'
,'閱讀情況','出版社','評分']]