溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點(diǎn)擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

python3對拉勾數(shù)據(jù)進(jìn)行可視化分析的方法詳解

發(fā)布時(shí)間:2020-08-25 13:55:43 來源:腳本之家 閱讀:152 作者:Max_Lyu 欄目:開發(fā)技術(shù)

前言

上回說到我們?nèi)绾伟牙吹臄?shù)據(jù)抓取下來的,既然獲取了數(shù)據(jù),就別放著不動(dòng),把它拿出來分析一下,看看這些數(shù)據(jù)里面都包含了什么信息。

(本次博客源碼地址:https://github.com/MaxLyu/Lagou_Analyze (本地下載))

下面話不多說了,來一起看看詳細(xì)的介紹吧

一、前期準(zhǔn)備

由于上次抓的數(shù)據(jù)里面包含有 ID 這樣的信息,我們需要將它去掉,并且查看描述性統(tǒng)計(jì),確認(rèn)是否存在異常值或者確實(shí)值。

read_file = "analyst.csv"
# 讀取文件獲得數(shù)據(jù)
data = pd.read_csv(read_file, encoding="gbk")
# 去除數(shù)據(jù)中無關(guān)的列
data = data[:].drop(['ID'], axis=1)
# 描述性統(tǒng)計(jì)
data.describe()

python3對拉勾數(shù)據(jù)進(jìn)行可視化分析的方法詳解

結(jié)果中的 unique 表示的是在該屬性列下面存在的不同值個(gè)數(shù),以學(xué)歷要求為例子,它包含【本科、大專、碩士、不限】這4個(gè)不同的值,top 則表示數(shù)量最多的值為【本科】,freq 表示出現(xiàn)的頻率為 387。由于薪資的 unique 比較多,我們查看一下存在什么值。

print(data['學(xué)歷要求'].unique())
print(data['工作經(jīng)驗(yàn)'].unique())
print(data['薪資'].unique())

python3對拉勾數(shù)據(jù)進(jìn)行可視化分析的方法詳解

二、預(yù)處理

從上述兩張圖可以看到,學(xué)歷要求和工作經(jīng)驗(yàn)的值比較少且沒有缺失值與異常值,可以直接進(jìn)行分析;但薪資的分布比較多,總計(jì)有75種,為了更好地進(jìn)行分析,我們要對薪資做一個(gè)預(yù)處理。根據(jù)其分布情況,可以將它分成【5k 以下、5k-10k、10k-20k、20k-30k、30k-40k、40k 以上】,為了更加方便我們分析,取每個(gè)薪資范圍的中位數(shù),并劃分到我們指定的范圍內(nèi)。

# 對薪資進(jìn)行預(yù)處理
def pre_salary(data):
 salarys = data['薪資'].values
 salary_dic = {}
 for salary in salarys:
 # 根據(jù)'-'進(jìn)行分割并去掉'k',分別將兩端的值轉(zhuǎn)換成整數(shù)
 min_sa = int(salary.split('-')[0][:-1])
 max_sa = int(salary.split('-')[1][:-1])
 # 求中位數(shù)
 median_sa = (min_sa + max_sa) / 2
 # 判斷其值并劃分到指定范圍
 if median_sa < 5:
 salary_dic[u'5k以下'] = salary_dic.get(u'5k以下', 0) + 1
 elif median_sa > 5 and median_sa < 10:
 salary_dic[u'5k-10k'] = salary_dic.get(u'5k-10k', 0) + 1
 elif median_sa > 10 and median_sa < 20:
 salary_dic[u'10k-20k'] = salary_dic.get(u'10k-20k', 0) + 1
 elif median_sa > 20 and median_sa < 30:
 salary_dic[u'20k-30k'] = salary_dic.get(u'20k-30k', 0) + 1
 elif median_sa > 30 and median_sa < 40:
 salary_dic[u'30k-40k'] = salary_dic.get(u'30k-40k', 0) + 1
 else:
 salary_dic[u'40以上'] = salary_dic.get(u'40以上', 0) + 1
 print(salary_dic)
 return salary_dic

對【薪資】進(jìn)行預(yù)處理之后,還要對【任職要求】的文本進(jìn)行預(yù)處理。因?yàn)橐龀稍~云圖,需要對文本進(jìn)行分割并去除掉一些出現(xiàn)頻率較多但沒有意義的詞,我們稱之為停用詞,所以我們用 jieba 庫進(jìn)行處理。jieba 是一個(gè)python實(shí)現(xiàn)的分詞庫,對中文有著很強(qiáng)大的分詞能力。

import jieba
def cut_text(text):
 stopwords =['熟悉','技術(shù)','職位','相關(guān)','工作','開發(fā)','使用','能力',
 '優(yōu)先','描述','任職','經(jīng)驗(yàn)','經(jīng)驗(yàn)者','具有','具備','以上','善于',
 '一種','以及','一定','進(jìn)行','能夠','我們']
 for stopword in stopwords:
 jieba.del_word(stopword)
 
 words = jieba.lcut(text)
 content = " ".join(words)
 return content

預(yù)處理完成之后,就可以進(jìn)行可視化分析了。

三、可視化分析

我們先繪制環(huán)狀圖和柱狀圖,然后將數(shù)據(jù)傳進(jìn)去就行了,環(huán)狀圖的代碼如下:

def draw_pie(dic):
 labels = []
 count = []
 
 for key, value in dic.items():
 labels.append(key)
 count.append(value)
 
 fig, ax = plt.subplots(figsize=(8, 6), subplot_kw=dict(aspect="equal"))

 # 繪制餅狀圖,wedgeprops 表示每個(gè)扇形的寬度
 wedges, texts = ax.pie(count, wedgeprops=dict(width=0.5), startangle=0)
 # 文本框設(shè)置
 bbox_props = dict(box, fc="w", ec="k", lw=0)
 # 線與箭頭設(shè)置
 kw = dict(xycoords='data', textcoords='data', arrowprops=dict(arrow),
 bbox=bbox_props, zorder=0, va="center")

 for i, p in enumerate(wedges):
 ang = (p.theta2 - p.theta1)/2. + p.theta1
 y = np.sin(np.deg2rad(ang))
 x = np.cos(np.deg2rad(ang))
 # 設(shè)置文本框在扇形的哪一側(cè)
 horizontalalignment = {-1: "right", 1: "left"}[int(np.sign(x))]
 # 用于設(shè)置箭頭的彎曲程度
 connectionstyle = "angle,angleA=0,angleB={}".format(ang)
 kw["arrowprops"].update({"connectionstyle": connectionstyle})
 # annotate()用于對已繪制的圖形做標(biāo)注,text是注釋文本,含 'xy' 的參數(shù)跟坐標(biāo)點(diǎn)有關(guān)
 text = labels[i] + ": " + str('%.2f' %((count[i])/sum(count)*100)) + "%"
 ax.annotate(text, size=13, xy=(x, y), xytext=(1.35*np.sign(x), 1.4*y),
  horizontalalignment=horizontalalignment, **kw)
 plt.show()

柱狀圖的代碼如下:

def draw_workYear(data):
 workyears = list(data[u'工作經(jīng)驗(yàn)'].values)
 wy_dic = {}
 labels = []
 count = []
 # 得到工作經(jīng)驗(yàn)對應(yīng)的數(shù)目并保存到count中
 for workyear in workyears:
 wy_dic[workyear] = wy_dic.get(workyear, 0) + 1
 print(wy_dic)
 # wy_series = pd.Series(wy_dic)
 # 分別得到 count 的 key 和 value
 for key, value in wy_dic.items():
 labels.append(key)
 count.append(value)
 # 生成 keys 個(gè)數(shù)的數(shù)組
 x = np.arange(len(labels)) + 1
 # 將 values 轉(zhuǎn)換成數(shù)組
 y = np.array(count)
 
 fig, axes = plt.subplots(figsize=(10, 8))
 axes.bar(x, y, color="#1195d0")
 plt.xticks(x, labels, size=13, rotation=0)
 plt.xlabel(u'工作經(jīng)驗(yàn)', fontsize=15)
 plt.ylabel(u'數(shù)量', fontsize=15)
 
 # 根據(jù)坐標(biāo)將數(shù)字標(biāo)在圖中,ha、va 為對齊方式
 for a, b in zip(x, y):
 plt.text(a, b+1, '%.0f' % b, ha='center', va='bottom', fontsize=12)
 plt.show()

我們再把學(xué)歷要求和薪資的數(shù)據(jù)稍微處理一下變成字典形式,傳進(jìn)繪制好的環(huán)狀圖函數(shù)就行了。另外,我們還要對【任職要求】的文本進(jìn)行可視化。

from wordcloud import WordCloud
# 繪制詞云圖
def draw_wordcloud(content):
 
 wc = WordCloud(
 font_path = 'c:\\Windows\Fonts\msyh.ttf',
 background_color = 'white',
 max_font_size=150, # 字體最大值
 min_font_size=24, # 字體最小值
 random_state=800, # 隨機(jī)數(shù)
 collocations=False, # 避免重復(fù)單詞
 width=1600,height=1200,margin=35, # 圖像寬高,字間距
 )
 wc.generate(content)

 plt.figure(dpi=160) # 放大或縮小
 plt.imshow(wc, interpolation='catrom',vmax=1000)
 plt.axis("off") # 隱藏坐標(biāo)

四、成果與總結(jié)

python3對拉勾數(shù)據(jù)進(jìn)行可視化分析的方法詳解        

  python數(shù)據(jù)分析師的學(xué)歷大部分要求是本科,占了86%。

python3對拉勾數(shù)據(jù)進(jìn)行可視化分析的方法詳解        

  從柱狀圖可以看出,python數(shù)據(jù)分析師的工作經(jīng)驗(yàn)絕大部分要求1-5年。

python3對拉勾數(shù)據(jù)進(jìn)行可視化分析的方法詳解        

由此可以得出python數(shù)據(jù)分析的工資為10k-20k的比較多,40以上的也不少,工資高估計(jì)要求會(huì)比較高,所以我們看一下職位要求。

python3對拉勾數(shù)據(jù)進(jìn)行可視化分析的方法詳解      

從詞云圖可看出,數(shù)據(jù)分析肯定要對數(shù)據(jù)比較敏感,并且對統(tǒng)計(jì)學(xué)、excel、python、數(shù)據(jù)挖掘、hadoop等也有一定的要求。不僅如此,還要求具有一定的抗壓能力、解決問題的能力、良好的表達(dá)能力、思維能力等。

總結(jié)

以上就是這篇文章的全部內(nèi)容了,希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,謝謝大家對億速云的支持。

向AI問一下細(xì)節(jié)

免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI