Python爬蟲入門【23】：scrapy爬取云沃客項目外包網(wǎng)數(shù)據(jù)！

閑暇寫一個外包網(wǎng)站的爬蟲，萬一你從這個外包網(wǎng)站弄點外快呢

數(shù)據(jù)分析

官方網(wǎng)址為 https://www.clouderwork.com/

進(jìn)入全部項目列表頁面，很容易分辨出來項目的分頁方式

得到異步請求

Request URL:https://www.clouderwork.com/api/v2/jobs/search?ts=1546395904852&keyword=&budget_range=&work_status=&pagesize=20&pagenum=3&sort=1&scope=
Request Method:GET
Status Code:200 OK

參數(shù)如下

    ts:1546395904852  # 時間戳
    keyword:   # 搜索關(guān)鍵字，查找全部，使用空即可
    budget_range:   # 暫時無用
    work_status:
    pagesize:20   # 每頁數(shù)據(jù)量
    pagenum:3   # 頁碼
    sort:1   # 排序規(guī)則
    scope:
Python資源分享qun 784758214 ,內(nèi)有安裝包，PDF，學(xué)習(xí)視頻，這里是Python學(xué)習(xí)者的聚集地，零基礎(chǔ)，進(jìn)階，都?xì)g迎

下面就是拼接請求了，一下確定request相關(guān)參數(shù)

Accept:application/json, text/javascript, */*; q=0.01
Accept-Encoding:gzip, deflate, br
Accept-Language:zh-CN,zh;q=0.9
Connection:keep-alive
Cookie:
Host:www.clouderwork.com
Referer:https://www.clouderwork.com/jobs?keyword=
User-Agent:Mozilla/5.0 你自己的UA QQBrowser/10.3.3006.400
X-Requested-With:XMLHttpRequest

采用爬蟲scrapy
這個網(wǎng)站沒有反爬措施，所以直接上就可以了

# -*- coding: utf-8 -*-
import scrapy
from scrapy import Request
import time
import json

class CloudeworkSpider(scrapy.Spider):
    name = 'cloudework'
    allowed_domains = ['www.clouderwork.com']
    start_url = 'https://www.clouderwork.com/api/v2/jobs/search?ts={times}&keyword=&budget_range=&work_status=&pagesize={pagesize}&pagenum={pagenum}&sort=1&scope='

    def start_requests(self):
        for page in range(1,353):
            yield Request(self.start_url.format(times=time.time(),pagesize=20,pagenum=page))

    def parse(self, response):
        json_data = json.loads(response.text)
        for item in  json_data["jobs"]:
            yield item

存儲數(shù)據(jù)到mongodb中，合計爬取到7000+數(shù)據(jù)

數(shù)據(jù)分析

從mongdo讀取數(shù)據(jù)

import pymongo
import pandas as pd
from pandas import Series,DataFrame
import matplotlib.pyplot as plt

plt.rcParams['font.sans-serif']=['SimHei'] #用來正常顯示中文標(biāo)簽
plt.rcParams['axes.unicode_minus']=False #用來正常顯示負(fù)號
# 連接數(shù)據(jù)庫
client = pymongo.MongoClient("localhost",27017)
cloud = client["cloud"]
collection = cloud["cloudework"]

# 加載數(shù)據(jù)
data = DataFrame(list(collection.find()))

結(jié)果顯示為 [7032 rows x 35 columns]

查看數(shù)據(jù)基本情況

使用直接data.shape可以查看一下數(shù)據(jù)的基本情況

查看一下工期的分布

periods = data.groupby(["period"]).size()

x = periods.index 
y = periods.values 
plt.figure()
plt.scatter(x,y, color="#03a9f4", alpha = 0.5) # 繪制圖表
plt.xlim((0, 360))
plt.ylim((0, 2000))
plt.xlabel("工期")
plt.ylabel("項目數(shù)")
plt.show()

可以看到數(shù)據(jù)散點集中在0?50天

過濾一下40天以內(nèi)的數(shù)據(jù)

periods = data.groupby(["period"]).size().reset_index(name="count")

df = periods[periods["period"]<=40]

x = df["period"]
y = df["count"]

plt.figure()
plt.scatter(x,y,label='項目數(shù)折線',color="#ff44cc")
plt.title("工期對應(yīng)項目數(shù)")
plt.xlim((0, 360))
plt.ylim((0, 500))
plt.show()

發(fā)現(xiàn)竟然有1天工期的任務(wù)，可以瞅瞅都是什么任務(wù)

periods = data.groupby(["period"]).size()
data[data["period"]==1][["name","period"]]

果然比較簡單唉~~不過也沒有多少錢，有個急活1000￥

查看閱覽量排行Top10

views = data["views_count"]
top10 = views.sort_values(ascending=False)[:10]

top10 = data[data.views_count.isin(top10.values)][["name","views_count","period","summary"]]
top10
Python資源分享qun 784758214 ,內(nèi)有安裝包，PDF，學(xué)習(xí)視頻，這里是Python學(xué)習(xí)者的聚集地，零基礎(chǔ)，進(jìn)階，都?xì)g迎

查閱一下開發(fā)模式

看一下什么類型的項目比較多???數(shù)據(jù)上反應(yīng)，網(wǎng)絡(luò)網(wǎng)站和APP最多了，所以這方面的技能的大神么，可以沖一波了