您好,登錄后才能下訂單哦!
這期內(nèi)容當(dāng)中小編將會給大家?guī)碛嘘P(guān)Python爬取世紀(jì)佳緣的數(shù)據(jù)是否能證明它不靠譜的示例分析,文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述,閱讀完這篇文章希望大家可以有所收獲。
今天在知乎上看到一個關(guān)于【世紀(jì)佳緣找對象靠譜嗎?】的討論,其中關(guān)注的人有1903,被瀏覽了1940753次,355個回答中大多數(shù)都是不靠譜。用Python爬取世紀(jì)佳緣的數(shù)據(jù)是否能證明它的不靠譜?
翻了幾頁找到一個search_v2.php的鏈接,它的返回值是一個不規(guī)則的json串,其中包含了昵稱,性別,是否婚配,匹配條件等等
通過url +參數(shù)的get方式,抓取了10000頁的數(shù)據(jù)總計240116
需要安裝的模塊有openpyxl,用于過濾特殊的字符
# coding:utf-8 import csv import json import requests from openpyxl.cell.cell import ILLEGAL_CHARACTERS_RE import re line_index = 0 def fetchURL(url): headers = { 'accept': '*/*', 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36', 'Cookie': 'guider_quick_search=on; accessID=20201021004216238222; PHPSESSID=11117cc60f4dcafd131b69d542987a46; is_searchv2=1; SESSION_HASH=8f93eeb87a87af01198f418aa59bccad9dbe5c13; user_access=1; Qs_lvt_336351=1603457224; Qs_pv_336351=4391272815204901400%2C3043552944961503700' } r = requests.get(url, headers=headers) r.raise_for_status() return r.text.encode("gbk", 'ignore').decode("gbk", "ignore") def parseHtml(html): html = html.replace('\\', '') html = ILLEGAL_CHARACTERS_RE.sub(r'', html) s = json.loads(html,strict=False) global line_index userInfo = [] for key in s['userInfo']: line_index = line_index + 1 a = (key['uid'],key['nickname'],key['age'],key['work_location'],key['height'],key['education'],key['matchCondition'],key['marriage'],key['shortnote'].replace('\n',' ')) userInfo.append(a) with open('sjjy.csv', 'a', newline='') as f: writer = csv.writer(f) writer.writerows(userInfo) if __name__ == '__main__': for i in range(1, 10000): url = 'http://search.jiayuan.com/v2/search_v2.php?key=&sex=f&stc=23:1,2:20.30&sn=default&sv=1&p=' + str(i) + '&f=select&listStyle=bigPhoto' html = fetchURL(url) print(str(i) + '頁' + str(len(html)) + '*********' * 20) parseHtml(html)
在處理數(shù)據(jù)去掉重復(fù)的時候發(fā)現(xiàn)有好多重復(fù)的,還以為是代碼寫的有問題呢,查了好久的bug最后才發(fā)現(xiàn)網(wǎng)站在100頁上只有數(shù)據(jù)有好多重復(fù)的,下面兩個圖分別是110頁數(shù)據(jù)和111頁數(shù)據(jù),是不是有很多熟面孔。
110頁數(shù)據(jù)
111頁數(shù)據(jù)
過濾重復(fù)后的數(shù)據(jù)只剩下 1872 了,這個水分還真大
def filterData(): filter = [] csv_reader = csv.reader(open("sjjy.csv", encoding='gbk')) i = 0 for row in csv_reader: i = i + 1 print('正在處理:' + str(i) + '行') if row[0] not in filter: filter.append(row[0]) print(len(filter))
上述就是小編為大家分享的Python爬取世紀(jì)佳緣的數(shù)據(jù)是否能證明它不靠譜的示例分析了,如果剛好有類似的疑惑,不妨參照上述分析進行理解。如果想知道更多相關(guān)知識,歡迎關(guān)注億速云行業(yè)資訊頻道。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。