您好,登錄后才能下訂單哦!
這篇文章將為大家詳細講解有關(guān)python如何爬取嗶哩嗶哩up主信息和投稿視頻,小編覺得挺實用的,因此分享給大家做個參考,希望大家閱讀完這篇文章后可以有所收獲。
采取了一定的反反爬策略。
Bilibili更改了用戶頁面的api, 用戶抓取解析程序需要重構(gòu)。
拉取項目, git clone https://github.com/cgDeepLearn/BilibiliCrawler.git
進入項目主目錄,安裝虛擬環(huán)境crawlenv(請參考使用說明里的虛擬環(huán)境安裝)。
激活環(huán)境并在主目錄運行crawl,爬取結(jié)果將保存在data目錄csv文件中。
ource activate crawlenv python initial.py file # 初始化file模式 python crawl_user.py file 1 100 # file模式,1 100是開始、結(jié)束bilibili的uid
進入data目錄查看抓取的數(shù)據(jù),是不是很簡單!
如果需要使用數(shù)據(jù)庫保存和一些其他的設(shè)置,請看下面的使用說明
git clone https://github.com/cgDeepLearn/BilibiliCrawler.git
若已安裝anaconda
conda create -n crawlenv python=3.6 source activate crawlenv # 激活虛擬環(huán)境 pip install -r requirements.txt
若使用virtualenv
virtualenv crawlenv source crawlenv/bin/activate # 激活虛擬環(huán)境,windows下不用source pip install -r requirements.txt # 安裝項目依賴
進入config目錄,修改config.ini配置文件(默認使用的是postgresql數(shù)據(jù)庫,如果你是使用的是postgresql,只需要將其中的參數(shù)替換成你的,下面其他的步驟可以忽略) 數(shù)據(jù)庫配置選擇其中一個你本地安裝的即可,將參數(shù)更換成你的 如果你需要更自動化的數(shù)據(jù)庫配置,請移步我的DB_ORM項目
[db_mysql] user = test password = test host = localhost port = 3306 dbname = testdb [db_postgresql] user = test password = test host = localhost port = 5432 dbname = testdb
然后修改conf.py中獲取配置文件的函數(shù)
def get_db_args(): """ 獲取數(shù)據(jù)庫配置信息 """ return dict(CONFIG.items('db_postgresql')) # 如果安裝的是mysql,請將參數(shù)替換為db_mysql
進入db目錄,修改basic.py的連接數(shù)據(jù)庫的DSN
# connect_str = "postgresql+psycopg2://{}:{}@{}:{}/{}".format(kwargs['user'], kwargs['password'], kwargs['host'], kwargs['port'], kwargs['dbname']) # 若使用的是mysql,請將上面的connect_str替換成下面的 connect_str = "mysql+pymysql://{}:{}@{}:{}/{}?charset=utf8".format(kwargs['user'], kwargs['password'], kwargs['host'], kwargs['port'], kwargs['dbname']) # sqlite3,mongo等請移步我的DB_ORM項目,其他一些數(shù)據(jù)庫也將添加支持
在主目錄激活虛擬環(huán)境, 初次運行請執(zhí)行
python initial.py db # db模式,file模式請將db換成file # file模式會將抓取結(jié)果保存在data目錄 # db模式會將數(shù)據(jù)保存在設(shè)置好的數(shù)據(jù)庫中 # 若再次以db模式運行將會drop所有表后再create,初次運行后請慎重再次使用!!! # 如果修改添加了表,并不想清空數(shù)據(jù),請運行 python create_all.py
開始抓取示例
python crawl_user.py db 1 10000 # crawl_user 抓取用戶數(shù)據(jù),db 保存在數(shù)據(jù)庫中, 1 10000為抓取起止id python crawl_video_ajax.py db 1 100 # crawl_video_ajax 抓取視頻ajax信息保存到數(shù)據(jù)庫中, python crawl_user_video.py db 1 10000 #同時抓取user 和videoinfo # 示例為uid從1到100的user如果有投稿視頻則抓取其投稿視頻的信息, # 若想通過視頻id逐個抓取請運行python crawl_video_by_aid.py db 1 1000
爬取速率控制
程序內(nèi)已進行了一些抓取速率的設(shè)置,但各機器cpu、mem不同抓取速率也不同,請酌情修改
太快太慢請修改各crawl中的sleepsec參數(shù),ip會被限制訪問頻率,overspeed會導(dǎo)致爬取數(shù)據(jù)不全,
之后會添加運行參數(shù)speed(high, low),不用再手動配置速率
日志
爬取日志在logs目錄
user, video分別為用戶和視頻的爬取日志
storage為數(shù)據(jù)庫日志 如需更換log格式,請修改logger模塊
后臺運行
linux下運行python ......前面加上nohup,例如:
nohup python crawl_user db 1 10000
程序輸出保存文件,默認會包存在主目錄額nohup.out文件中,添加 > fielname就會保存在設(shè)置的文件中:
nohup python crawl_video_ajax.py db 1 1000 > video_ajaxup_1_1000.out # 輸出將保存在video_ajaxup_1_1000.out中
更多
程序多線程使用的生產(chǎn)者消費者模式中產(chǎn)生了程序運行的狀況的打印信息,類似如下
produce 1_1 consumed 1_1 ...
如想運行更快,請在程序各項設(shè)置好后注釋掉其中的打印程序
# utils/pcModels.py print('[+] produce %s_%s' % (index, pitem)) # 請注釋掉 print('[-] consumed %s_%s\n' % (index, data)) # 請注釋掉
關(guān)于“python如何爬取嗶哩嗶哩up主信息和投稿視頻”這篇文章就分享到這里了,希望以上內(nèi)容可以對大家有一定的幫助,使各位可以學到更多知識,如果覺得文章不錯,請把它分享出去讓更多的人看到。
免責聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。