溫馨提示×
您好，登錄后才能下訂單哦！
點(diǎn)擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》
您好，登錄后才能下訂單哦！
小編給大家分享一下python中的分布式爬蟲指的是什么，希望大家閱讀完這篇文章后大所收獲，下面讓我們一起去探討吧！
什么是分布式？
你開發(fā)一個網(wǎng)站想要給別人訪問就需要把網(wǎng)站部署到服務(wù)器，當(dāng)網(wǎng)站用戶增多的時候一個服務(wù)器就不滿足需求了于是就會把網(wǎng)站部署到多個服務(wù)器上，這種情況通常叫集群。
就是把整個網(wǎng)站的所有功能，都同時部署到不同的服務(wù)器上一般會使用 ngnix 作負(fù)載均衡，不過有些功能并發(fā)量并不是很高比如一些后臺的管理。
所以就有人想要不然把這個網(wǎng)站的功能都拆分出來，讓每一個模塊只負(fù)責(zé)具體的功能，比如登錄模塊，內(nèi)容管理模塊等
然后在部署的時候，把一些并發(fā)量大的模塊部署到多個服務(wù)器就行了耦合度大大的降低了，并發(fā)量小的模塊也不會浪費(fèi)那么多資源了。當(dāng)然，這時需要讓模塊與模塊之間產(chǎn)生聯(lián)系
也就是調(diào)度好它們，一般會用到消息隊(duì)列，這就是所謂的分布式。
對于一些數(shù)據(jù)不大的數(shù)據(jù)我們的爬蟲一般是直接在電腦運(yùn)行了，也就是所謂的單機(jī)爬蟲。
而分布式爬蟲，說白了就是把爬蟲的關(guān)鍵功能以我們剛說的分布式形式部署到多臺機(jī)器上然后一起盤(爬)它。
那么如何將爬蟲之間聯(lián)系起來呢我們可以使用 Redis 的消息隊(duì)列進(jìn)行調(diào)度？
之前我們也有說過 redis，它是一個讀寫速度快的緩存數(shù)據(jù)庫，還提供了類似 Python 的list、set 等數(shù)據(jù)結(jié)構(gòu)，而且它還可以將內(nèi)存的數(shù)據(jù)寫到磁盤性能杠杠的。
看完了這篇文章，相信你對python中的分布式爬蟲指的是什么有了一定的了解，想了解更多相關(guān)知識，歡迎關(guān)注億速云行業(yè)資訊頻道，感謝各位的閱讀！
免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進(jìn)行舉報，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。
億速云公眾號
手機(jī)網(wǎng)站二維碼
