溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

為什么不能用Nutch編寫分布式爬蟲

發(fā)布時(shí)間：2021-09-08 11:28:36 來源：億速云 閱讀：143 作者：chen 欄目：編程語言

本篇內(nèi)容介紹了“為什么不能用Nutch編寫分布式爬蟲”的有關(guān)知識(shí)，在實(shí)際案例的操作過程中，不少人都會(huì)遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

1、Nutch依靠hadoop運(yùn)行，hadoop本身就會(huì)花費(fèi)大量的時(shí)間。

若集群機(jī)數(shù)量較少，爬行速度反而不如單機(jī)爬蟲快。

2、Nutch是為搜索引擎設(shè)計(jì)的爬蟲，不精確。

大多數(shù)用戶需要一個(gè)爬蟲來爬取準(zhǔn)確的數(shù)據(jù)(提取精確)。在Nutch運(yùn)行的一整套過程中，三分之二是為搜索引擎設(shè)計(jì)的，對(duì)精選沒有多大意義。也就是說，用Nutch做數(shù)據(jù)抽取，會(huì)浪費(fèi)很多的時(shí)間在不必要的計(jì)算上。并且，通過二次開發(fā)Nutch，使其適用于精選業(yè)務(wù)，基本上破壞Nutch的框架，使Nutch的臉完全不同，具有修正Nutch的能力，與其自己重寫分布式爬蟲框架相比。

3、Nutch可以提供提取功能。

但開發(fā)Nutch插件的人都知道Nutch插件系統(tǒng)有多糟糕。使用反射機(jī)制裝入和調(diào)用插件，使程序的編寫和調(diào)試變得非常困難，更別提在上面開發(fā)一套復(fù)雜的精提取系統(tǒng)了。

4、用Nutch爬蟲的編寫和調(diào)試所需的時(shí)間長(zhǎng)

通常是單機(jī)爬蟲的十倍以上。學(xué)習(xí)Nutch源代碼的成本很高，在調(diào)試過程中會(huì)出現(xiàn)各種問題，除了程序本身。

“為什么不能用Nutch編寫分布式爬蟲”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！

向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手