溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

Nutch中關(guān)于讀取資源數(shù)據(jù)的命令有哪些

發(fā)布時(shí)間：2021-11-08 14:57:04 來源：億速云 閱讀：133 作者：小新 欄目：云計(jì)算

小編給大家分享一下Nutch中關(guān)于讀取資源數(shù)據(jù)的命令有哪些，希望大家閱讀完這篇文章之后都有所收獲，下面讓我們一起去探討吧！


1.查看crawldb數(shù)據(jù)庫：bin/nutch readdb url/crawldb/ -stats     這個(gè)命令可以查看url地址總數(shù)和它的狀態(tài)及評(píng)分。
查看每個(gè)url地址的詳細(xì)內(nèi)容，導(dǎo)出數(shù)據(jù)：bin/nutch readdb url/crawldb/  -dump crawldb(導(dǎo)出的地址)

查看具體的url，以163為例：bin/nutch  readdb url/crawldb/ -url http://www.163.com/

2.查看linkdb數(shù)據(jù)庫的鏈接情況：bin/nutch readlinkdb url/linkdb/ -url http://www.163.com/

導(dǎo)出linkdb數(shù)據(jù)庫文件：bin/nutch readlinkdb url/linkdb/ -dump linkdb(導(dǎo)出的地址)

3.查看segments：bin/nutch readseg -list -dir url/segments/   可以看到每一個(gè)segments的名稱，產(chǎn)生的頁面數(shù)，抓取的開始時(shí)間和結(jié)束時(shí)間，抓取數(shù)和解析數(shù)。

導(dǎo)出segments：bin/nutch readseg -dump url/segments/20090309103156 segdb

看完了這篇文章，相信你對(duì)“Nutch中關(guān)于讀取資源數(shù)據(jù)的命令有哪些”有了一定的了解，如果想了解更多相關(guān)知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道，感謝各位的閱讀！

向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手