Nutch數(shù)據(jù)集的目錄具體內(nèi)容是什么

這篇文章主要介紹“Nutch數(shù)據(jù)集的目錄具體內(nèi)容是什么”，在日常操作中，相信很多人在Nutch數(shù)據(jù)集的目錄具體內(nèi)容是什么問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”Nutch數(shù)據(jù)集的目錄具體內(nèi)容是什么”的疑惑有所幫助！接下來，請跟著小編一起來學(xué)習(xí)吧！

Nutch數(shù)據(jù)集的目錄具體內(nèi)容

#導(dǎo)出crawldb

bin/nutch readdb data/crawldb/ -dump data/crawldb_dump

#查看crawldb

Crawldb內(nèi)容主要包括，抓取狀態(tài)、抓取此網(wǎng)頁的時間、對此網(wǎng)頁的重要度評分等url地址的詳細(xì)信息。

#查看linkdb

#查看segments

一次爬行會產(chǎn)生很多個段(segment)，段存儲的是爬蟲在一次抓取過程中抓到的網(wǎng)頁以及這些網(wǎng)頁的索引。爬蟲爬行時會根據(jù)crawldb中的鏈接關(guān)系按照一定的爬行策略生成每次抓取循環(huán)所需的預(yù)取列表(fetch list)，然后Fetcher類通過預(yù)取列表中的URL抓取這些網(wǎng)頁并索引，然后將其存入段中。

#查看segments目錄

Content：保存的是 fetcher 所抓取回來的源內(nèi)容，html腳本

Crawl_fetch：包含每個抓取頁面的狀態(tài)

Crawl_generate:包含所抓取的網(wǎng)址列表

Crawl_parse: 包含網(wǎng)址的外部鏈接地址，用于更新crawldb數(shù)據(jù)庫

Parse_data: 包含每個頁面的外部鏈接和元數(shù)據(jù)

Parse_text: 包含每個抓取頁面的解析文本

到此，關(guān)于“Nutch數(shù)據(jù)集的目錄具體內(nèi)容是什么”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識，請繼續(xù)關(guān)注億速云網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！