OnionSearch是什么

小編給大家分享一下OnionSearch是什么，希望大家閱讀完這篇文章之后都有所收獲，下面讓我們一起去探討吧！

OnionSearch

OnionSearch是一款針對洋蔥域名的URL搜索腳本，該工具基于Python 3開發(fā)，可以幫助廣大研究人員在不同的.onion搜索引擎中完成URL地址爬取。

工具要求

Python 3

當(dāng)前支持的搜索引擎

• ahmia

• darksearchio

• onionland

• notevil

• darksearchenginer

• phobos

• onionsearchserver

• torgle

• onionsearchengine

• tordex

• tor66

• tormax

• haystack

• multivac

• evosearch

• deeplink

工具安裝

PyPI安裝：

pip3 install onionsearch

GitHub安裝：

git clone https://github.com/megadose/OnionSearch.git

cd OnionSearch/

python3 setup.py install

工具使用

usage: onionsearch [-h] [--proxy PROXY] [--output OUTPUT]

                  [--continuous_write CONTINUOUS_WRITE] [--limit LIMIT]

                  [--engines [ENGINES [ENGINES ...]]]

                  [--exclude [EXCLUDE [EXCLUDE ...]]]

                  [--fields [FIELDS [FIELDS ...]]]

                  [--field_delimiter FIELD_DELIMITER] [--mp_units MP_UNITS]

                  search

 

positional arguments:

  search                The search string or phrase

 

optional arguments:

  -h, --help            show this help message and exit

  --proxy PROXY         Set Tor proxy (default: 127.0.0.1:9050)

  --output OUTPUT       Output File (default: output_$SEARCH_$DATE.txt), where $SEARCH is replaced by the first chars of the search string and $DATE is replaced by the datetime

  --continuous_write CONTINUOUS_WRITE

                        Write progressively to output file (default: False)

  --limit LIMIT         Set a max number of pages per engine to load

  --engines [ENGINES [ENGINES ...]]

                        Engines to request (default: full list)

  --exclude [EXCLUDE [EXCLUDE ...]]

                        Engines to exclude (default: none)

  --fields [FIELDS [FIELDS ...]]

                        Fields to output to csv file (default: engine name link), available fields are shown below

  --field_delimiter FIELD_DELIMITER

                        Delimiter for the CSV fields

  --mp_units MP_UNITS   Number of processing units (default: core number minus 1)

 

[...]

多處理行為

默認(rèn)配置下，該腳本將會使用“mp_units = cpu_count() - 1”參數(shù)來運行。這也就意味著，如果我們的設(shè)備CPU有四個核，它將會同時運行三個爬蟲。我們可以隨意設(shè)置“mp_units”參數(shù)的值，但建議使用默認(rèn)值。

工具使用樣例

向所有的搜索引擎請求查詢“computer”：

onionsearch "computer"

向所有的搜索引擎請求查詢“computer”，但排除“Ahmia”和“Candle”：

onionsearch "computer" --exclude ahmia candle

向所有的搜索引擎請求查詢“computer”，需同時包含“Tor66”、“DeepLink”和“Phobos”，

onionsearch "computer" --engines tor66 deeplink phobos

跟上述查詢內(nèi)容相同，但僅限每個搜索引擎查詢?nèi)齻€頁面：

onionsearch "computer" --engines tor66 deeplink phobos --limit 3

輸出結(jié)果

默認(rèn)輸出

默認(rèn)配置下，搜索結(jié)果將以CSV格式存儲，其中包含下列數(shù)據(jù)：

"engine","name of the link","url"

自定義輸出列

我們還可以使用“--fields”和“--field_delimiter”參數(shù)來指定輸出文件中的數(shù)據(jù)項：

“--fields”可以幫助我們添加、移除和重新排序輸出項：

"engine","name of the link","url","domain"

或者：

"engine","domain"

工具使用演示

看完了這篇文章，相信你對“OnionSearch是什么”有了一定的了解，如果想了解更多相關(guān)知識，歡迎關(guān)注億速云行業(yè)資訊頻道，感謝各位的閱讀！