如何用Python編寫信息進(jìn)行收集子域名腳本

這篇文章將為大家詳細(xì)講解有關(guān)如何用Python編寫信息進(jìn)行收集子域名腳本，文章內(nèi)容質(zhì)量較高，因此小編分享給大家做個參考，希望大家閱讀完這篇文章后對相關(guān)知識有一定的了解。

0×00 前言

任務(wù)：

使用腳本借助搜索引擎搜集網(wǎng)站子域名信息。

準(zhǔn)備工具：

python安裝包、pip、http請求庫：requests庫、正則庫：re庫。

子域名是相對于網(wǎng)站的主域名的。比如百度的主域名為：baidu.com，這是一個***域名，而在***域名前由"."隔開加上不同的字符，比如zhidao.baidu.com，那么這就是一個二級域名，同理，繼續(xù)擴(kuò)展主域名的主機(jī)名，如club.user.baidu.com，這就是一個三級域名，依次類推。

0X00 正文

手動收集子域名是怎樣的一種過程？

舉個例子，比如我們要收集qq.com這個主域名，在百度搜索引擎能夠搜索到的所有子域名。

首先，使用搜索域名的語法搜索~

搜索域名語法：site:qq.com

然后，在搜索結(jié)果中存在我們要的子域名信息，我們可以右鍵，查看元素，復(fù)制出來。

如何用python替代手工的繁瑣操作？

其實就是將手工收集用代碼來實現(xiàn)自動化，手工收集的步驟：

收集器制作開始:

1.發(fā)起一個搜索的http請求

請求我們使用python的第三方http庫，requests

需要額外安裝，可以使用pip進(jìn)行安裝pipinstallrequests

requests基本使用-example：

help(requests)查看requests的幫助手冊。

dir(requests)查看requests這個對象的所有屬性和方法。

requests.get('http://www.baidu.com&#39

發(fā)起一個GET請求。

好了，補(bǔ)充基礎(chǔ)知識，我們來發(fā)起一個請求，并獲得返回包的內(nèi)容。

#-*-coding:utf-8-*-  import requests     #導(dǎo)入requests庫  url='http://www.baidu.com/s?wd=site:qq.com' #設(shè)定url請求  response=requests.get(url).content  #get請求,content是獲得返回包正文  print response

返回包的內(nèi)容實在太多，我們需要找到我們想要的子域名，然后復(fù)制出來。

從查看元素我們可以發(fā)現(xiàn)，子域名被一段代碼包裹著，如下：

style="text-decoration:none;">chuangshi.qq.com/ </a>

2.正則表達(dá)式——(.*?) 閃亮登場：

正則 規(guī)則：style=”text-decoration:none;”>(.*?)/

正則表達(dá)式難嗎？難。復(fù)雜嗎？挺復(fù)雜的。

然而最簡單的正則表達(dá)式，我們把想要的數(shù)據(jù)用(.*?)來表示即可。

re 基本使用-example：

假設(shè)我們要從一串字符串'123xxIxx123xxLikexx123xxStudyxx'取出ILike Study，我們可以這么寫：

eg='123xxIxx123xxLikexx123xxStudyxx'  printre.findall('xx(.*?)xx',eg)  #打印結(jié)果  ['I','Like','Study']

基于上述例子，依葫蘆畫瓢也可以獲取子域名了。

#-*-coding:utf-8-*-  importrequests#導(dǎo)入requests庫  importre#導(dǎo)入re庫  url='http://www.baidu.com/s?wd=site:qq.com'#設(shè)定url請求  response=requests.get(url).content#get請求,content是獲得返回包正文  #重點，重點，下面這段代碼~  subdomain=re.findall('style="text-decoration:none;">(.*?)/',response)  printsubdomain

結(jié)果：

['www.qq.com','chuangshi.qq.com','1314.qq.com','lol.qq.com','tgp.qq.com','open.qq.com','https:','ac.qq.com']

3.翻頁的處理

上面獲得的子域名，僅僅只是返回結(jié)果的***頁內(nèi)容，如何獲取所有頁面的結(jié)果？

key=qq.com  #為url添加頁碼：  url="http://www.baidu.com.cn/s?wd=site:"+key+"&cl=3&pn=0"  url="http://www.baidu.com.cn/s?wd=site:"+key+"&cl=3&pn=10"  url="http://www.baidu.com.cn/s?wd=site:"+key+"&cl=3&pn=20"  #pn=0為***頁，pn=10為第2頁，pn=20為第3頁…

天啊，100頁我要寫100個url嗎？當(dāng)然不是，循環(huán)語句解決你的困擾。

foriinrange(100):#假設(shè)有100頁  i=i*10  url="http://www.baidu.com.cn/s?wd=site:"+key+"&cl=3&pn=%s"%i

4.重復(fù)項太多？想去重？

基礎(chǔ)知識：

python的數(shù)據(jù)類型：set

set持有一系列的元素，但是set的元素沒有重復(fù)項，且是無序的。

創(chuàng)建set的方式是調(diào)用set()并傳入一個list，list的元素將作為set的元素。

sites=list(set(sites))#用set實現(xiàn)去重

正則表達(dá)式匹配得到的是一個列表list，我們調(diào)用set()方法即可實現(xiàn)去重。

5.完整代碼&&總結(jié)

下面是百度搜索引擎爬取子域名的完整代碼。

#-*-coding:utf-8-*-  importrequests  importre  key="qq.com"  sites=[]  match='style="text-decoration:none;">(.*?)/'  foriinrange(48):  i=i*10  url="http://www.baidu.com.cn/s?wd=site:"+key+"&cl=3&pn=%s"%i  response=requests.get(url).content  subdomains=re.findall(match,response)  sites+=list(subdomains)  site=list(set(sites))#set()實現(xiàn)去重  printsite  print"Thenumberofsitesis%d"%len(site)  foriinsite:  printi

結(jié)果截圖：

0X02 總結(jié)

其實子域名挖掘就是一個小小的爬蟲，只不過我們是用百度的引擎來爬取，不過呢，用bing引擎爬去的數(shù)據(jù)量會比百度更多，所以建議大家使用bing的引擎，代碼的編寫方法和百度的大同小異就不放代碼了，給個小tip，bing搜索域名用的是domain:qq.com這個的語法哦。

關(guān)于如何用Python編寫信息進(jìn)行收集子域名腳本就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學(xué)到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。