您好,登錄后才能下訂單哦!
這篇文章將為大家詳細(xì)講解有關(guān)百度蜘蛛spider如何識別,文章內(nèi)容質(zhì)量較高,因此小編分享給大家做個參考,希望大家閱讀完這篇文章后對相關(guān)知識有一定的了解。
經(jīng)常有開發(fā)者問百度蜘蛛是什么?最近百度蜘蛛來的太頻繁服務(wù)器抓爆了!最近百度蜘蛛都不來了怎么辦?還有很多站點(diǎn)想得到百度蜘蛛的IP段,想把IP加入白名單,但I(xiàn)P地址范圍動態(tài)變化不固定,我們無法對外公布。
如何才能識別正確的百度蜘蛛呢?正確識別百度蜘蛛的方法:
一、查看UA信息
如果UA信息不對,可以直接判斷為非百度搜索的蜘蛛。目前UA分為移動、PC、和小程序三個應(yīng)用場景,這三個渠道UA分別如下:
二、雙向DNS解析認(rèn)證
第一步:DNS反查IP
開發(fā)者通過對日志中訪問服務(wù)器的IP地址運(yùn)行反向DNS查找,判斷某只spider是否來自百度搜索引擎,Baiduspider的hostname以*.baidu.com或*.baidu.jp 的格式命名,非*.baidu.com或*.baidu.jp即為冒充。
根據(jù)平臺不同驗證方法不同,如linux/windows/os三種平臺下的驗證方法分別如下:
1).在linux平臺下,您可以使用host ip命令反解ip來判斷是否來自Baiduspider的抓取。
2).在windows平臺或者IBM OS/2平臺下,您可以使用nslookup ip命令反解ip來 判斷是否來自Baiduspider的抓取。打開命令處理器 輸入nslookup xxx.xxx.xxx.xxx(IP地址)就能解析ip,來判斷是否來自Baiduspider的抓取。
3).在macos平臺下,您可以使用dig命令反解ip來判斷是否來自Baiduspider的抓取。打開命令處理器輸入dig -x xxx.xxx.xxx.xxx(IP地址)就能解析ip,來判斷是否來自Baiduspider的抓取。
第二步:對域名運(yùn)行正向DNS查找
對第一步中通過命令檢索到的域名運(yùn)行正向DNS查找,驗證該域名與您日志中訪問服務(wù)器的原始IP地址是否一致,IP地址一致可確認(rèn)spider來自百度搜索引擎,IP地址不一致即為冒充。
關(guān)于百度蜘蛛spider如何識別就分享到這里了,希望以上內(nèi)容可以對大家有一定的幫助,可以學(xué)到更多知識。如果覺得文章不錯,可以把它分享出去讓更多的人看到。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報,并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。