溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》
您好，登錄后才能下訂單哦！
這篇“Nginx中配置過濾爬蟲的User-Agent方法”文章的知識點大部分人都不太理解，所以小編給大家總結(jié)了以下內(nèi)容，內(nèi)容詳細，步驟清晰，具有一定的借鑒價值，希望大家閱讀完這篇文章能有所收獲，下面我們一起來看看這篇“Nginx中配置過濾爬蟲的User-Agent方法”文章吧。
一看不得了，基本上都是被一個user agent叫"yisouspider"的東西給刷屏了，一看就不知道是哪的蜘蛛，太沒節(jié)操了。
找到根目錄配置區(qū)，增加user agent過濾判斷語句，發(fā)現(xiàn)叫"yisouspider"的直接返回403
注1：如果需要增加多個過濾，這樣做
($http_user_agent ~* "spider1|spider2|spider3|spider4")
，中間用|隔開就行了
注2：如果你是用的是子目錄博客，像我的一樣，那么要找到 "location /blog/" 這樣的區(qū)段去修改
location / {
......其它配置
if ($http_user_agent ~* "yisouspider") {
return 403;
}
}配置完成wq保存后reload一下nginx，然后使用以下命令自我測試，地址自己改。沒裝curl的我就沒辦法了，自己apt或者yum裝一個吧，神器來的。
curl -i -a "yisouspider" www.slyar.com/blog/
看到返回403就可以了，說明配置成功
以上就是關(guān)于“Nginx中配置過濾爬蟲的User-Agent方法”這篇文章的內(nèi)容，相信大家都有了一定的了解，希望小編分享的內(nèi)容對大家有幫助，若想了解更多相關(guān)的知識內(nèi)容，請關(guān)注億速云行業(yè)資訊頻道。
免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進行舉報，并提供相關(guān)證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權(quán)內(nèi)容。
億速云公眾號
手機網(wǎng)站二維碼