Linux中怎么查看搜索引擎蜘蛛爬蟲(chóng)的行為

本篇文章給大家分享的是有關(guān)Linux中怎么查看搜索引擎蜘蛛爬蟲(chóng)的行為，小編覺(jué)得挺實(shí)用的，因此分享給大家學(xué)習(xí)，希望大家閱讀完這篇文章后可以有所收獲，話(huà)不多說(shuō)，跟著小編一起來(lái)看看吧。

Linux shell命令

1. 百度蜘蛛爬行的次數(shù)

cat access.log | grep Baiduspider | wc

最左面的數(shù)值顯示的就是爬行次數(shù)。

2. 百度蜘蛛的詳細(xì)記錄(Ctrl C可以終止)

cat access.log | grep Baiduspider

也可以用下面的命令：

cat access.log | grep Baiduspider | tail -n 10
cat access.log | grep Baiduspider | head -n 10

只看最后10條或最前10條，這用就能知道這個(gè)日志文件的開(kāi)始記錄的時(shí)間和日期。

3. 百度蜘蛛抓取首頁(yè)的詳細(xì)記錄

cat access.log | grep Baiduspider | grep “GET / HTTP”

百度蜘蛛好像對(duì)首頁(yè)非常熱愛(ài)每個(gè)鐘頭都來(lái)光顧，而谷歌和雅虎蜘蛛更喜歡內(nèi)頁(yè)。

4. 百度蜘蛛派性記錄時(shí)間點(diǎn)分布

cat access.log | grep “Baiduspider ” | awk ‘{print $4}'

5. 百度蜘蛛爬行頁(yè)面按次數(shù)降序列表

cat access.log | grep “Baiduspider ” | awk ‘{print $7}' | sort | uniq -c | sort -r

文中的Baiduspider 改成Googlebot都可以查看谷歌的數(shù)據(jù)，鑒于大陸的特殊性，大家應(yīng)該對(duì)百度的log更為關(guān)注。

附：(Mediapartners-Google)Google adsense蜘蛛的詳細(xì)爬行記錄

cat access.log | grep Mediapartners

Mediapartners-Google是什么呢?Google adsense廣告之所以能與內(nèi)容相關(guān)，因?yàn)槊總€(gè)包含著adsense的廣告被訪(fǎng)問(wèn)后，很快就有個(gè)Mediapartners-Google蜘蛛來(lái)到這個(gè)頁(yè)面，所以幾分鐘后再刷新就能顯示相關(guān)性廣告了，真厲害啊！

ps：linux下nginx如何啟用網(wǎng)站日志，查看蜘蛛爬蟲(chóng)

以上就是Linux中怎么查看搜索引擎蜘蛛爬蟲(chóng)的行為，小編相信有部分知識(shí)點(diǎn)可能是我們?nèi)粘９ぷ鲿?huì)見(jiàn)到或用到的。希望你能通過(guò)這篇文章學(xué)到更多知識(shí)。更多詳情敬請(qǐng)關(guān)注億速云行業(yè)資訊頻道。