利用php怎么對(duì)搜索引擎的爬行記錄進(jìn)行記錄

本篇文章給大家分享的是有關(guān)利用php怎么對(duì)搜索引擎的爬行記錄進(jìn)行記錄，小編覺得挺實(shí)用的，因此分享給大家學(xué)習(xí)，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

下面是完整代碼：

//記錄搜索引擎爬行記錄 $searchbot = get_naps_bot(); 
if ($searchbot) 
{ $tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']); 
$url = $_SERVER['HTTP_REFERER']; 
$file = WEB_PATH.'robotslogs.txt'; 
$date = date('Y-m-d H:i:s'); 
$data = fopen($file,'a'); 
fwrite($data,"Time:$date robot:$searchbot URL:$tlc_thispage/r/n"); 
fclose($data);
}

WEB_PATH為index.PHP下define的根目錄路徑，意思就是說robotslogs.txt文件是放在根目錄下的。

通過get_naps_bot()獲取蜘蛛爬行記錄，然后在通過addslashes處理一下，將數(shù)據(jù)存儲(chǔ)于變量$tlc_thispage中。

fopen打開robotslogs.txt文件，將數(shù)據(jù)通過函數(shù)fwrite寫入，在通過函數(shù)fclose關(guān)閉就可以了。

因?yàn)槲矣X得沒必要，所以把自己網(wǎng)站上的代碼刪除了，所以也沒有效果示例了。

PS：php獲取各搜索蜘蛛爬行記錄的代碼

支持如下的搜索引擎：Baidu,Google,Bing,Yahoo,Soso,Sogou,Yodao爬行網(wǎng)站的記錄!

代碼：

<?php 
/**
* 獲取搜索引擎爬行記錄
* edit by www.jb51.net
*/
function get_naps_bot() 
{ 
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']); 
if (strpos($useragent, 'googlebot') !== false){ 
return 'Google'; 
} 
if (strpos($useragent, 'baiduspider') !== false){ 
return 'Baidu'; 
} 
if (strpos($useragent, 'msnbot') !== false){ 
return 'Bing'; 
} 
if (strpos($useragent, 'slurp') !== false){ 
return 'Yahoo'; 
} 
if (strpos($useragent, 'sosospider') !== false){ 
return 'Soso'; 
} 
if (strpos($useragent, 'sogou spider') !== false){ 
return 'Sogou'; 
} 
if (strpos($useragent, 'yodaobot') !== false){ 
return 'Yodao'; 
} 
return false; 
} 
function nowtime(){ 
$date=date("Y-m-d.G:i:s"); 
return $date; 
} 
$searchbot = get_naps_bot(); 
if ($searchbot) { 
$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']); 
$url=$_SERVER['HTTP_REFERER']; 
$file="www.jb51.net.txt"; 
$time=nowtime(); 
$data=fopen($file,"a"); 
fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage\n"); 
fclose($data); 
} 
?>

以上就是利用php怎么對(duì)搜索引擎的爬行記錄進(jìn)行記錄，小編相信有部分知識(shí)點(diǎn)可能是我們?nèi)粘９ぷ鲿?huì)見到或用到的。希望你能通過這篇文章學(xué)到更多知識(shí)。更多詳情敬請(qǐng)關(guān)注億速云行業(yè)資訊頻道。