關(guān)于用php的curl批量抓取內(nèi)容

先上個(gè)單個(gè)采集的curl訪問案例

<?php

$curl = curl_init();

curl_setopt($curl, CURLOPT_URL, 'www.baidu.com');

curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, 0);

curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, 1);

curl_setopt($curl, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; rv:21.0) Gecko/20100101 Firefox/21.0');

curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 0);

curl_setopt($curl, CURLOPT_AUTOREFERER, 0);

curl_setopt($curl, CURLOPT_HTTPGET, 0);

//curl_setopt($curl, CURLOPT_COOKIEFILE, $this->_cookie); // 如果是需要登陸才能采集的話,需要加上你登陸后得到的cookie文件  

curl_setopt($curl, CURLOPT_TIMEOUT, 0); // 設(shè)置超時(shí)限制防止死循環(huán)  

curl_setopt($curl, CURLOPT_CONNECTTIMEOUT, 0); // 在發(fā)起連接前等待的時(shí)間，如果設(shè)置為0，則無限等待。

curl_setopt($curl, CURLOPT_CONNECTTIMEOUT_MS, 0); // 嘗試連接等待的時(shí)間，以毫秒為單位。如果設(shè)置為0，則無限等待。  

curl_setopt($curl, CURLOPT_HEADER, 0);

curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);

$tmpInfo = curl_exec($curl);

var_dump($tmpInfo); exit;

?>

在php開發(fā)中,會(huì)涉及到一些數(shù)據(jù)方面的采集工作.那么在我們采集的時(shí)候,避不可免的會(huì)碰到要批量采集的時(shí)候.

舉個(gè)粟子.

當(dāng)我們要采集新聞的時(shí)候,到了一個(gè)新聞的列表頁,那么我們分析了這個(gè)列表的鏈接后,當(dāng)然可以通過循環(huán)的方法,一個(gè)個(gè)的按普通的方式來采集.但是,這很影響效率.執(zhí)行超慢.于是,翻開php手冊(cè),發(fā)現(xiàn)還可以批量采集 批量采集神器 curl_multi_init 登場(chǎng);

假如需要同時(shí)采集兩個(gè)地址,怎么辦?

下面這個(gè)例子,我想你看了就會(huì)明白了

<?php

$urls = array('http://www.baidu.com/','http://www.sogou.com/');

$queue = curl_multi_init(); //允許并行地處理批處理cURL句柄。

foreach($urls as $url) {    

   $ch = curl_init();        

   curl_setopt($ch,  CURLOPT_URL, $url);           //這個(gè)curl只是說明了它是要干嘛,但是一直到 curl_multi_add_handle 都啥也沒有去干,也就是說沒有去模擬訪問

   curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, 0);  

   curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 1);

   curl_setopt($ch,  CURLOPT_TIMEOUT, 25000);//超時(shí)

   curl_setopt($ch,  CURLOPT_RETURNTRANSFER, 1);

   curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; rv:21.0) Gecko/20100101 Firefox/21.0'); //指明你的瀏覽器,這是我的

   //curl_setopt($ch, CURLOPT_COOKIEFILE, $this->_cookie); // 如果是需要登陸才能采集的話,需要加上你登陸后得到的cookie文件  

   curl_setopt($ch, CURLOPT_HEADER, 0);

   curl_setopt($ch, CURLOPT_NOSIGNAL, true);

   curl_multi_add_handle($queue,$ch);  //向批處理句柄中,添加句柄   后面批量的去模擬訪問,抓取回資源

}

$responses = array();   //事先聲名一個(gè)數(shù)組

do{

   while(($code = curl_multi_exec($queue,$active)) == CURLM_CALL_MULTI_PERFORM);   //返回值如果是0,那就得繼續(xù)

}while($active);    //一直到資源里還有0條為止

//經(jīng)過了剛才的循環(huán)指抓取 此時(shí) $queue 就是一個(gè)批量的資源集了 這只是資源集,你需要把它讀取出來.好,讀取在下面閃亮登場(chǎng)

while($done = curl_multi_info_read($queue)){// 用這個(gè)專門讀取批量資源集的函數(shù),可以把這個(gè)資源集的內(nèi)容一條條的讀出來

   //用上面的函數(shù)讀出來的,是一個(gè)數(shù)組,數(shù)組中有批量資源中的一條資源,而且被放在 handle 鍵上

   $str = curl_multi_getcontent($done['handle']);      //要讀取資源集的資源條抓取回來的內(nèi)容,還得用專門的curl_multi_getcontent函數(shù)才能完成

   curl_multi_remove_handle($queue,$done['handle']);   //讀取了資源,別忘記把該資源從資源集中移除

   curl_close($done['handle']);                        //也別忘記把這個(gè)資源句柄關(guān)閉,減小內(nèi)存開銷

   $responses[] = $str;

}

curl_multi_close($queue);   //把總句柄關(guān)閉

var_dump($responses);        //好,打印一下你剛才批量抓取的內(nèi)容

?>

試著把代碼拷到你的電腦上運(yùn)行一下.

看明白了嗎?

不明白,可以問我.樂意為你解答. 注:==>>老鳥匆噴,感覺對(duì)你有用,留點(diǎn)話,呵呵