溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

php采集神器cURL怎么用

發(fā)布時(shí)間:2021-08-31 11:11:58 來源:億速云 閱讀:132 作者:小新 欄目:開發(fā)技術(shù)

這篇文章主要介紹了php采集神器cURL怎么用,具有一定借鑒價(jià)值,感興趣的朋友可以參考下,希望大家閱讀完這篇文章之后大有收獲,下面讓小編帶著大家一起了解一下。

對(duì)于做過數(shù)據(jù)采集的人來說,cURL一定不會(huì)陌生。雖然在PHP中有file_get_contents函數(shù)可以獲取遠(yuǎn)程鏈接的數(shù)據(jù),但是它的可控制性太差了,對(duì)于各種復(fù)雜情況的采集情景,file_get_contents顯得有點(diǎn)無能為力。因此,本文將為你介紹采集神器cURL的使用。

先給大家補(bǔ)充一下file_get_contents函數(shù)可以獲取遠(yuǎn)程鏈接數(shù)據(jù)的方法。

<?php
$url = "http://git.oschina.net/yunluo/API/raw/master/notice.txt";
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 10);
$notice = curl_exec($ch);
echo $notice;
?>

這段代碼會(huì)直接使用curl顯示文件內(nèi)容,但是問題來了,因?yàn)閏url是php的擴(kuò)展,有的主機(jī)為了安全會(huì)金庸curl的,寧外php本地調(diào)試的時(shí)候也是關(guān)閉curl的,所以會(huì)發(fā)生報(bào)錯(cuò),所以這段代碼是不可取的,所以云落對(duì)他重新改寫了

<?php
  if (function_exists('curl_init')) {
    $url = "http://git.oschina.net/yunluo/API/raw/master/notice.txt";
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 10);
    $dxycontent = curl_exec($ch);
    echo $dxycontent;
  } else {
    echo '汗!貌似您的服務(wù)器尚未開啟curl擴(kuò)展,無法收到來自云落的通知,請(qǐng)聯(lián)系您的主機(jī)商開啟,本地調(diào)試請(qǐng)無視';
  }
?>

修改后的版本是對(duì)curl擴(kuò)展做一個(gè)判斷,看看服務(wù)器到底有木有打開curl擴(kuò)展,如果打開了,就直接顯示文件,如果沒打開就顯示一段提示文字。
雖然修復(fù)了問題,但是又有一個(gè)問題來了,我只是顯示一段文字而已,我也不是是用什么做什么大事的,所以我為什么要寫那么多的代碼呢??
經(jīng)過一些瞎掰的檢測(cè),發(fā)現(xiàn)file_get_contents獲取遠(yuǎn)程文件內(nèi)容的速度不比curl慢,在一些文件較少的情況下可能還比curl擴(kuò)展要快得多,所以我又重寫了代碼

<?php echo file_get_contents( "http://git.oschina.net/yunluo/API/raw/master/notice.txt" ); ?>

工具
火狐瀏覽器(FireFox) + Firebug
“工欲善其事,必先利其器?!?在分析案例之前,先讓我們學(xué)習(xí)一下如何利用神器Firebug獲取我們必要的信息。
使用F12打開Firebug,我們可以得到如圖(一)界面:

1、箭頭圖標(biāo)是“元素選擇”工具,單擊一次會(huì)高亮圖標(biāo),同時(shí),鼠標(biāo)在頁面內(nèi)的移動(dòng)會(huì)同時(shí)在HTML菜單中選定相應(yīng)的內(nèi)容,此時(shí)單擊內(nèi)容則表示選定了該元素,圖標(biāo)高亮取消。如圖(二)所示:
Firebug查看元素

php采集神器cURL怎么用

2、控制臺(tái)
JS里面的console.log系列函數(shù)的打印就是在這里輸出。
3、HTML
HTML內(nèi)容,注意這里看到的不一定是采集要解析的內(nèi)容,采集時(shí)候?qū)?nèi)容的分析,一律以查看源碼(Ctrl+U)為準(zhǔn),這里只是能快速定位元素的結(jié)構(gòu),然后再選擇一個(gè)比較特殊的參照,在源碼中定位相應(yīng)的位置。
比如,你在HTML里面看到一個(gè)標(biāo)簽是<div id="demo" class="demo">Demo</div>,但是你查看源碼時(shí)候看到的內(nèi)容可能是<div class="demo" id="demo">Demo</div>,如果你對(duì)采集內(nèi)容按照前者去做正則匹配,那么你會(huì)得不到結(jié)果。
4、CSS
這里是CSS文件內(nèi)容
5、腳本
這里是Javascript文件內(nèi)容
6、DOM
Dom節(jié)點(diǎn)內(nèi)容
7、網(wǎng)絡(luò)
每一個(gè)請(qǐng)求鏈接的數(shù)據(jù),這里是我們采集要關(guān)注和分析的地方,它能夠顯示每一個(gè)請(qǐng)求的參數(shù)、請(qǐng)求頭、Cookie數(shù)據(jù)等。在頁面提交會(huì)刷新的情況下,需要使用保持,使得頁面請(qǐng)求內(nèi)容在刷新后仍然留著控制臺(tái)中,如圖(三)所示:

php采集神器cURL怎么用

另外,火狐還有一款 Tamper data 擴(kuò)展也能得到請(qǐng)求數(shù)據(jù),必要時(shí)可以安裝使用。
8、Cookies
Cookie數(shù)據(jù)

在圖(一)中還看到下面有很多可選的小菜單項(xiàng),其中保持是我們要關(guān)注的,當(dāng)選擇它的時(shí)候,即使提交表單刷新了頁面,下面內(nèi)容區(qū)域的數(shù)據(jù)還是會(huì)保留,這個(gè)對(duì)于分析提交數(shù)據(jù)特別關(guān)鍵。

總結(jié)
我們?cè)诜治霾杉?qǐng)求的時(shí)候,主要關(guān)心“網(wǎng)絡(luò)”菜單里的請(qǐng)求數(shù)據(jù),必要時(shí)候使用“保持”以查看刷新頁面的請(qǐng)求數(shù)據(jù),請(qǐng)求前可以使用“清除”先清除下面的內(nèi)容。

案例解析
一、簡(jiǎn)單的采集
這里所指的簡(jiǎn)單采集,是指一個(gè)單一頁面GET請(qǐng)求的采集,它簡(jiǎn)單得即使通過file_get_contents函數(shù)也能輕松獲得頁面返回結(jié)果。

代碼片段之file_get_contents

<?php
  $url = 'http://demo.zjmainstay.cn/php/curl/simple.html';
  $content = file_get_contents($url);
  echo $content;

代碼片段之cURL

<?php
  $url = 'http://demo.zjmainstay.cn/php/curl/simple.html';
  $ch = curl_init($url);
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //返回?cái)?shù)據(jù)不直接輸出
  $content = curl_exec($ch);          //執(zhí)行并存儲(chǔ)結(jié)果
  curl_close($ch);
  
  echo $content;

二、需要參數(shù)的采集
這種情況,頁面請(qǐng)求需要傳入一些參數(shù),可以是GET請(qǐng)求,也可以是POST請(qǐng)求。這種情況的采集,使用file_get_contents外帶一些參數(shù)還是可以實(shí)現(xiàn)的,但是這里我們將不再展示。

代碼片段之cURL GET
這種請(qǐng)求,我們可以選擇搜索引擎作為演示,比如我百度搜索一個(gè)詞語“PHP cURL”,在輸入回車后,我們會(huì)得到一個(gè)類似http://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&ch=&tn=baidu&bar=&wd=PHP%20cURL的鏈接,注意這里的鏈接可能不同瀏覽器、不同入口方式訪問得到不一樣結(jié)果,因此不必介意鏈接是否一樣。通過輸入多個(gè)關(guān)鍵詞并觀察鏈接,我們可以確定 wd 參數(shù)就是我們要傳入的動(dòng)態(tài)參數(shù),而其他參數(shù)則可以不變,因此得到我們下面的采集代碼。

<?php
  $keyword  = 'PHP cURL';
  $url    = 'http://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&ch=&tn=baidu&bar=&wd=' . urlencode($keyword);
  
  $ch = curl_init($url);
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //返回?cái)?shù)據(jù)不直接輸出
  $content = curl_exec($ch);          //執(zhí)行并存儲(chǔ)結(jié)果
  curl_close($ch);
  
  echo $content;

有些時(shí)候,一些參數(shù)并不是必須的,這時(shí)候我們可以刪掉它,比如上面的鏈接可以只保留http://www.baidu.com/s?ie=utf-8&wd=PHP%20cURL,ie=utf-8 這個(gè)參數(shù)可能影響結(jié)果的編碼,所以暫且留著它。就這樣簡(jiǎn)單的代碼,我們就可以采集到百度搜索的結(jié)果了。

代碼片段之cURL POST
對(duì)于POST類型的請(qǐng)求,我們平時(shí)并不少見,比如有些搜索就是使用POST方式提交,這時(shí)候我們就需要使用POST類型來提交參數(shù)了。這個(gè)在PHP cURL里面有相應(yīng)的參數(shù):CURLOPT_POST 和 CURLOPT_POSTFIELDS , CURLOPT_POST 的設(shè)置可以指定當(dāng)前提交是否為POST方式,CURLOPT_POSTFIELDS則用于設(shè)定提交的參數(shù),可以是參數(shù)串,也可以是參數(shù)數(shù)組,比如:

curl_setopt($ch, CURLOPT_POSTFIELDS, 'ie=utf-8&wd=PHP%20cURL');

或

curl_setopt($ch, CURLOPT_POSTFIELDS, array(
  'ie'  => 'utf-8',
  'wd'  => 'PHP%20cURL',
));

下面是我做的一個(gè)POST模擬搜索PHP POST 搜索,后端是使用了前面的百度關(guān)鍵詞搜索,基本原理就是,客戶端提交一個(gè)關(guān)鍵詞到我服務(wù)器,我服務(wù)器使用該關(guān)鍵詞請(qǐng)求百度的搜索,然后得到結(jié)果,返回到客戶端。
如圖(四)是利用Firebug對(duì)請(qǐng)求數(shù)據(jù)的分析,得到我們需要提交的請(qǐng)求鏈接和請(qǐng)求參數(shù):

php采集神器cURL怎么用

然后下面是我們的代碼:

<?php
  $keyword  = 'PHP cURL';
  //參數(shù)方法一
  // $post    = 'wd=' . urlencode($keyword);
  
  //參數(shù)方法二
  $post    = array(
    'wd'    => urlencode($keyword),
  );
  $url    = 'http://demo.zjmainstay.cn/php/curl/search.php';
  
  $ch = curl_init($url);
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //返回?cái)?shù)據(jù)不直接輸出
  curl_setopt($ch, CURLOPT_POST, 1);      //發(fā)送POST類型數(shù)據(jù)
  curl_setopt($ch, CURLOPT_POSTFIELDS, $post); //POST數(shù)據(jù),$post可以是數(shù)組,也可以是拼接
  $content = curl_exec($ch);          //執(zhí)行并存儲(chǔ)結(jié)果
  curl_close($ch);
  
  var_dump($content);

三、需要Referer的采集
對(duì)于一些程序,它可能判斷來源網(wǎng)址,如果發(fā)現(xiàn)referer不是自己的網(wǎng)站,則拒絕訪問,這時(shí)候,我們就需要添加CURLOPT_REFERER參數(shù),模擬來路,使得程序能夠正常采集。

<?php
  $keyword  = 'PHP cURL';
  //參數(shù)方法一
  // $post    = 'wd=' . urlencode($keyword);
  
  //參數(shù)方法二
  $post    = array(
    'wd'    => urlencode($keyword),
  );
  $url    = 'http://demo.zjmainstay.cn/php/curl/search_refer.php';
  $refer   = 'http://demo.zjmainstay.cn/';  //來路地址
  
  $ch = curl_init($url);
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //返回?cái)?shù)據(jù)不直接輸出
  curl_setopt($ch, CURLOPT_REFERER, $refer);  //來路模擬
  curl_setopt($ch, CURLOPT_POST, 1);      //發(fā)送POST類型數(shù)據(jù)
  curl_setopt($ch, CURLOPT_POSTFIELDS, $post); //POST數(shù)據(jù),$post可以是數(shù)組,也可以是拼接
  $content = curl_exec($ch);          //執(zhí)行并存儲(chǔ)結(jié)果
  curl_close($ch);
  
  var_dump($content);

search_refer.php的源碼如下,做了簡(jiǎn)單的Referer判斷攔截:

<?php
  if(empty($_POST['wd'])) {
    exit('Deny empty params.');
  }
  
  //Referer判斷
  if(stripos($_SERVER['HTTP_REFERER'], $_SERVER['HTTP_HOST']) === false) {
    exit('Deny');
  }
  
  $keyword  = addslashes(trim(strip_tags($_POST['wd'])));
  $url    = 'http://www.baidu.com/s?ie=utf-8&wd=' . urlencode($keyword);
  
  $ch = curl_init($url);
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //返回?cái)?shù)據(jù)不直接輸出
  $content = curl_exec($ch);          //執(zhí)行并存儲(chǔ)結(jié)果
  curl_close($ch);
  
  echo $content;

四、需要cookie支持的采集
對(duì)于模擬登錄的應(yīng)用,單單提交參數(shù)和模擬來路并不能解決問題,這時(shí)候我們就需要保存或者提交相應(yīng)的Cookie參數(shù),這個(gè)在PHP cURL里面也提供了相應(yīng)的參數(shù):
CURLOPT_COOKIE: 直接使用字符串方式提交cookie參數(shù)
CURLOPT_COOKIEFILE: 使用文件方式提交cookie參數(shù)
CURLOPT_COOKIEJAR: 保存提交后反饋的cookie數(shù)據(jù)

下面是PHP100的模擬登錄示例:

<?php 
header("content-Type: text/html; charset=UTF-8");
$cookie_file = tempnam('./temp', 'cookie');
$login_url="http://bbs.php100.com/login.php";
$post_fields="cktime=36000&step=2&pwuser=username&pwpwd=password";

//提交登錄表單請(qǐng)求
$ch=curl_init($login_url);
curl_setopt($ch,CURLOPT_HEADER,0);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
curl_setopt($ch,CURLOPT_POST,1);
curl_setopt($ch,CURLOPT_POSTFIELDS,$post_fields);
curl_setopt($ch,CURLOPT_COOKIEJAR,$cookie_file); //存儲(chǔ)提交后得到的cookie數(shù)據(jù)
curl_exec($ch);
curl_close($ch);

//登錄成功后,獲取bbs首頁數(shù)據(jù)
$url="http://bbs.php100.com/index.php";
$ch=curl_init($url);
curl_setopt($ch,CURLOPT_HEADER,0);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
curl_setopt($ch,CURLOPT_COOKIEFILE,$cookie_file); //使用提交后得到的cookie數(shù)據(jù)做參數(shù)
$contents=curl_exec($ch);
curl_close($ch);
//轉(zhuǎn)碼顯示
echo iconv('gbk', 'UTF-8', $contents);

五、壓縮網(wǎng)頁采集(gzip)
有些沒有接觸過壓縮頁面的朋友估計(jì)會(huì)在這里被坑死,因?yàn)樗麄儠?huì)發(fā)現(xiàn)采集回來的內(nèi)容是亂碼,并且無論使用iconv還是強(qiáng)大的mb_convert_encoding都無法還原數(shù)據(jù),然后又沒有概念,各種抓狂卻找不到方法,哈哈,我曾經(jīng)也是這樣~
如圖(五)是亂碼表現(xiàn)形式:

php采集神器cURL怎么用

還好最后功夫不負(fù)有心人,還是找到了,它就是CURLOPT_ENCODING參數(shù)。
比如,采集搜狐的新聞時(shí)候就遇到gzip壓縮問題,下面是示例:

<?php
  $url = 'http://news.sohu.com/';
  
  $ch = curl_init($url);
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //返回?cái)?shù)據(jù)不直接輸出
  curl_setopt($ch, CURLOPT_ENCODING, "gzip"); //指定gzip壓縮
  $content = curl_exec($ch); //執(zhí)行并存儲(chǔ)結(jié)果
  curl_close($ch);
  echo $content;

手冊(cè)說明:支持的編碼有"identity","deflate"和"gzip"。如果為空字符串"",請(qǐng)求頭會(huì)發(fā)送所有支持的編碼類型。
后面一句表明,使用curl_setopt($ch, CURLOPT_ENCODING, "");也是可以的,但是不能不加這個(gè)參數(shù)。

六、SSL鏈接的采集
有些請(qǐng)求鏈接是https類型的,這時(shí)候使用cURL采集可能會(huì)失敗,這時(shí)候,我們可以使用 var_dump(curl_error($ch));的方法打印錯(cuò)誤提示,然后根據(jù)錯(cuò)誤提示查找相應(yīng)的解決方案。比如SSL錯(cuò)誤常見提示:SSL certificate problem: unable to get local issuer certificate,這時(shí)候,我們就需要利用參數(shù):CURLOPT_SSL_VERIFYPEER 和 CURLOPT_SSL_VERIFYHOST 來禁用SSL證書的驗(yàn)證,我嘗試過只使用CURLOPT_SSL_VERIFYPEER參數(shù)禁用失敗,所以大家最好同時(shí)使用兩個(gè)參數(shù)。
下面是代碼示例:

<?php
  $searchStr = 'RC376981638HK';
  $post  = 'accion=LocalizaUno&numero='.$searchStr.'&ecorreo=&numeros=';

  $url  = 'https://aplicacionesweb.correos.es/localizadorenvios/track.asp';

  $ch         = curl_init($url);       //初始化curl
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);    //返回?cái)?shù)據(jù)不直接輸出
  curl_setopt($ch, CURLOPT_POST, 1);         //發(fā)送POST類型數(shù)據(jù)
  curl_setopt($ch, CURLOPT_POSTFIELDS, $post);    //POST數(shù)據(jù),$post可以是數(shù)組,也可以是拼接參數(shù)串
  curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);  //SSL 報(bào)錯(cuò)時(shí)使用
  curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);  //SSL 報(bào)錯(cuò)時(shí)使用
  $contents = curl_exec($ch);               //執(zhí)行并存儲(chǔ)結(jié)果
  // var_dump(curl_error($ch));            //獲取失敗是使用(采集錯(cuò)誤提示)
  curl_close($ch);
  echo $contents;

七、代理采集
大家都知道,國內(nèi)存在萬惡的墻,所以,假如我們需要獲取某些被墻數(shù)據(jù)時(shí),就需要用到國外代理服務(wù)器;又或者我們需要采集大量數(shù)據(jù)時(shí),需要不斷切換IP,也會(huì)用到代理。
使用代理在PHP cURL里面有幾個(gè)相對(duì)應(yīng)的參數(shù):CURLOPT_PROXY、CURLOPT_PROXYPORT 和 CURLOPT_PROXYUSERPWD,還有另外幾個(gè),這里不列舉。
CURLOPT_PROXY 指定代理IP參數(shù)
CURLOPT_PROXYPORT 指定代理端口參數(shù)
CURLOPT_PROXYUSERPWD 指定需要驗(yàn)證的代理的賬號(hào)密碼,"[username]:[password]"格式的字符串

關(guān)于代理賬號(hào)獲取,大家自己發(fā)揮,我這里提供網(wǎng)上搜索到的一個(gè)列表:cURL 高匿代理

下面是代理采集示例:

<?php
  $url = 'http://demo.zjmainstay.cn/php/curl/dump_ip.php?t=' . time();
  
  echo "本地IP:" . file_get_contents($url) . "\n偽造IP:";
  
  $ip   = '183.224.1.116';
  $port  = '80';
  
  //偽造請(qǐng)求頭參數(shù),如果是高匿代理這里不需要提供
  $header = array(
    'X-FORWARDED-FOR: ' . $ip,
    'CLIENT-IP: ' . $ip,
  );
  
  $ch         = curl_init($url); //初始化curl
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
  curl_setopt($ch, CURLOPT_HTTPHEADER, $header);
  curl_setopt($ch, CURLOPT_PROXY, $ip);
  curl_setopt($ch, CURLOPT_PROXYPORT, $port);

  $content = curl_exec($ch); //執(zhí)行并存儲(chǔ)結(jié)果
  curl_close($ch);
  
  echo $content;

八、 多線程采集
對(duì)于大量采集工作,為了提高采集效率,使用PHP cURL提供的多線程采集是必不可少的。手冊(cè)上提供的多線程采集例子好像都不太好用,我剛開始也從里面測(cè)試了幾個(gè)例子,但是發(fā)現(xiàn)都是執(zhí)行卡死,根本無法執(zhí)行完成,前幾天突然又測(cè)試了一下,然后發(fā)現(xiàn)curl_multi_info_read函數(shù)下面的Example #1是可以執(zhí)行的,它的內(nèi)容在$res上,但是沒有打印出來,而且雅虎的請(qǐng)求比較慢,會(huì)卡住,前面兩個(gè)鏈接都能正常返回。
不過,還好當(dāng)時(shí)的例子不好用,然后我經(jīng)過搜索找到了一個(gè)很厲害的項(xiàng)目,CurlMulti ,它對(duì)PHP cURL Multi 進(jìn)行了一個(gè)良性擴(kuò)展的封裝,能夠很好地提供采集支持。
關(guān)于CurlMulti的使用我就不多介紹,官網(wǎng)上面提供了demo,使用過程有技術(shù)難題可以直接加入Q群討論,作者@Ares 和其他的采集大牛都會(huì)提供技術(shù)解答幫助。
下面是PHP cURL Multi的一個(gè)簡(jiǎn)單示例:

<?php
$urls = array(
  "http://demo.zjmainstay.cn/php/curl/curl_multi_1.php",
  "http://demo.zjmainstay.cn/php/curl/curl_multi_2.php",
);

$mh = curl_multi_init();

foreach ($urls as $i => $url) {
  $conn[$i] = curl_init($url);
  curl_setopt($conn[$i], CURLOPT_RETURNTRANSFER, 1); //不直接輸出結(jié)果
  curl_multi_add_handle($mh, $conn[$i]);
}

$active = null;
$res = array();
do {
  $status = curl_multi_exec($mh, $active);
  $info = curl_multi_info_read($mh);
  if (false !== $info) {
    //采集信息處理
    $res[] = array(
      'content'  => curl_multi_getcontent($info['handle']),
      'info'   => $info,
    );
    curl_close($info['handle']);
  }
} while ($status === CURLM_CALL_MULTI_PERFORM || $active);

curl_multi_close($mh);

var_dump($res);

九、302跳轉(zhuǎn)(301跳轉(zhuǎn))
對(duì)于一些應(yīng)用,比如模擬登錄,如果遇上302跳轉(zhuǎn),會(huì)導(dǎo)致cookie丟失而使得模擬登錄失敗,請(qǐng)求現(xiàn)象如圖(六)所示:

php采集神器cURL怎么用

這個(gè)時(shí)候,可以使用:

curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);

關(guān)于CURLOPT_FOLLOWLOCATION,手冊(cè)說明是:

啟用時(shí)會(huì)將服務(wù)器服務(wù)器返回的"Location: "放在header中遞歸的返回給服務(wù)器,使用CURLOPT_MAXREDIRS可以限定遞歸返回的數(shù)量。
我個(gè)人理解,通俗點(diǎn)講就是后面的跳轉(zhuǎn)會(huì)繼續(xù)跟蹤訪問,而且cookie在header里面被保留了下來。

十、模擬上傳文件
在PHP手冊(cè)的curl_setopt函數(shù)中,關(guān)于CURLOPT_POSTFIELDS有如下描述:

全部數(shù)據(jù)使用HTTP協(xié)議中的"POST"操作來發(fā)送。要發(fā)送文件,在文件名前面加上@前綴并使用完整路徑。這個(gè)參數(shù)可以通過urlencoded后的字符串類似'para1=val1&para2=val2&...'或使用一個(gè)以字段名為鍵值,字段數(shù)據(jù)為值的數(shù)組。如果value是一個(gè)數(shù)組,Content-Type頭將會(huì)被設(shè)置成multipart/form-data。

對(duì)于上傳文件,這句話包含兩個(gè)信息:

1. 要上傳文件,post的數(shù)據(jù)參數(shù)必須使用數(shù)組,使得Content-Type頭將會(huì)被設(shè)置成multipart/form-data。
2. 要上傳文件,在文件名前面加上@前綴并使用完整路徑。
因此,模擬文件上傳可以按照如下實(shí)現(xiàn):

//上傳D盤下的test.jpg文件,文件必須存在,否則curl處理失敗且沒有任何提示
$data = array('name' => 'Foo', 'file' => '@d:/test.jpg');

$ch = curl_init('http://localhost/upload.php');
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, $data);
curl_exec($ch);

本地測(cè)試的時(shí)候,在upload.php文件中打印出\\(_POST和\$_FILES即可驗(yàn)證是否上傳成功,如下: ``` <?php print_r(\)_POST);
print_r($_FILES);

輸出結(jié)果類似:

Array ( [name] => Foo ) Array ( [file] => Array ( [name] => test.jpg [type] => application/octet-stream [tmp_name] => D:\xampp\tmp\php2EA0.tmp [error] => 0 [size] => 139999 ) )

關(guān)于CURLOPT_POSTFIELDS的賦值,另外補(bǔ)充一句描述:
傳遞一個(gè)數(shù)組到CURLOPT_POSTFIELDS,cURL會(huì)把數(shù)據(jù)編碼成 multipart/form-data,而然傳遞一個(gè)URL-encoded字符串時(shí),數(shù)據(jù)會(huì)被編碼成 application/x-www-form-urlencoded。

即:

curl_setopt(\(ch, CURLOPT_POSTFIELDS, 'param1=val1&param2=val2&...'); 和 curl_setopt(\)ch, CURLOPT_POSTFIELDS, array('param1' => 'val1', 'param2' => 'val2', ...));

感謝你能夠認(rèn)真閱讀完這篇文章,希望小編分享的“php采集神器cURL怎么用”這篇文章對(duì)大家有幫助,同時(shí)也希望大家多多支持億速云,關(guān)注億速云行業(yè)資訊頻道,更多相關(guān)知識(shí)等著你來學(xué)習(xí)!

向AI問一下細(xì)節(jié)

免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI