php爬蟲框架怎么用

本篇內(nèi)容主要講解“php爬蟲框架怎么用”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實(shí)用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“php爬蟲框架怎么用”吧!

網(wǎng)絡(luò)爬蟲：互聯(lián)網(wǎng)就像一張巨大的蜘蛛網(wǎng)，里面存放了很多的數(shù)據(jù)。爬蟲就是一只沿著網(wǎng)絡(luò)線去獲取自己所需數(shù)據(jù)的小蜘蛛，數(shù)據(jù)采集指的是我們向目標(biāo)網(wǎng)站發(fā)出請求，然后獲取到數(shù)據(jù)后把有用數(shù)據(jù)提取的程序。所需要用到的技術(shù)就是模擬瀏覽器向站點(diǎn)發(fā)出請求行為，把站點(diǎn)返回的各種數(shù)據(jù)保存到本地在進(jìn)行有用數(shù)據(jù)的過濾。

爬蟲的框架有很多，Scrapy是用純Python實(shí)現(xiàn)一個(gè)為了爬取網(wǎng)站數(shù)據(jù)、提取結(jié)構(gòu)性數(shù)據(jù)而編寫的應(yīng)用框架，用途非常廣泛。這幾天使用PHP的爬蟲框架爬取了一些數(shù)據(jù)，發(fā)現(xiàn)還是挺方便的，這里放下php程序直中配置代理的簡單示例，為自己的學(xué)習(xí)做個(gè)小筆記。

<?php

   // 要訪問的目標(biāo)頁面

   $url = "http://httpbin.org/ip";

   $urls = "https://httpbin.org/ip";

   // 代理服務(wù)器(產(chǎn)品官網(wǎng) www.16yun.cn)

   define("PROXY_SERVER", "tcp://t.16yun.cn:31111");

   // 代理身份信息

   define("PROXY_USER", "username");

   define("PROXY_PASS", "password");

   $proxyAuth = base64_encode(PROXY_USER . ":" . PROXY_PASS);

   // 設(shè)置 Proxy tunnel

   $tunnel = rand(1,10000);

   $headers = implode("\r\n", [

       "Proxy-Authorization: Basic {$proxyAuth}",

       "Proxy-Tunnel: ${tunnel}",

   ]);

   $sniServer = parse_url($urls, PHP_URL_HOST);

   $options = [

       "http" => [

           "proxy"  => PROXY_SERVER,

           "header" => $headers,

           "method" => "GET",

           'request_fulluri' => true,

       ],

       'ssl' => array(

               'SNI_enabled' => true, // Disable SNI for https over http proxies

               'SNI_server_name' => $sniServer

       )

   ];

   print($url);

   $context = stream_context_create($options);

   $result = file_get_contents($url, false, $context);

   var_dump($result);

   // 訪問 HTTPS 頁面

   print($urls);

   $context = stream_context_create($options);

   $result = file_get_contents($urls, false, $context);

   var_dump($result);

到此，相信大家對(duì)“php爬蟲框架怎么用”有了更深的了解，不妨來實(shí)際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！