php怎么使用pthreads v3多線程實現(xiàn)抓取新浪新聞信息

這篇文章主要介紹php怎么使用pthreads v3多線程實現(xiàn)抓取新浪新聞信息，文中介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們一定要看完！

我們使用pthreads，來寫一個多線程的抓取頁面小程序，把結(jié)果存到數(shù)據(jù)庫里。

數(shù)據(jù)表結(jié)構(gòu)如下：

CREATE TABLE `tb_sina` (
 `id` int(11) unsigned NOT NULL AUTO_INCREMENT COMMENT 'ID',
 `url` varchar(256) DEFAULT '' COMMENT 'url地址',
 `title` varchar(128) DEFAULT '' COMMENT '標(biāo)題',
 `time` datetime DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP COMMENT '時間',
 PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='sina新聞';

代碼如下：

<?php

class DB extends Worker
{
  private static $db;
  private $dsn;
  private $root;
  private $pwd;

  public function __construct($dsn, $root, $pwd)
  {
    $this->dsn = $dsn;
    $this->root = $root;
    $this->pwd = $pwd;
  }

  public function run()
  {
    //創(chuàng)建連接對象
    self::$db = new PDO($this->dsn, $this->root, $this->pwd);

    //把require放到worker線程中，不要放到主線程中，不然會報錯找不到類
    require './vendor/autoload.php';
  }

  //返回一個連接資源
  public function getConn()
  {
    return self::$db;
  }
}

class Sina extends Thread
{
  private $name;
  private $url;

  public function __construct($name, $url)
  {
    $this->name = $name;
    $this->url = $url;
  }

  public function run()
  {
    $db = $this->worker->getConn();

    if (empty($db) || empty($this->url)) {
      return false;
    }

    $content = file_get_contents($this->url);
    if (!empty($content)) {
      //獲取標(biāo)題，地址，時間
      $data = QL\QueryList::Query($content, [
        'tit' => ['.c_tit > a', 'text'],
        'url' => ['.c_tit > a', 'href'],
        'time' => ['.c_time', 'text'],
      ], '', 'UTF-8', 'GB2312')->getData();

      //把獲取的數(shù)據(jù)插入數(shù)據(jù)庫
      if (!empty($data)) {
        $sql = 'INSERT INTO tb_sina(`url`, `title`, `time`) VALUES';
        foreach ($data as $row) {
          //修改下時間，新浪的時間格式是這樣的04-23 15:30
          $time = date('Y') . '-' . $row['time'] . ':00';
          $sql .= "('{$row['url']}', '{$row['tit']}', '{$time}'),";
        }
        $sql = rtrim($sql, ',');
        $ret = $db->exec($sql);

        if ($ret !== false) {
          echo "線程{$this->name}成功插入{$ret}條數(shù)據(jù)\n";
        } else {
          var_dump($db->errorInfo());
        }
      }
    }
  }
}

//抓取頁面地址
$url = 'http://roll.news.sina.com.cn/s/channel.php?ch=01#col=89&spec=&type=&ch=01&k=&offset_page=0&offset_num=0&num=60&asc=&page=';
//創(chuàng)建pool池
$pool = new Pool(5, 'DB', ['mysql:dbname=test;host=192.168.33.226', 'root', '']);

//獲取100個分頁數(shù)據(jù)
for ($ix = 1; $ix <= 100; $ix++) {
  $pool->submit(new Sina($ix, $url . $ix));
}

//循環(huán)收集垃圾，阻塞主線程，等待子線程結(jié)束
while ($pool->collect()) ;
$pool->shutdown();

由于使用到了QueryList,大家可以通過composer進(jìn)行安裝。

composer require jaeger/querylist

不過安裝的版本是3.2，在我的php7.2下會有問題，由于each()已經(jīng)被廢棄，所以修改下源碼，each()全換成foreach()就好了。

運(yùn)行結(jié)果如下：

數(shù)據(jù)也保存進(jìn)了數(shù)據(jù)庫

PHP開發(fā)環(huán)境搭建工具有哪些

一、phpStudy，是一個新手入門最常用的開發(fā)環(huán)境。二、WampServer，WampServer也同樣的也是和phpStudy一樣操作簡單對小白比較友好。三、XAMPP，XAMPP（Apache+MySQL+PHP+PERL）是一個功能強(qiáng)大的建站集成軟件包；四、MAMP，MAMP分為兩種MAMP和MAMP Pro for Mac。五、寶塔面板，寶塔面板是一款服務(wù)器管理軟件，支持windows和linux系統(tǒng)。六、UPUPW，UPUPW是目前Windows平臺下最具特色的Web服務(wù)器PHP套件。

以上是“php怎么使用pthreads v3多線程實現(xiàn)抓取新浪新聞信息”這篇文章的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對大家有幫助，更多相關(guān)知識，歡迎關(guān)注億速云行業(yè)資訊頻道！