C++ Socket庫實(shí)現(xiàn)網(wǎng)絡(luò)爬蟲功能

實(shí)現(xiàn)一個基于C++的網(wǎng)絡(luò)爬蟲功能，可以使用C++的Socket庫進(jìn)行網(wǎng)絡(luò)通信。以下是一個簡單的示例，展示了如何使用C++ Socket庫實(shí)現(xiàn)一個基本的網(wǎng)絡(luò)爬蟲。

首先，確保你已經(jīng)安裝了支持C++11或更高版本的編譯器，例如GCC 4.8或更高版本。

接下來，創(chuàng)建一個名為crawler.cpp的文件，并將以下代碼粘貼到文件中：

#include <iostream>
#include <string>
#include <vector>
#include <thread>
#include <mutex>
#include <condition_variable>
#include <sys/socket.h>
#include <arpa/inet.h>
#include <unistd.h>
#include <netdb.h>
#include <curl/curl.h>

std::mutex mtx;
std::condition_variable cv;
bool done = false;

size_t WriteCallback(void* contents, size_t size, size_t nmemb, void* userp) {
    ((std::string*)userp)->append((char*)contents, size * nmemb);
    return size * nmemb;
}

void Crawl(const std::string& url) {
    CURL* curl;
    CURLcode res;

    curl_global_init(CURL_GLOBAL_DEFAULT);
    curl = curl_easy_init();
    if(curl) {
        std::string response;
        curl_easy_setopt(curl, CURLOPT_URL, url.c_str());
        curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, WriteCallback);
        curl_easy_setopt(curl, CURLOPT_WRITEDATA, &response);
        res = curl_easy_perform(curl);
        if(res != CURLE_OK) {
            std::cerr << "Error: " << curl_easy_strerror(res) << std::endl;
        } else {
            std::unique_lock<std::mutex> lock(mtx);
            cv.wait(lock, []{ return !done; });
            std::cout << "Fetched content from: " << url << std::endl;
            std::cout << response << std::endl;
        }
        curl_easy_cleanup(curl);
    }
    curl_global_cleanup();
}

void WorkerThread() {
    while (true) {
        std::unique_lock<std::mutex> lock(mtx);
        cv.wait(lock, []{ return !urls.empty() || done; });
        if (!urls.empty()) {
            std::string url = urls.front();
            urls.erase(urls.begin());
            lock.unlock();
            Crawl(url);
        } else {
            done = true;
            lock.unlock();
            break;
        }
    }
}

int main() {
    std::vector<std::thread> threads;
    urls = {
        "https://www.example.com",
        "https://www.google.com",
        "https://www.wikipedia.org"
    };

    for (int i = 0; i < std::thread::hardware_concurrency(); ++i) {
        threads.emplace_back(WorkerThread);
    }

    for (auto& t : threads) {
        t.join();
    }

    return 0;
}

在代碼中，我們使用了libcurl庫來處理HTTP請求。請確保已經(jīng)安裝了libcurl庫，并在編譯時鏈接它。例如，使用g++編譯時，可以使用以下命令：

g++ crawler.cpp -o crawler -lcurl

編譯完成后，運(yùn)行生成的可執(zhí)行文件：

./crawler

這個示例中的網(wǎng)絡(luò)爬蟲會從預(yù)定義的URL列表中抓取網(wǎng)頁內(nèi)容。你可以根據(jù)需要修改代碼，以便從其他來源獲取URL列表，或者實(shí)現(xiàn)更復(fù)雜的抓取策略。