溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

如何使用Nginx做頁面采集

發(fā)布時(shí)間：2021-09-18 14:50:27 來源：億速云 閱讀：182 作者：chen 欄目：大數(shù)據(jù)

這篇文章主要講解了“如何使用Nginx做頁面采集”，文中的講解內(nèi)容簡單清晰，易于學(xué)習(xí)與理解，下面請(qǐng)大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“如何使用Nginx做頁面采集”吧！

0.架構(gòu)簡介

模擬線上的實(shí)時(shí)流，比如用戶的操作日志，采集到數(shù)據(jù)后，進(jìn)行處理，暫時(shí)只考慮數(shù)據(jù)的采集，使用Html+Jquery+Nginx+Ngx_kafka_module+Kafka來實(shí)現(xiàn)，其中Ngx_kafka_module 是開源的專門用來對(duì)接Nginx和Kafka的一個(gè)組件。

1.需求描述

1.1 用html和jquery 模擬用戶請(qǐng)求日志

其中包括下面下面幾項(xiàng)：

用戶id:user_id, 訪問時(shí)間:act_time, 操作: (action,包括click,job_collect,cv_send,cv_upload)

企業(yè)編碼job_code

1.2 用Nginx接受1.1中的請(qǐng)求

1.3 接受完請(qǐng)求后，使用ngx_kafka_module將數(shù)據(jù)發(fā)送到Kafka的主題tp_individual 中。

1.4 在kafka中使用一個(gè)消費(fèi)者消費(fèi)該主題，觀察

2.搭建步驟

2.1 Kafka安裝

由于使用現(xiàn)成的已安裝好的docker-kafka鏡像，所以直接啟動(dòng)即可.

2.2 安裝Nginx，并啟動(dòng)

$ cd /usr/local/src
$ git clone git@github.com:edenhill/librdkafka.git
# 進(jìn)入到librdkafka，然后進(jìn)行編譯
$  cd librdkafka
$  yum install -y gcc gcc-c++ pcre-devel zlib-devel
$  ./configure
$  make && make install

$ yum -y install make zlib-devel gcc-c++ libtool openssl openssl-devel
$ cd /opt/hoult/software
# 1.下載
$ wget http://nginx.org/download/nginx-1.18.0.tar.gz
# 2.解壓
$ tar -zxf nginx-1.18.0.tar.gz -C /opt/hoult/servers
# 3. 下載模塊源碼
$ cd /opt/hoult/software
$ git clone git@github.com:brg-liuwei/ngx_kafka_module.git
# 4. 編譯
$ cd /opt/hoult/servers/nginx-1.18.0
$ ./configure --add-module=/opt/hoult/software/ngx_kafka_module/
$ make && make install 
# 5.刪除Nginx安裝包
$ rm /opt/hoult/software/nginx-1.18.0.tar.gz
# 6.啟動(dòng)nginx
$ cd /opt/hoult/servers/nginx-1.18.0
$ nginx

3.相關(guān)配置

3.1 nginx配置nginx.conf

#pid        logs/nginx.pid;


events {
    worker_connections  1024;
}


http {
    include       mime.types;
    default_type  application/octet-stream;

    #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
    #                  '$status $body_bytes_sent "$http_referer" '
    #                  '"$http_user_agent" "$http_x_forwarded_for"';

    #access_log  logs/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    #keepalive_timeout  0;
    keepalive_timeout  65;

    #gzip  on;

    kafka;
    kafka_broker_list linux121:9092;

    server {
        listen       9090;
        server_name  localhost;

        #charset koi8-r;

        #access_log  logs/host.access.log  main;

        #------------kafka相關(guān)配置開始------------
        location = /kafka/log {
                #跨域相關(guān)配置
                add_header 'Access-Control-Allow-Origin' $http_origin;
                add_header 'Access-Control-Allow-Credentials' 'true';
                add_header 'Access-Control-Allow-Methods' 'GET, POST, OPTIONS';

                kafka_topic tp_individual;
        }

        #error_page  404              /404.html;
    }

}

3.2 啟動(dòng)kafka 生產(chǎn)者和消費(fèi)者

# 創(chuàng)建topic
kafka-topics.sh --zookeeper linux121:2181/myKafka --create --topic tp_individual --partitions 1 --replication-factor 1
# 創(chuàng)建消費(fèi)者
kafka-console-consumer.sh --bootstrap-server linux121:9092 --topic tp_individual --from-beginning
# 創(chuàng)建生產(chǎn)者測(cè)試
kafka-console-producer.sh --broker-list linux121:9092 --topic tp_individual

3.3 編寫Html + Jquery代碼

<!DOCTYPE html>
    <head>
        <meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
        <meta name="viewport" content="width=device-width, initial-scale=1,shrink-to-fit=no">
        <title>index</title>
        <!-- jquery cdn, 可換其他 -->
        <script src="https://cdn.bootcdn.net/ajax/libs/jquery/3.5.1/jquery.js"></script>
    </head>
    <body>
        <input id="click" type="button" value="點(diǎn)擊" onclick="operate('click')" />
        <input id="collect" type="button" value="收藏" onclick="operate('job_collect')" />
        <input id="send" type="button" value="投簡歷" onclick="operate('cv_send')" />
        <input id="upload" type="button" value="上傳簡歷" onclick="operate('cv_upload')" />
    </body>

    <script>

        function operate(action) {

            var json = {'user_id': 'u_donald', 'act_time': current().toString(), 'action': action, 'job_code': 'donald'};

            $.ajax({
                url:"http://linux121:8437/kafka/log",
                type:"POST" ,
                crossDomain: true,
                data: JSON.stringify(json),
                // 下面這句話允許跨域的cookie訪問
                xhrFields: {
                    withCredentials: true
                },
                success:function (data, status, xhr) {

                    // console.log("操作成功：'" + action)
                },
                error:function (err) {

                    // console.log(err.responseText);
                }
            });
        };

        function current() {
            var d   = new Date(),
                str = '';
            str += d.getFullYear() + '-';
            str += d.getMonth() + 1 + '-';
            str += d.getDate() + ' ';
            str += d.getHours() + ':';
            str += d.getMinutes() + ':';
            str += d.getSeconds();
            return str;
        }
    </script>

</html>

將a.html 放在nginx的目錄下，瀏覽器訪問192.168.18.128:9090

4.演示

4.1 首先啟動(dòng)zk集群，kafka集群

4.2 然后創(chuàng)建topic, 創(chuàng)建消費(fèi)者，創(chuàng)建生產(chǎn)者，測(cè)試topic

4.3 啟動(dòng)nginx訪問頁面，進(jìn)行點(diǎn)擊，觀察消費(fèi)者狀態(tài)

整個(gè)過程如下圖：

如何使用Nginx做頁面采集

感謝各位的閱讀，以上就是“如何使用Nginx做頁面采集”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對(duì)如何使用Nginx做頁面采集這一問題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是億速云，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！

向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場，如果涉及侵權(quán)請(qǐng)聯(lián)系站長郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手