溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點(diǎn)擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

Python如何實(shí)時(shí)獲取任務(wù)請求對應(yīng)的Nginx日志

發(fā)布時(shí)間:2021-07-12 09:17:47 來源:億速云 閱讀:125 作者:chen 欄目:開發(fā)技術(shù)

這篇文章主要介紹“Python如何實(shí)時(shí)獲取任務(wù)請求對應(yīng)的Nginx日志”,在日常操作中,相信很多人在Python如何實(shí)時(shí)獲取任務(wù)請求對應(yīng)的Nginx日志問題上存在疑惑,小編查閱了各式資料,整理出簡單好用的操作方法,希望對大家解答”Python如何實(shí)時(shí)獲取任務(wù)請求對應(yīng)的Nginx日志”的疑惑有所幫助!接下來,請跟著小編一起來學(xué)習(xí)吧!

需求描述

項(xiàng)目需求測試過程中,需要向Nginx服務(wù)器發(fā)送一些用例請求,然后查看對應(yīng)的Nginx日志,判斷是否存在特征內(nèi)容,來判斷任務(wù)是否執(zhí)行成功。為了提升效率,需要將這一過程實(shí)現(xiàn)自動(dòng)化。

實(shí)踐環(huán)境

Python 3.6.5

代碼設(shè)計(jì)與實(shí)現(xiàn)

#!/usr/bin/env python
# -*- coding:utf-8 -*-


'''
@CreateTime: 2021/06/26 9:05
@Author : shouke
'''


import time
import threading
import subprocess
from collections import deque


def collect_nginx_log():
    global nginx_log_queue
    global is_tasks_compete
    global task_status


    args = 'tail -0f /usr/local/openresty/nginx/logs/access.log'
    while task_status != 'req_log_got':
        with subprocess.Popen(args, stdout=subprocess.PIPE, stderr=subprocess.PIPE, shell=True, universal_newlines = True) as proc:
            log_for_req = ''
            outs, errs = '', ''

            try:
                outs, errs = proc.communicate(timeout=2)
            except subprocess.TimeoutExpired:
                print('獲取nginx日志超時(shí),正在重試')
                proc.kill()
                try:
                    outs, errs = proc.communicate(timeout=5)
                except subprocess.TimeoutExpired:
                    print('獲取nginx日志超時(shí),再次超時(shí),停止重試')
                    break
            finally:
                for line in outs.split('\n'):
                    flag = '\"client_ip\":\"10.118.0.77\"' # 特征
                    if flag in line: # 查找包含特征內(nèi)容的日志
                        log_for_req += line

                if task_status == 'req_finished':
                    nginx_log_queue.append(log_for_req)
                    task_status = 'req_log_got'



def run_tasks(task_list):
    '''
    運(yùn)行任務(wù)
    :param task_list 任務(wù)列表
    '''

    global nginx_log_queue
    global is_tasks_compete
    global task_status


    for task in task_list:
        thread = threading.Thread(target=collect_nginx_log,
                                    name="collect_nginx_log")
        thread.start()
        time.sleep(1) # 執(zhí)行任務(wù)前,讓收集日志線程先做好準(zhǔn)備

        print('正在執(zhí)行任務(wù):%s' % task.get('name'))

        # 執(zhí)行Nginx任務(wù)請求
        # ...

        task_status = 'req_finished'
        time_to_wait = 0.1
        while task_status != 'req_log_got': # 請求觸發(fā)的nginx日志收集未完成
            time.sleep(time_to_wait)
            time_to_wait += 0.01
        else:# 獲取到用例請求觸發(fā)的nginx日志
            if nginx_log_queue:
                nginx_log = nginx_log_queue.popleft()
                task_status = 'req_ready'
                # 解析日志
                # do something here
                # ...
            else:
                print('存儲(chǔ)請求日志的隊(duì)列為空')
                # do something here
                # ...


if __name__ == '__main__':
    nginx_log_queue = deque()
    is_tasks_compete = False # 所有任務(wù)是否執(zhí)行完成

    task_status = 'req_ready' # req_ready,req_finished,req_log_got  # 存放執(zhí)行次任務(wù)任務(wù)的一些狀態(tài)
    print('###########################任務(wù)開始###########################')

    tast_list = [{'name':'test_task', 'other':'...'}]
    run_tasks(tast_list)

    is_tasks_compete = True

    current_active_thread_num = len(threading.enumerate())
    while current_active_thread_num != 1:
        time.sleep(2)
        current_active_thread_num = len(threading.enumerate())
    print('###########################任務(wù)完成###########################')

注意:

1、上述代碼為啥不一步到位,直接 tail -0f /usr/local/openresty/nginx/logs/access.log | grep "特征內(nèi)容"呢?這是因?yàn)檫@樣做無法獲取到Nginx的日志

2、實(shí)踐時(shí)發(fā)現(xiàn),第一次執(zhí)行proc.communicate(timeout=2)獲取日志時(shí),總是無法獲取,會(huì)超時(shí),需要二次獲取,并且timeout設(shè)置太小時(shí)(實(shí)踐時(shí)嘗試過設(shè)置為1秒),也會(huì)導(dǎo)致第二次執(zhí)行時(shí)無法獲取Nginx日志。

到此,關(guān)于“Python如何實(shí)時(shí)獲取任務(wù)請求對應(yīng)的Nginx日志”的學(xué)習(xí)就結(jié)束了,希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí),快去試試吧!若想繼續(xù)學(xué)習(xí)更多相關(guān)知識,請繼續(xù)關(guān)注億速云網(wǎng)站,小編會(huì)繼續(xù)努力為大家?guī)砀鄬?shí)用的文章!

向AI問一下細(xì)節(jié)

免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI