您好,登錄后才能下訂單哦!
這篇文章主要講解了“Python怎么實時獲取任務(wù)請求對應(yīng)的Nginx日志”,文中的講解內(nèi)容簡單清晰,易于學(xué)習(xí)與理解,下面請大家跟著小編的思路慢慢深入,一起來研究和學(xué)習(xí)“Python怎么實時獲取任務(wù)請求對應(yīng)的Nginx日志”吧!
項目需求測試過程中,需要向Nginx服務(wù)器發(fā)送一些用例請求,然后查看對應(yīng)的Nginx日志,判斷是否存在特征內(nèi)容,來判斷任務(wù)是否執(zhí)行成功。為了提升效率,需要將這一過程實現(xiàn)自動化。
Python 3.6.5
代碼設(shè)計與實現(xiàn)
#!/usr/bin/env python # -*- coding:utf-8 -*- """ @CreateTime: 2021/06/26 9:05 @Author : shouke """ import time import threading import subprocess from collections import deque def collect_nginx_log(): global nginx_log_queue global is_tasks_compete global task_status args = "tail -0f /usr/local/openresty/nginx/logs/access.log" while task_status != "req_log_got": with subprocess.Popen(args, stdout=subprocess.PIPE, stderr=subprocess.PIPE, shell=True, universal_newlines = True) as proc: log_for_req = "" outs, errs = "", "" try: outs, errs = proc.communicate(timeout=2) except subprocess.TimeoutExpired: print("獲取nginx日志超時,正在重試") proc.kill() try: outs, errs = proc.communicate(timeout=5) except subprocess.TimeoutExpired: print("獲取nginx日志超時,再次超時,停止重試") break finally: for line in outs.split(" "): flag = ""client_ip":"10.118.0.77"" # 特征 if flag in line: # 查找包含特征內(nèi)容的日志 log_for_req += line if task_status == "req_finished": nginx_log_queue.append(log_for_req) task_status = "req_log_got" def run_tasks(task_list): """ 運行任務(wù) :param task_list 任務(wù)列表 """ global nginx_log_queue global is_tasks_compete global task_status for task in task_list: thread = threading.Thread(target=collect_nginx_log, name="collect_nginx_log") thread.start() time.sleep(1) # 執(zhí)行任務(wù)前,讓收集日志線程先做好準(zhǔn)備 print("正在執(zhí)行任務(wù):%s" % task.get("name")) # 執(zhí)行Nginx任務(wù)請求 # ... task_status = "req_finished" time_to_wait = 0.1 while task_status != "req_log_got": # 請求觸發(fā)的nginx日志收集未完成 time.sleep(time_to_wait) time_to_wait += 0.01 else:# 獲取到用例請求觸發(fā)的nginx日志 if nginx_log_queue: nginx_log = nginx_log_queue.popleft() task_status = "req_ready" # 解析日志 # do something here # ... else: print("存儲請求日志的隊列為空") # do something here # ... if __name__ == "__main__": nginx_log_queue = deque() is_tasks_compete = False # 所有任務(wù)是否執(zhí)行完成 task_status = "req_ready" # req_ready,req_finished,req_log_got # 存放執(zhí)行次任務(wù)任務(wù)的一些狀態(tài) print("###########################任務(wù)開始###########################") tast_list = [{"name":"test_task", "other":"..."}] run_tasks(tast_list) is_tasks_compete = True current_active_thread_num = len(threading.enumerate()) while current_active_thread_num != 1: time.sleep(2) current_active_thread_num = len(threading.enumerate()) print("###########################任務(wù)完成###########################")
注意:
1、上述代碼為啥不一步到位,直接 tail -0f /usr/local/openresty/nginx/logs/access.log | grep "特征內(nèi)容"
呢?這是因為這樣做無法獲取到Nginx的日志
2、實踐時發(fā)現(xiàn),第一次執(zhí)行proc.communicate(timeout=2)
獲取日志時,總是無法獲取,會超時,需要二次獲取,并且timeout
設(shè)置太小時(實踐時嘗試過設(shè)置為1秒
),也會導(dǎo)致第二次執(zhí)行時無法獲取Nginx日志。
感謝各位的閱讀,以上就是“Python怎么實時獲取任務(wù)請求對應(yīng)的Nginx日志”的內(nèi)容了,經(jīng)過本文的學(xué)習(xí)后,相信大家對Python怎么實時獲取任務(wù)請求對應(yīng)的Nginx日志這一問題有了更深刻的體會,具體使用情況還需要大家實踐驗證。這里是億速云,小編將為大家推送更多相關(guān)知識點的文章,歡迎關(guān)注!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。