如何通過Python掃描代碼關(guān)鍵字并進(jìn)行預(yù)警

#安裝python的依賴包
yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel libffi-devel gcc
#下載Python安裝包，版本號：Python-3.7.1.tgz（在/opt下創(chuàng)建目錄Python3）
wget https://www.python.org/ftp/python/3.7.1/Python-3.7.1.tgz
#解壓安裝包
tar -zxvf Python-3.8.1.tgz
#指定python3安裝目錄
./configure --prefix=/usr/local/python3
#編譯&安裝
make && make install
#創(chuàng)建軟連接，將自定目錄管理到指定目錄
ln -s /usr/local/python3/bin/python3 /usr/bin/python3
ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3
#添加環(huán)境變量
vi /etc/profile
export PATH=/usr/local/python3/bin:$PATH
 source /etc/profile

#至此Python3安裝完畢，通過命令驗(yàn)證

Git安裝
#下載git安裝包，版本號：2.21.0
wget https://github.com/git/git/archive/v2.21.0.tar.gz
#解壓
tar -zxvf v2.21.0.tar.gz
#安裝
make prefix=/usr/local/git install
#添加環(huán)境變量
vi /etc/profile
export PATH=/usr/local/git/bin:$PATH
source /etc/profile
 #至此Python3安裝完畢，通過命令驗(yàn)證

GitPython3安裝
#可以采用在線安裝
pip3 install GitPython
#但是我這里由于網(wǎng)絡(luò)限制無法在線安裝，只能采用手動(dòng)安裝
#下載依賴包，下載地址https://pypi.org/，可以根據(jù)關(guān)鍵字smmap、gitdb進(jìn)行檢索下載
smmap-3.0.4.tar.gz
gitdb-4.0.5.tar.gz
#安裝
tar -zxvf smmap-3.0.4.tar.gz
cd smmap-3.0.4
python3 setup.py install

tar -zxvf gitdb-4.0.5.tar.gz
cd gitdb-4.0.5
python3 setup.py install

tar -zxvf GitPython-3.1.2
cd GitPython-3.1.2
python3 setup.py install

#安裝完畢后，可以寫一個(gè)demo.py進(jìn)行驗(yàn)證
復(fù)制代碼
from git.repo import Repo
import os

demo_git_path = '/opt/workspace/demo'

#定義本地目錄
Repo.clone_from('http://git.***.com/demo/demo_git.git',to_path=demo_git_path, branch='master')
復(fù)制代碼
 #最終代碼庫將克隆到本地目錄(執(zhí)行前將demo.py賦權(quán)）

 python3 demo.py

linux下配置定時(shí)任務(wù)
#定時(shí)任務(wù)采用linux的crontab來實(shí)現(xiàn)
#編輯定時(shí)任務(wù)
crontab -e
* * * * * python3 /opt/python3-workspace/demo.py >> /opt/python3-workspace/logs/demo.log
#前五個(gè)是時(shí)間指令，分鐘（0-59）小時(shí)（0-28）日期（1-31）月份（1-12）星期幾（0-6，其中0代表星期日）
#python3 是具體執(zhí)行的指令 后面跟的是執(zhí)行的腳本 在后面跟的是日志
#編輯保存后會立即執(zhí)行
#查看當(dāng)前正在運(yùn)行的任務(wù),本案例中已臨時(shí)注釋#
crontab -l

SHELL=/bin/bash
PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin:/usr/local/git/bin:/root/bin
MAILTO=root
HOME=/

APScheduler安裝
#這里由于網(wǎng)絡(luò)限制無法在線安裝，只能采用手動(dòng)安裝
#下載依賴包，下載地址https://pypi.org/，可以根據(jù)關(guān)鍵字pytz、six、tzlocal進(jìn)行檢索下載
pytz-2020.1.tar.gz
six-1.14.0.tar.gz
tzlocal-2.1.tar.gz
APScheduler-3.6.3.tar.gz

#安裝tzlocal
tar -zxvf tzlocal-2.1.tar.gz
cd tzlocal-2.1
python3 setup.py install

#安裝six
tar -zxvf six-1.14.0.tar.gz
cd six-1.14.0
python3 setup.py install

#安裝pytz
tar -zxvf pytz-2020.1.tar.gz
cd pytz-2020.1
python3 setup.py install

#安裝APScheduler
tar -zxvf APScheduler-3.6.3.tar.gz
cd APScheduler-3.6.3
python3 setup.py install

至次APScheduler安裝完畢，寫個(gè)demo驗(yàn)證下：

git代碼獲取

通過Repo.clone_from獲取遠(yuǎn)程代碼倉庫，指定master分支，將遠(yuǎn)程代碼庫clone到本地/opt/workspace/demo目錄下，
如果當(dāng)前目錄不為空，則通過shutil.rmtree()進(jìn)行級聯(lián)刪除

關(guān)鍵詞掃描
利用os組件，實(shí)現(xiàn)對指定目錄進(jìn)行遞歸掃描，將符合要求的文件擴(kuò)展名.css .js .ftl .properties等文件進(jìn)行逐行掃描
關(guān)鍵詞掃描其實(shí)就是利用正則表達(dá)式，對要掃描的關(guān)鍵詞進(jìn)行匹配，如果匹配成功則將目標(biāo)文件名稱放入到異常文件列表
詳細(xì)代碼如下：
import os
import re
project_git_path = '/opt/workspace/demo'
cssnum = 0
jsnum = 0
ftlnum = 0
fileList = []
pattern = re.compile(r'.test.com')
def analysiFile(pathFilename):
 #print('文件名：', filename)
 fo = open(pathFilename, 'r', encoding='UTF-8')
 for line in fo.readlines():
  match = pattern.search(line)
  if match:
   if(fileList.count(filename) == 0):
    fileList.append(filename);
#循環(huán)打印目錄下的所有文件
for parentdir, dirname, filenames in os.walk(project_git_path):
 for filename in filenames:
  if os.path.splitext(filename)[1] == '.css':
   #分析具體文件
   analysiFile(parentdir + '\\' + filename)
  if os.path.splitext(filename)[1] == '.js':
   #分析具體文件
   analysiFile(parentdir + '\\' + filename)
  if os.path.splitext(filename)[1] == '.ftl':
   #分析具體文件
   analysiFile(parentdir + '\\' + filename)
  if os.path.splitext(filename)[1] == '.properties':
   #分析具體文件
   analysiFile(parentdir + '\\' + filename)
for item in fileList:
 print('命中文件：', item)
print('共計(jì)：', len(fileList))

郵件告警
郵件告警即通過smtp服務(wù)將上述匹配出來的異常文件列表，發(fā)送給對應(yīng)系統(tǒng)負(fù)責(zé)人
詳細(xì)代碼如下：
import smtplib
from email.mime.text import MIMEText
from email.header import Header
# 第三方 SMTP 服務(wù)
mail_host = "smtp.****.com" # 設(shè)置服務(wù)器
mail_user = "*****@****.com" # 用戶名
mail_pass = "*****" # 口令
sender = '*****@****.com'
receivers = ['***@***.com'] # 接收郵件，可設(shè)置為你的QQ郵箱或者其他郵箱
message = MIMEText('Python 郵件發(fā)送測試...', 'plain', 'utf-8')
message['From'] = Header("Python自動(dòng)化檢查", 'utf-8')
message['To'] = Header("系統(tǒng)負(fù)責(zé)人", 'utf-8')
subject = '某系統(tǒng)近2個(gè)月版本內(nèi)網(wǎng)域名檢查結(jié)果'
message['Subject'] = Header(subject, 'utf-8')
try:
 smtpObj = smtplib.SMTP()
 smtpObj.connect(mail_host, 25) # 25 為 SMTP 端口號
 smtpObj.login(mail_user, mail_pass)
 smtpObj.sendmail(sender, receivers, message.as_string())
 print
 "郵件發(fā)送成功"
except smtplib.SMTPException:
 print
 "Error: 無法發(fā)送郵件"