溫馨提示×
您好，登錄后才能下訂單哦！
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》
您好，登錄后才能下訂單哦！
今天就跟大家聊聊有關(guān)怎樣通過(guò)Python收集MySQL MHA 部署及運(yùn)行狀態(tài)信息的功能，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結(jié)了以下內(nèi)容，希望大家根據(jù)這篇文章可以有所收獲。
當(dāng)集團(tuán)的MySQL數(shù)據(jù)庫(kù)實(shí)例數(shù)達(dá)到2000+、MHA集群規(guī)模數(shù)百個(gè)時(shí)，對(duì)MHA的及時(shí)、高效管理是DBA必須面對(duì)的一個(gè)挑戰(zhàn)。MHA 集群 節(jié)點(diǎn)信息 和 運(yùn)行狀態(tài) 是管理的基礎(chǔ)。本篇幅主要介紹如何通過(guò)Python實(shí)現(xiàn)收集MHA 集群 節(jié)點(diǎn)信息 和 運(yùn)行狀態(tài)的功能。這些信息將是CMDB信息的重要組成部分。
MHA集群數(shù)百個(gè)，MHAManager 節(jié)點(diǎn) 十幾個(gè)，一個(gè)MHAManager 節(jié)點(diǎn)管理著50-60個(gè)集群。 我們希望開(kāi)發(fā)的程序，只在這十幾個(gè)MHAManager 節(jié)點(diǎn)部署運(yùn)行，就可以收集到所需的所有 MHA Server 節(jié)點(diǎn)信息、VIP 信息、運(yùn)行狀態(tài)信息及其他信息,并且將收集到的數(shù)據(jù)保存到MySQL 數(shù)據(jù)庫(kù)中。
| 工具程序或文件 | 功能 |
| mha_appxxx.cnf 配置文件 | 1.從這個(gè)文件中 提取 Server 信息（Server IP）； 2.提取 FailOver Script 和 Online Change Script的文件。 |
| appxxx_master_ip_failover 腳本文件 | 提取定義的VIP，和其他處收集到的VIP，進(jìn)行橫向比較，防止配置出錯(cuò)。 |
| appxxx_master_ip_online_change 腳本文件 | 提取定義的VIP，橫向比較防止配置出錯(cuò)。 |
| masterha_check_repl 工具程序 | 1.檢查MySQL復(fù)制狀況; 2.解析當(dāng)前主節(jié)點(diǎn)IP； 3.解析 slave 節(jié)點(diǎn)IP； 4.解析出VIP。 |
| masterha_check_status | 檢測(cè)當(dāng)前MHA運(yùn)行狀態(tài)（運(yùn)行OK還是stop）。 |
為便于理解，我們貼上mha_appxxx.cnf 的內(nèi)容。
[server default] manager_workdir=/var/log/masterha/app1.log //設(shè)置manager的工作目錄 manager_log=/var/log/masterha/app1/manager.log //設(shè)置manager的日志 master_binlog_dir=/data/mysql //設(shè)置master 保存binlog的位置，以便MHA可以找到master的日志，我這里的也就是mysql的數(shù)據(jù)目錄 master_ip_failover_script= /usr/local/bin/appxxx_master_ip_failover //設(shè)置自動(dòng)failover時(shí)候的切換腳本 master_ip_online_change_script= /usr/local/bin/appxxx_master_ip_online_change //設(shè)置手動(dòng)切換時(shí)候的切換腳本 password=用戶密碼 //設(shè)置mysql中root用戶的密碼，這個(gè)密碼是前文中創(chuàng)建監(jiān)控用戶的那個(gè)密碼 user=root 設(shè)置監(jiān)控用戶root ping_interval=1 //設(shè)置監(jiān)控主庫(kù)，發(fā)送ping包的時(shí)間間隔，默認(rèn)是3秒，嘗試三次沒(méi)有回應(yīng)的時(shí)候自動(dòng)進(jìn)行railover remote_workdir=/tmp //設(shè)置遠(yuǎn)端mysql在發(fā)生切換時(shí)binlog的保存位置 repl_password=用戶密碼 //設(shè)置復(fù)制用戶的密碼 repl_user=repl //設(shè)置復(fù)制環(huán)境中的復(fù)制用戶名 report_script=/usr/local/send_report //設(shè)置發(fā)生切換后發(fā)送的報(bào)警的腳本 shutdown_script="" //設(shè)置故障發(fā)生后關(guān)閉故障主機(jī)腳本（該腳本的主要作用是關(guān)閉主機(jī)放在發(fā)生腦裂,這里沒(méi)有使用） ssh_user=root //設(shè)置ssh的登錄用戶名 [server1] hostname=110.110.110.50 port=3306 [server2] hostname=110.110.110.60 port=3306 candidate_master=1 //設(shè)置為候選master，如果設(shè)置該參數(shù)以后，發(fā)生主從切換以后將會(huì)將此從庫(kù)提升為主庫(kù)，即使這個(gè)主庫(kù)不是集群中事件最新的slave check_repl_delay=0 //默認(rèn)情況下如果一個(gè)slave落后master 100M的relay logs的話，MHA將不會(huì)選擇該slave作為一個(gè)新的master，因?yàn)閷?duì)于這個(gè)slave的恢復(fù)需要花費(fèi)很長(zhǎng)時(shí)間，通過(guò)設(shè)置check_repl_delay=0,MHA觸發(fā)切換在選擇一個(gè)新的master的時(shí)候?qū)?huì)忽略復(fù)制延時(shí)，這個(gè)參數(shù)對(duì)于設(shè)置了candidate_master=1的主機(jī)非常有用，因?yàn)檫@個(gè)候選主在切換的過(guò)程中一定是新的master [server3] hostname=110.110.110.70 port=3306
因是簡(jiǎn)單流程圖，其中判斷及異常未在圖中標(biāo)明。
表命名為mysqldb_mha_info，其create 腳本如下:
create table `mysqldb_mha_info` ( `id` int(11) NOT NULL AUTO_INCREMENT, mha_manager_ip varchar(50) NOT NULL DEFAULT '' COMMENT 'MHA管理節(jié)點(diǎn)所在集群的IP', mha_name varchar(50) NOT NULL DEFAULT '' COMMENT 'MHA的名字，類似于副本集', mha_file_name varchar(250) NOT NULL DEFAULT '' COMMENT 'MHA .cnf 配置文件名字', mha_name_path varchar(250) NOT NULL DEFAULT '' COMMENT 'MHA .cnf 配置文件路徑和名字', `cnf_server1_ip` varchar(50) NOT NULL DEFAULT '' COMMENT 'MHA cnf 配置文件中的節(jié)點(diǎn)1', `cnf_server2_ip` varchar(50) NOT NULL DEFAULT '' COMMENT 'MHA cnf 配置文件中的節(jié)點(diǎn)2', `cnf_server3_ip` varchar(50) NOT NULL DEFAULT '' COMMENT 'MHA cnf 配置文件中的節(jié)點(diǎn)3', failover_script varchar(250) NOT NULL DEFAULT '' COMMENT 'MHA failover scripts的文件', failover_script_vip varchar(50) NOT NULL DEFAULT '' COMMENT 'MHA failover scripts 中定義的VIP', online_script varchar(250) NOT NULL DEFAULT '' COMMENT 'MHA online change scripts的文件', online_script_vip varchar(50) NOT NULL DEFAULT '' COMMENT 'MHA online change scripts 中定義的VIP', script_remark varchar(1500) NOT NULL DEFAULT '' COMMENT 'MHA scripts VIP 檢查結(jié)果', masterha_status varchar(10) NOT NULL DEFAULT '' COMMENT 'MHA 檢查是否開(kāi)啟,來(lái)自于 masterha_check_status 檢查結(jié)果', master_serverip varchar(50) NOT NULL DEFAULT '' COMMENT 'MHA 檢查是否開(kāi)啟,來(lái)自于 masterha_check_status 檢查結(jié)果', `current_master_ip` varchar(50) NOT NULL DEFAULT '' COMMENT 'MHA 當(dāng)前主節(jié)點(diǎn),來(lái)自check_repl', `mha_current_vip` varchar(50) NOT NULL DEFAULT '' COMMENT 'MHA 當(dāng)前VIP ,來(lái)自check_repl', `slave1_ip` varchar(50) NOT NULL DEFAULT '' COMMENT 'MHA 當(dāng)前從節(jié)點(diǎn)1,來(lái)自check_repl', `slave2_ip` varchar(50) NOT NULL DEFAULT '' COMMENT 'MHA 當(dāng)前從節(jié)點(diǎn)2 ,來(lái)自check_repl', mha_cnf_remark varchar(1500) NOT NULL DEFAULT '' COMMENT 'MHA check conf/cnf 檢查結(jié)果', check_repl_remark varchar(1500) NOT NULL DEFAULT '' COMMENT 'MHA check repl檢查結(jié)果', remark varchar(1500) NOT NULL DEFAULT '' COMMENT 'MHA 檢查結(jié)果', `creator` varchar(50) NOT NULL DEFAULT '', `create_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP, `operator` varchar(50) NOT NULL DEFAULT '', `modify_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP, PRIMARY KEY (`id`) ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4
模塊命名為db_conn.py，在此模塊中，使用mysql-connector替代了MySQLdb。安裝更加簡(jiǎn)便。
#!/usr/bin/python3 # -*- coding: UTF-8 -*- ##import MySQLdb 安裝模塊麻煩 import mysql.connector db = mysql.connector.connect(user='nideuid', password='nidepwd',host='nideseverip',database='DBname',port=XXXX)
文件為collect_mysqldbmha_info.py，其代碼如下:
#!/usr/bin/python
# -*- coding: UTF-8 -*-
import os
import io
import re
import ConfigParser
import socket
import db_conn
mysqldb = db_conn.db
cursor = mysqldb.cursor()
## 第1部分 獲取本機(jī)IP
try:
s=socket.socket(socket.AF_INET,socket.SOCK_DGRAM)
s.connect(('8.8.8.8',80))
mha_manager_ip=s.getsockname()[0]
print('mha manager 所在主機(jī)的IP如下:')
print(mha_manager_ip)
finally:
s.close()
###
##第2部分: 循環(huán)遍歷mha cnf 所在的文件夾，取出 cnf 進(jìn)行判斷和檢查
Path='/date/funcation/python/mha_conf'
#fout=open('輸出文件名','w')
for Name in os.listdir(Path) :
Pathname= os.path.join(Path,Name)
## print(Pathname)
## print(Name)
mha_name = Name.replace(".cnf", "").replace(".conf", "") ###為MHA集群?jiǎn)€(gè)名字
##print(mha_name)
##注意此處為r,不能為w,否則報(bào)錯(cuò):IOError: File not open for reading
with open(Pathname,'r') as f:
filecontent=f.read()
#print(filecontent)
remark = ''
####調(diào)整為ConfigParser,注意python2 和 python 的模塊名字是不一樣的.ConfigParser與configparser
config =ConfigParser.ConfigParser()
try:
config.read(Pathname)
server_item = config.sections()
##print(server_item)
### start 獲取 MHA 切換時(shí)的scripts 文件名字
mha_failover_script = ''
mha_online_change_script =''
mha_cnf_remark =''
if 'server default' in server_item:
mha_failover_script = config.get('server default','master_ip_failover_script')
###
mha_failover_script=mha_failover_script.replace(" --ssh_user=root", "")
##print(mha_failover_script)
else:
mha_cnf_remark = mha_cnf_remark + 'mha_failover_script 未配置;'
if 'server default' in server_item:
mha_online_change_script = config.get('server default','master_ip_online_change_script')
##print(mha_online_change_script)
else:
mha_cnf_remark = mha_cnf_remark + 'mha_online_change_script 未配置;'
###1.1 end 獲取結(jié)束
##1.2 start 獲取MHA配置文件中的節(jié)點(diǎn)信息
server1_host = '' ##MHA cnf 配置文件中的節(jié)點(diǎn)1
server2_host = '' ##MHA cnf 配置文件中的節(jié)點(diǎn)2
server3_host = '' ##MHA cnf 配置文件中的節(jié)點(diǎn)3
if 'server1' in server_item:
server1_host = config.get('server1','hostname')
print(server1_host)
else:
server1_host = ''
mha_cnf_remark = mha_cnf_remark + 'Server1未配置;'
print(server1_host)
if 'server2' in server_item:
server2_host = config.get('server2','hostname')
print(server2_host)
else:
server2_host = ''
mha_cnf_remark = mha_cnf_remark + 'Server2未配置;'
print(server2_host)
if 'server3' in server_item:
server3_host = config.get('server3','hostname')
print(server3_host)
##else:
##server3_host = ''
##mha_cnf_remark = mha_cnf_remark + 'Server3未配置;'
##print(server3_host)
##1.2 獲取server節(jié)點(diǎn)信息結(jié)束
print(mha_cnf_remark)
except Exception as e:
print(e)
#####第3部分 start 從 mha scripts 中提取 配置的VIP
mha_remark = ''
mha_failover_my_vip = ''
mha_failover_flush_vip = ''
mha_onlinechange_my_vip = ''
mha_onlinechange_flush_vip =''
if len(mha_failover_script) <> 0 and len(mha_online_change_script) <> 0 :
##3.1 先來(lái)處置 failover_script，解析其中的VIP
with open(mha_failover_script,'r') as f:
failscript_lines=f.readlines()
for failscript_line in failscript_lines:
failscript_ip=re.findall(r"\b(?:(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.){3}(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\b", failscript_line)
if failscript_ip:
if 'my $vip =' in failscript_line:
mha_failover_my_vip = failscript_ip[0]
print('解析出mha_failover_my_vip:')
print(mha_failover_my_vip)
if 'my $ssh_flush_vip' in failscript_line:
mha_failover_flush_vip = failscript_ip[0]
print('解析出mha_failover_flush_vip:')
print(mha_failover_flush_vip)
##文件讀取完畢，對(duì)讀取結(jié)果進(jìn)行判斷，判斷兩種情況
## 一種是否未定義
if mha_failover_my_vip =='':
mha_remark = mha_remark + 'MHA failover 未提取到VIP的設(shè)置，請(qǐng)檢查；'
## 另外一種，，定義了，但是值不相等
if mha_failover_my_vip <> mha_failover_flush_vip:
mha_remark = mha_remark + 'MHA failover scripts文件中設(shè)置的兩處VIP不一致，請(qǐng)檢查；'
## 3.2 處理online change scripts ,解析提取其中的VIP信息
with open(mha_online_change_script,'r') as f:
onlinescript_lines=f.readlines()
for onlinescript_line in onlinescript_lines:
onlinescript_ip=re.findall(r"\b(?:(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.){3}(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\b", onlinescript_line)
if onlinescript_ip:
if 'my $vip =' in onlinescript_line:
mha_onlinechange_my_vip = onlinescript_ip[0]
print('解析出mha_onlinechange_my_vip:')
print(mha_onlinechange_my_vip)
if 'my $ssh_flush_vip' in onlinescript_line:
mha_onlinechange_flush_vip = onlinescript_ip[0]
print('解析出mha_onlinechange_flush_vip:')
print(mha_onlinechange_flush_vip)
#### online change 文件讀完了，判斷定義的VIP是否符合要求
if mha_onlinechange_my_vip =='':
mha_remark = mha_remark + 'MHA online change scripts未提取到VIP的設(shè)置，請(qǐng)檢查；'
if mha_onlinechange_my_vip <> mha_onlinechange_flush_vip:
mha_remark = mha_remark + 'MHA online change scripts文件中設(shè)置的兩處VIP不一致，請(qǐng)檢查；'
#### 兩個(gè)文件都讀取了，判斷兩個(gè)文件中定義的VIP是否一致
if mha_onlinechange_my_vip <> mha_failover_my_vip:
mha_remark = mha_remark + 'MHA online change script 和 failover script 中的VIP不一致,請(qǐng)檢查。'
else:
mha_remark = mha_remark + 'MHA init 的配置文件未正確定義切換的scripts,請(qǐng)檢查。'
#print('MHA init 的配置文件未正確定義 切換的scripts,請(qǐng)檢查。')
print(mha_remark)
#####第2部分 end 從 mha scripts 中提取 配置的VIP
#### 第4部分，從masterha_check_status執(zhí)行結(jié)果中判斷mha進(jìn)程狀態(tài)
## 從 執(zhí)行masterha_check_status結(jié)果中解析出的 masterha_status 和 master_serverip 的數(shù)據(jù)
masterha_status =''
master_serverip =''
## 從 執(zhí)行masterha_check_repl結(jié)果中解析出的 current_master 、current_slave1、current_slave2 和 mha_current_vip 的數(shù)據(jù)
current_master = ''
current_slave1 = ''
current_slave2 = ''
mha_current_vip =''
##判斷下文件是否是MHA的配置文件，判斷方式就是文件中 必須有 server default\server1的sections
if 'server default' in server_item and 'server1' in server_item :
##cmd_mha_status ='/usr/local/bin/masterha_check_status --conf=/etc/mha/opszabbix.cnf'
cmd_mha_status ='/usr/local/bin/masterha_check_status --conf='+Pathname
try:
mha_status=os.popen(cmd_mha_status)
mha_status_result = mha_status.read()
print(mha_status_result) ##返回樣式為 XXXX (pid:------) is running(0:PING_OK), master:XXX.XXX.XXX.XXX
### 判斷狀態(tài)是否為運(yùn)行中
if 'running(0:PING_OK)' in mha_status_result:
masterha_status='Running'
##抓取MHA的Master 節(jié)點(diǎn)
##master_serverip = mha_status_result[mha_status_result.rfind('master:'):]
master_serverip = mha_status_result.split('master:')[1]
print(master_serverip)
print('MHA啟動(dòng)運(yùn)行正常')
elif 'stopped(2:NOT_RUNNING)' in mha_status_result:
masterha_status='stopped'
print('MHA未啟動(dòng)!!!')
finally:
if mha_status:
mha_status.close()
#### 第5部分，從masterha_check_repl的執(zhí)行結(jié)果中，判斷解析 主、從節(jié)點(diǎn)、VIP節(jié)點(diǎn)
## 判斷 副本集 的狀況
cmd_repl_status ='/usr/local/bin/masterha_check_repl --conf='+Pathname
try:
##### 添加 2> error 參數(shù),不需要打印出調(diào)試信息。
cmd_repl_status_result = cmd_repl_status + ' 2> checkrepl.log'
repl_status=os.popen(cmd_repl_status_result)
repl_status_result = repl_status.read()
##print(repl_status_result)
if 'MySQL Replication Health is OK' in repl_status_result:
print('MHA集群的主從正常')
###獲取ServerIP
#######調(diào)試信息是輸出到2號(hào)流中的，所以一定 添加 2>&1，否則抓取不到節(jié)點(diǎn)信息，只能抓到一個(gè)VIP。
cmd_repl_status_info = cmd_repl_status + ' 2>&1'
with os.popen(cmd_repl_status_info,'r') as repl_status_check2:
#repl_status_lines=repl_status_check2.readlines()
repl_status_lines=repl_status_check2.readlines()
##print(len(repl_status_lines)) ####打印出list的元素個(gè)數(shù)
for repl_status_line in repl_status_lines:
##print('################## start ###########################')
##print(str(repl_status_line).replace("\n", "").replace("\t", ""))
##repl_status_line ='Current Alive Master: 10.200.58.63(10.200.58.63:55988)'
serverip_result=re.findall(r"\b(?:(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.){3}(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\b", repl_status_line)
if serverip_result:
if 'Current Alive Master:' in repl_status_line:
current_master = serverip_result[0]
print('已解析到主節(jié)點(diǎn)IP')
print(current_master)
elif 'Checking replication health on' in repl_status_line and current_slave1 == '': ###有可能有2個(gè)從節(jié)點(diǎn)，此處為第1個(gè)從節(jié)點(diǎn)
current_slave1 = serverip_result[0]
print('已解析到從節(jié)點(diǎn)1')
print(current_slave1)
elif 'Checking replication health on' in repl_status_line and current_slave1 <> '': ###有可能有2個(gè)從節(jié)點(diǎn)，此處為第2個(gè)從節(jié)點(diǎn)
current_slave2 = serverip_result[0]
print('已解析到從節(jié)點(diǎn)2')
print(current_slave2)
elif 'Checking replication health on' in repl_status_line and current_slave1 <> '': ###有可能有2個(gè)從節(jié)點(diǎn)，此處為第2個(gè)從節(jié)點(diǎn)
print('集群有3個(gè)或更多的從節(jié)點(diǎn)，請(qǐng)確認(rèn)。')
if 'down==/sbin/ifconfig ' in repl_status_line:
mha_current_vip = serverip_result[0]
print('已解析到MHA集群的VIP')
print(mha_current_vip)
##print('包含serverip')
##print(serverip_result)
#else:
#print('不包含ServerIP')
##else:
##print(repl_status_line)
##print('################## end ###########################')
####獲取IP部分結(jié)束
else:
print('MHA集群的主從異常,請(qǐng)及時(shí)檢查')
finally:
if repl_status:
repl_status.close()
else:
remark = Pathname + '...... 不是MHA的配置文件,請(qǐng)檢查!'
print(remark)
##### 第6部分，將數(shù)據(jù)保存到表中
sql_insert = "insert into mysqldb_mha_info(mha_manager_ip,mha_name,mha_file_name,mha_name_path,cnf_server1_ip,cnf_server2_ip,cnf_server3_ip,failover_script,failover_script_vip,online_script,online_script_vip,masterha_status,master_serverip,current_master_ip,mha_current_vip,slave1_ip,slave2_ip,mha_cnf_remark,script_remark,remark) " \
"values('%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s')" % \
(mha_manager_ip,mha_name,Name,Pathname,server1_host,server2_host,server3_host,mha_failover_script,mha_failover_my_vip,mha_online_change_script,mha_onlinechange_my_vip,masterha_status,current_master,master_serverip,mha_current_vip,current_slave1,current_slave2,mha_cnf_remark,mha_remark,remark)
##print(sql_insert)
cursor.execute(sql_insert)
mysqldb.commit()
#####
# 關(guān)閉游標(biāo)
cursor.close()
# 關(guān)閉數(shù)據(jù)庫(kù)連接
mysqldb.close()Python 運(yùn)行環(huán)境為:Python 2.7.5
執(zhí)行命令：
python /data/XXXX路徑/collect_mysqldbmha_info.py
定期收集，請(qǐng)根據(jù)需要設(shè)置cron.
看完上述內(nèi)容，你們對(duì)怎樣通過(guò)Python收集MySQL MHA 部署及運(yùn)行狀態(tài)信息的功能有進(jìn)一步的了解嗎？如果還想了解更多知識(shí)或者相關(guān)內(nèi)容，請(qǐng)關(guān)注億速云行業(yè)資訊頻道，感謝大家的支持。
免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。
億速云公眾號(hào)
手機(jī)網(wǎng)站二維碼