溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

多項(xiàng)目百庫百表慢日志切割

發(fā)布時(shí)間：2020-08-10 12:51:55 來源：ITPUB博客 閱讀：176 作者：Kind0f 欄目：MySQL數(shù)據(jù)庫
問題描述：

    多個(gè)項(xiàng)目，有些項(xiàng)目分庫分表分布在多個(gè)節(jié)點(diǎn)，因此，對(duì)慢日志的切割并且收集對(duì)于慢日志分析來說是極其必要的。

實(shí)現(xiàn)方案：

    ①環(huán)境準(zhǔn)備

    Host1 : ftp服務(wù)器(192.168.xx.xxx)，用于集中存儲(chǔ)各項(xiàng)目每天(可腳本自定義)的日志
    Host2 : mysql服務(wù)器(192.168.xx.xxx)，用于存儲(chǔ)配置相關(guān)的參數(shù)(如需要收集的日志host,user,pwd,日志位置等信息)，之后用于腳本的查詢調(diào)用。
    Host3 : 執(zhí)行操作的機(jī)器(192.168.xx.xxx) ，即執(zhí)行腳本設(shè)置定時(shí)任務(wù)的機(jī)器

    ②腳本準(zhǔn)備

    涉及到兩個(gè)腳本，logrotate.sh 以及 job.sh
    其中job.sh用于批量執(zhí)行的mysql中存儲(chǔ)的相關(guān)host的操作，job.sh調(diào)用logrotate.sh
    logrotate.sh用于在各臺(tái)需要收集日志的機(jī)器上實(shí)際的執(zhí)行操作

    mysql配置表結(jié)構(gòu)及數(shù)據(jù)如下(注意添加一個(gè)所有機(jī)器都能查詢?cè)摫淼囊粋€(gè)賬號(hào))：

    多項(xiàng)目百庫百表慢日志切割

    多項(xiàng)目百庫百表慢日志切割


    job.sh腳本如下：
    

點(diǎn)擊(此處)折疊或打開

  1. #!/bin/bash


  4. mysql_host=192.168.xx.xxx
  5. mysql_port=3456
  6. mysql_user=xxx
  7. mysql_pwd=xxxxxx


  10. function get_info {
  11.     cmd=`which mysql`
  12.     $cmd -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_pwd -BNe "select * from DB_SPLIT_LOG.t_log_info;" | while read line
  13.     do
  14.         host_ip=`echo $line | awk '{print $3}'`
  15.         ssh_user=`echo $line | awk '{print $9}'`
  16.         ssh_pwd=`echo $line | awk '{print $10}'`
  17.         /usr/bin/sshpass -p $ssh_pwd ssh -o StrictHostKeyChecking=no $ssh_user@$host_ip "bash " < logrotate.sh
  18.     done
  19. }

  21. get_info

    logrotate.sh腳本內(nèi)容如下:

點(diǎn)擊(此處)折疊或打開

  1. #!/bin/bash


  4. declare game
  5. declare slow_log
  6. declare ftp_host
  7. declare ftp_user
  8. declare ftp_pwd
  9. declare ssh_pwd
  10. declare local_ip
  11. declare log_name
  12. declare old_dir
  13. declare tmp_conf
  14. declare tran_log_dir
  15. declare tran_log

  17. dev=eth2
  18. mysql_host=192.168.xx.xxx
  19. mysql_port=3456
  20. mysql_user=xxx
  21. mysql_pwd=xxxxx
  22. mysql_db=DB_SPLIT_LOG

  24. date=`date +%Y%m%d`



  28. function get_ip {
  29.     local_ip=`/sbin/ifconfig| grep -A 1 "$dev" | grep -i 'inet addr' | head -1 | awk -F[:] '{print $2}' | cut -d' ' -f1`
  30. }

  32. function get_info {
  33.     cmd=`which mysql`
  34.     argvs=`$cmd -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_pwd -BNe "select * from DB_SPLIT_LOG.t_log_info where host_ip='${local_ip}' limit 1;"`
  35.     game=`echo $argvs | awk '{print $2}'`
  36.     local_ip=`echo $argvs | awk '{print $3}'`
  37.     old_dir=`echo $argvs | awk '{print $4}'`
  38.     slow_log=`echo $argvs | awk '{print $5}'`
  39.     ftp_host=`echo $argvs | awk '{print $6}'`
  40.     ftp_user=`echo $argvs | awk '{print $7}'`
  41.     ftp_pwd=`echo $argvs | awk '{print $8}'`


  44.     log_name=${game}_`date +%Y%m%d`_$local_ip.slow
  45.     tmp_conf=$old_dir/logrotate_${date}.conf
  46.     mkdir -p /tmp/slow_tran_log
  47.     tran_log_dir=/tmp/slow_tran_log
  48.     tran_log=$tran_log_dir/${date}.log
  49. }


  52. function operation_log {
  53.     exec 1>$tran_log
  54.     exec 2>$tran_log
  55. }

  57. function create_rotate_conf {
  58.     echo """
  59.     $slow_log {
  60.         daily
  61.         copytruncate
  62.         dateext
  63.         create 0660 mysql mysql
  64.         olddir $old_dir
  65.         rotate 1
  66.     }
  67.     """ > $tmp_conf
  68. }


  71. function start_logrotate {
  72.     echo ""
  73.     /usr/sbin/logrotate -vf $tmp_conf
  74. }


  77. function change_logname {
  78.     echo ""

  80.     for file in `find $old_dir -maxdepth 1 -type f -name "*slow*${date}*"`
  81.     do
  82.         echo $file
  83.     done
  84.     echo "change log name $file to ${old_dir}/${log_name}"
  85.     mv $file ${old_dir}/${log_name}
  86. }

  88. function ftp_put {
  89.     echo ""
  90.     echo "start ftp put $log_name"
  91.     ftp -in <<EOF
  92.     open $ftp_host
  93.     user $ftp_user $ftp_pwd
  94.     mkdir $game
  95.     cd $game
  96.     lcd $old_dir
  97.     mput $log_name
  98.     quit
  99. EOF
  100.     echo "ftp put $log_name over!"
  101. }

  103. function clear_tmp_file {
  104.     echo ""
  105.     echo "clear tmp file"
  106.     cd $old_dir
  107.     echo "cd $old_dir "
  108.     echo "rm -f $tmp_conf "
  109.     echo "rm -f $log_name "
  110.     rm -f $tmp_conf
  111.     rm -f $log_name
  112. }

  114. get_ip
  115. get_info
  116. operation_log
  117. create_rotate_conf
  118. start_logrotate
  119. change_logname
  120. ftp_put
  121. clear_tmp_file
        在Host3上將兩個(gè)腳本置于一個(gè)目錄之下，然后添加一個(gè)定時(shí)任務(wù)

        多項(xiàng)目百庫百表慢日志切割

        
        在Host2(ftp)上查看操作結(jié)果
        
        多項(xiàng)目百庫百表慢日志切割


       ③過程描述
        1 .  job.sh 查詢DB_SPLIT_LOG.t_log_info表中的所有host_ip ssh_user ssh_pwd ,然后循環(huán)遠(yuǎn)程執(zhí)行腳本logrotate.sh
        2 . logrotate.sh 首先查詢本機(jī)ip ，然后根據(jù)本機(jī)ip獲取DB_SPLIT_LOG.t_log_info表中對(duì)應(yīng)的log_dir lot_file game ftp相關(guān)信息
        3 . 生成logrotate的配置文件
        4 . 進(jìn)行切割
        5 . 更改切割出來的日志名稱
        6 . 上傳到ftp
        7 . 清空臨時(shí)文件
    
    注意點(diǎn)：logrotate所切割的文件產(chǎn)生的結(jié)果必須和源文件在一個(gè)分區(qū)上(即你切割的結(jié)果文件slow.log-2016-10-25和原來的slow.log文件)，不然切割會(huì)不成功。

    另 : 該腳本適用于任何日志文件的切割與收集。只需要在DB_SPLIT_LOG.t_log_info表中添加相應(yīng)的記錄即可。


向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手