MySQL數(shù)據(jù)庫三種日志的特點(diǎn)和使用

下面講講關(guān)于MySQL數(shù)據(jù)庫三種日志的特點(diǎn)和使用，文字的奧妙在于貼近主題相關(guān)。所以，閑話就不談了，我們直接看下文吧，相信看完MySQL數(shù)據(jù)庫三種日志的特點(diǎn)和使用這篇文章你一定會(huì)有所受益。

1.1 mysql工具mysqlbinlog

mysqbinlog工具的作用是解析mysql的二進(jìn)制binlog日志內(nèi)容，把二進(jìn)制的日志解析成可以在MySQL數(shù)據(jù)庫里執(zhí)行的SQL語句。

1.2 MySQL的·binlog日志是什么？

MySQL數(shù)據(jù)目錄下的如下文件就是mysql的binlog日志

mysql-bin.000001
mysql-bin.000002
mysql-bin.000003
mysql-bin.000004
mysql-bin.000005
mysql-bin.000006
mysql-bin.000007
mysql-bin.000008
  . . . . . .. .
提示：要想生成binlog必須在配置文件中打開log-bin功能
[root@db01 3306]# greplog-bin /data/3306/my.cnf
log-bin =/data/3306/mysql-bin

1.3 mysql binlog日志功能開啟

[root@db01 3306]# vim /data/3306/my.cnf
log-bin = /data/3306/mysql-bin

1.4 mysql的binlog日志作用是什么？

       mysql的binlog日志作用是用來記錄mysql內(nèi)部增刪等對mysql數(shù)據(jù)庫有更新的內(nèi)容的記錄（對數(shù)據(jù)的改動(dòng)），對數(shù)據(jù)庫查詢的語句如show，select開頭的語句，不會(huì)被binlog日志記錄。用于數(shù)據(jù)庫的主從復(fù)制，以及增量恢復(fù)。

測試題：

在MySQL數(shù)據(jù)庫中，關(guān)于binlog日志，下列說法正確的是-----------（A）

A：依靠足夠長度的binlog日志和定期的全備，我們可以恢復(fù)任何時(shí)間點(diǎn)的單表數(shù)據(jù)。

B：以mysql主從同步為例，binlog中會(huì)記錄主數(shù)據(jù)庫的所有操作。

C：以mysql主從同步為例，binlog中會(huì)記錄主數(shù)據(jù)庫的所有查詢操作。

D：binlog通過cat和vi無法查看，但可以通過gedit查看。

1.5 mysqlbinlog工具解析binlog日志實(shí)踐

默認(rèn)情況binlog日志是二進(jìn)制格式的，不能使用查看文本工具的命令查看，例如：cat、vi

[root@db01 3306]# file /data/3306/mysql-bin.000001
/data/3306/mysql-bin.000001: MySQL replication log

解析指定庫的binlog日志

范例：利用mysqlbinlog-d參數(shù)解析指定庫的binlog日志

[root@db01 3306]#  oldboy /data/3306/mysql-bin.000001 -r oldboy.sql
[root@db01 3306]# ll oldboy.sql    
          
-rw-r--r-- 1 root root 4731 Aug 31 04:36 oldboy.sql
[root@db01 3306]# cat oldboy.sql

結(jié)論：mysqlbinlog工具分庫導(dǎo)出binlog，如果使用-d參數(shù)，那更新數(shù)據(jù)時(shí)，必須有usedatabase，才能分出指定庫的binlog，例如：

use oldboy;
insert into test values(1,’oldboy’)

下面的寫法就不行

nsert into oldboy.test values(1,’oldboy’)

官方資料

按照位置截取：精確

mysqlbinlog mysql-bin.000003 365 456 pos.sql

# 說明：指定文件的第365到456結(jié)束，是binlog文件中的“# at 365”---“# at 456”；-r是指定文件，相當(dāng)于重定向，如果命令中指定開始不指定結(jié)尾就是到文件的結(jié)尾，如果不指定開始則是從文件開頭開始。

按照時(shí)間截?。耗：粶?zhǔn)

mysqlbinlog mysql-bin.000003 -'2016-10-8 12:12:12' '2016-10-8 12:20:20' -r time.sql

# 說明：時(shí)間在該binlog文件中的 # at456 下面即使，只指定開始時(shí)間就是到文件結(jié)尾，只指定結(jié)尾，則是從開頭開始；-r是指定文件

1.6 mysqlbinlog命令小結(jié)

mysqlbinlog命令：

1. 把binlog日志解析為SQL語句（包含位置和時(shí)間點(diǎn)）。

2. -d參數(shù)根據(jù)指定庫拆分binlog（拆分單表binlog可通過SQL關(guān)鍵字過濾）。

3. 通過位置參數(shù)截取部分binlog：--syart-position=365  --stop-position=456,；精確定位取部分內(nèi)容。

4. 通過時(shí)間參數(shù)截取部分binlog：-stsrt-datetime='2016-10-8 12:12:12' --stop-deter=time='2016-10-8 12:20:20'，模糊截取部分內(nèi)容，會(huì)丟數(shù)據(jù)。

5. -r指定文件名，相當(dāng)于重定向。

6. 解析ROW級(jí)別binlog日志的方法

2. MySQL數(shù)據(jù)庫服務(wù)日志

2.1 錯(cuò)誤日志（error.log）介紹與調(diào)整

1. 錯(cuò)誤日志（error.log）介紹

  MySQL的錯(cuò)誤日志記錄MySQL服務(wù)進(jìn)程mysql在啟動(dòng)/關(guān)閉或運(yùn)行過程中遇到的錯(cuò)誤信息。

2. 錯(cuò)誤日志（error.log）實(shí)踐

法1：在配置文件中調(diào)整方法，當(dāng)然可以在啟動(dòng)時(shí)加入啟動(dòng)參數(shù)

[mysqld_safe]           
log-error=/data/3306/mysql_oldboy3306.err

法2：啟動(dòng)MySQL命令里加入：

mysql_safe --detaults-file=/data/3306/my.cnf  &

在數(shù)據(jù)庫里也可以看到

mysql> show variables like '%log_error%';
+---------------+---------------------------------+
| Variable_name |      Value                      |
+---------------+---------------------------------+
| log_error     |  |
+---------------+---------------------------------+
1 row in set (0.00 sec)

如果mysql數(shù)據(jù)庫起不起來排查步驟

1. 將日志文件備份，然后清空日志文件，并重啟數(shù)據(jù)庫，查看報(bào)錯(cuò)。

2. 如果是多實(shí)例的話講多實(shí)例目錄下的目錄權(quán)限chown -R mysql.....。

3. 查看是否有管理mysql數(shù)據(jù)庫的用戶。

2.2 普通查詢?nèi)罩荆?/span>genera log）介紹與調(diào)整（工作中不用）

1. 普通查詢?nèi)罩荆?/span>generalquery log）介紹

   普通查詢?nèi)罩荆?/span>general querylog），記錄客戶端連接信息和執(zhí)行的SQL語句信息（增刪改查，全部記錄）。工作中不用，會(huì)消耗IO性能，

2. 普通查詢?nèi)罩?/span>generalquery log）調(diào)整

mysql> show variables like 'general_log%';              
+-------------------------+--------------------------+
| Variable_name           |Value                     |
+-------------------------+--------------------------+
| general_log             | ON                       |
| general_log_file        | /data/3306/data/db01.log |
+-------------------------+--------------------------+
2 rows in set (0.00 sec)

臨時(shí)生效：

mysql> set global general_log_file ='/data/3306/data/db01.log';            
Query OK, 0 rows affected (0.00 sec)

mysql> show variables like 'general_log%';              
+-------------------------+--------------------------+
| Variable_name           |Value                     |
+-------------------------+--------------------------+
| general_log             | OFF                      |
| general_log_file        | /data/3306/data/db01.log |
+-------------------------+--------------------------+
2 rows in set (0.00 sec)

永久生效（配置文件中配置）：

[root@db01 3306]# grep gene /data/3306/my.cnf
general_log = on                                 
general_log_file = /data/3306/data/db01.log

實(shí)際的普通查詢?nèi)罩臼纠?/span>

2.3 慢查詢?nèi)罩荆?/span>slow query log）介紹與調(diào)整 *****

1. 慢查詢?nèi)罩窘榻B：

  慢查詢?nèi)罩?，記錄?zhí)行時(shí)間超出指定值的SQL語句

2. 慢查詢?nèi)罩镜恼{(diào)整

long_query_time = 1                             
log-slow-queries = /data/3306/slow.log          
log_queries_not_using_indexes

慢查詢的設(shè)置，對于數(shù)據(jù)庫SQL的優(yōu)化非常重要

[root@db01 /]# egrep "quer"/data/3306/my.cnf|tail -3
long_query_time = 1
log-slow-queries = /data/3306/slow.log
log_queries_not_using_indexes

利用慢查詢進(jìn)行優(yōu)化解決方案

1. 開啟慢查詢參數(shù)

long_query_time = 1                                  
log-slow-queries = /data/3306/slow.log
log_queries_not_using_indexes

2. 慢查詢?nèi)罩厩懈钅_本

[root@db01 /]# vim /server/scripts/cut_slow_log.sh
#!/bin/bash
cd /data/3306 &&\
/bin/mv slow.log slow.log.$(date +%F) &&\
mysqladmin -uroot -poldboy123 -S/data/3306/mysql.sock flush-log
[root@db01 scripts]# tail -2 /var/spool/cron/root
# cut mysql slow log
00 00 * * * /bin/sh /server/scripts/cut_slow_log.sh>/dev/null 2>&1

3. 使用工具mysqlsla分析慢查詢，定時(shí)給相關(guān)人員信箱

使用explain優(yōu)化SQL語句（select語句）的基本流程  * * * * *

原因：當(dāng)網(wǎng)站出現(xiàn)問題，到會(huì)訪問慢，在數(shù)據(jù)庫中超過2秒就是很慢的查詢了！

思路：當(dāng)用戶訪問數(shù)據(jù)慢時(shí)，就要想到是不是滿查詢引起的，所以我們要查找慢查詢，而找找慢查詢分兩種情況，第一種是比較緊急情況下使用下面緊急處理的現(xiàn)場抓取的方法，進(jìn)入mysql數(shù)據(jù)庫將慢查詢找到，然后建立索引，這起見借助explain可以查看慢查詢語句是否經(jīng)過索引，如果沒有經(jīng)過索引就建立索引，第二種則是不那么緊急的情況，可以在平時(shí)就關(guān)注負(fù)載、cpu等信息，當(dāng)發(fā)現(xiàn)有異常時(shí)時(shí)就進(jìn)行檢查，這些都是可以通過修改配置文件來將慢查詢的語句輸入到sllow.log里面，然后通過分析工具進(jìn)行分析，以郵件的形式發(fā)給開發(fā)人員和dba人員讓他們來介入處理。 

排查方法：首先查看web負(fù)載高不高，存儲(chǔ)壓力大不大，還有數(shù)據(jù)庫負(fù)載和磁盤IO，還有cpu等原因。負(fù)載高的話常規(guī)情況下是數(shù)據(jù)庫慢查詢導(dǎo)致的，下面是查詢數(shù)據(jù)庫慢查詢?nèi)缦拢?/span> 

（1） 抓慢查詢SQL語句方法

在數(shù)據(jù)庫查找慢查詢（緊急處理）

mysql> show full processlist;                            
+----+------+-----------+--------+---------+------+-------+-----------------------+
| Id | User | Host      | db     | Command | Time | State |Info                   |
+----+------+-----------+--------+---------+------+-------+-----------------------+
|  9 | root | localhost | oldboy | Query   |    0 | NULL  | show full processlist |
+----+------+-----------+--------+---------+------+-------+-----------------------+
1 row in set (0.00sec)

說明：如果數(shù)據(jù)庫正在對外提供訪問，訪問量大時(shí)。連續(xù)執(zhí)行此命令會(huì)有很多語句，建議每隔兩秒執(zhí)行兩次，當(dāng)發(fā)現(xiàn)同一個(gè)命令連續(xù)出現(xiàn)時(shí)，就可能是慢查詢語句。

在命令行查詢慢查詢（日常處理）

[root@db01 ~]# mysql -uroot -poldboy123 -S /data/3306/mysql.sock -e "showfull processlist;"|egrep -vi "sleep"
Id   User   Host       db    Command  Time    State  Info
11   root   localhost   NULL   Query      0     NULL    show full processlist

說明：此命令可以說是未雨綢繆；重要不緊急，分析慢查詢?nèi)罩?/span>

配置參數(shù)記錄慢查詢語句

long_query_time = 2                          
log_queries_not_using_indexes                 
log-slow-queries = /data/3306/slow.log

（2） 抓到慢查詢后，使用explain語句檢查索引執(zhí)行情況（看下有沒有走索引）

explain select * from test where name='oldgirl'\G
explain select * from test where name='oldgirl'\G

提示：這兩條命令是查詢的結(jié)果是一樣的！SQL_NO_CACHE是防止有緩存

（3）對需要建索引的條件列建立索引

  大表不能高峰期建立索引，300萬記錄就是達(dá)標(biāo)

（4）分析man查詢工具mysqlsla（每天早晨發(fā)郵件）。

切割慢查詢?nèi)罩?/span>

1.mv切割、reload進(jìn)程（和mginx日志切割一個(gè)原理）

[root@db01 3306]# vim /data/3306/my.cnf       
log-slow-queries = /data/3306/slow.log        
 
[root@db01 3306]# /data/3306/mysql restart    
Restarting MySQL...
Stoping MySQL...
Starting MySQL...
 
[root@db01 3306]# ll slow.log                 
-rw-rw---- 1 mysqlmysql 380 Aug 27 15:59 slow.log
 
[root@db01 3306]# mv /data/3306/slow.log /opt/$(date +%F)_slow.log      
 
[root@db01 3306]# ll /opt/                                              
-rw-rw----  1 mysql mysql 190 Aug 27 16:26 2016-08-27_slow.log
 
[root@db01 3306]# mysqladmin -uroot -poldboy123 -S /data/3306/mysql.sock flush-logs
                                     
[root@db01 3306]# ll /data/3306/slow.log
-rw-rw---- 1 mysqlmysql 190 Aug 27 16:28 /data/3306/slow.log

2. 寫成腳本（定時(shí)任務(wù)）

mv /data/3306/slow.log/opt/$(date +%F)_slow.log
mysqladmin -uroot -poldboy123 -S/data/3306/mysql.sock flush-logs

提示：可以將以上命令寫成腳本，每天進(jìn)行切割，在使用相應(yīng)的工具進(jìn)行分析

對于以上MySQL數(shù)據(jù)庫三種日志的特點(diǎn)和使用相關(guān)內(nèi)容，大家還有什么不明白的地方嗎？或者想要了解更多相關(guān)，可以繼續(xù)關(guān)注我們的行業(yè)資訊板塊。