溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點(diǎn)擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

MySQL如何實(shí)現(xiàn)日志管理

發(fā)布時(shí)間:2020-05-08 14:09:30 來源:億速云 閱讀:253 作者:三月 欄目:建站服務(wù)器

本文主要給大家簡單講講MySQL如何實(shí)現(xiàn)日志管理,相關(guān)專業(yè)術(shù)語大家可以上網(wǎng)查查或者找一些相關(guān)書籍補(bǔ)充一下,這里就不涉獵了,我們就直奔主題吧,希望MySQL如何實(shí)現(xiàn)日志管理這篇文章可以給大家?guī)硪恍?shí)際幫助。

MySQL日志管理

SHOW GLOBAL VARIABLES LIKE '%log%';查看關(guān)于log的全局變量

一、日志分類

   1.錯(cuò)誤日志   2.一般查詢?nèi)罩?  3.慢查詢?nèi)罩?/p>

   4.二進(jìn)制日志  5.中繼日志   6.事務(wù)日志   7.滾動日志

二、日志詳解

1.錯(cuò)誤日志

說明:在對應(yīng)的數(shù)據(jù)目錄中,以主機(jī)名+.err命名的文件,錯(cuò)誤日志記錄的信息類型:

MySQL如何實(shí)現(xiàn)日志管理

  • 記錄了云服務(wù)器運(yùn)行中產(chǎn)生的錯(cuò)誤信息

  • 記錄了服務(wù)在啟動和停止是所產(chǎn)生的信息

  • 在從云服務(wù)器上如果啟動了復(fù)制進(jìn)程的時(shí)候,復(fù)制進(jìn)程的信息也會被記錄

  • 記錄event事件錯(cuò)誤日志

配置mysql的主配置文件:

1
2
log_error = /mydata/data/mysql.test.com.err #指定錯(cuò)誤日志的位置,默認(rèn)是在數(shù)據(jù)目錄下,這個(gè)位置mysql用戶必須有寫權(quán)限
log_warning = {0|1} #默認(rèn)開啟,云服務(wù)器運(yùn)行中的警告日志也會記錄在錯(cuò)誤日志中

2.一般查詢?nèi)罩?/p>

說明:對除了慢查日志中記錄的查詢信息都將記錄下來,這將對云服務(wù)器主機(jī)產(chǎn)生大量的壓力,所以對于繁忙的云服務(wù)器應(yīng)該關(guān)閉這個(gè)日志

與查詢?nèi)罩鞠嚓P(guān)的變量,

1
2
3
4
log = {ON|OFF} #是否啟用查詢?nèi)罩?,該指令在mysq5.6中已廢棄
general_log = {ON|OFF} #啟動或關(guān)閉查詢?nèi)罩荆J(rèn)是關(guān)閉的
general_log_file = /mydata/data/mysql.log #指定查詢?nèi)罩镜奈恢?,默認(rèn)在數(shù)據(jù)目錄下
log_output = {TABLE|FILE|NONE} #指定存放查詢?nèi)罩镜奈恢茫梢苑旁谖募?,也可以放在?shù)據(jù)庫的表中,放在表中比放在文件中更容易查看。如果組合中出現(xiàn)了NONE,那么其它設(shè)定都將失效,同時(shí),無論是否啟用日志功能,也不會記錄任何相關(guān)的日志信息

3.慢查詢?nèi)罩?/p>

說明:默認(rèn)為關(guān)閉狀態(tài),記錄下來查詢時(shí)間超過設(shè)定時(shí)長的查詢,這些查詢?nèi)罩緦⒈宦槿罩居涗浵聛?/p>

配置mysql的主配置文件:

1
2
3
4
5
slow_query_log  = {ON | OFF} #是否開啟慢慢查詢?nèi)罩?,默認(rèn)是關(guān)閉的 
slow_query_log_file = /mydata/data/mysql-slow.log #慢查詢?nèi)罩镜拇娣盼恢?,默認(rèn)在數(shù)據(jù)目錄下
log_query_time = 10 #定義默認(rèn)的時(shí)長,默認(rèn)時(shí)長為10秒
log_query_not_using_indexes = {ON|OFF} #設(shè)定是否將沒有使用索引的查詢操作記錄到慢查詢?nèi)罩?nbsp;
log_output = {TABLE|FILE|NONE} #定義一般查詢?nèi)罩竞吐樵內(nèi)罩镜谋4娣绞?,可以是TABLE、FILE、NONE,也可以是TABLE及FILE的組合(用逗號隔開),默認(rèn)為FILE。如果組合中出現(xiàn)了NONE,那么其它設(shè)定都將失效,同時(shí),無論是否啟用日志功能,也不會記錄任何相關(guān)的日志信息

4.二進(jìn)制日志

說明:默認(rèn)開啟,精確的記錄了用戶對數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行操作的命令和操作的數(shù)據(jù)對象,

任何引起或可能引起數(shù)據(jù)庫變化的操作,二進(jìn)制日志都會記錄下來。   
    二進(jìn)制日志文件的作用:

  • 提供了增量備份的功能

  • 提供了數(shù)據(jù)基于時(shí)間點(diǎn)的恢復(fù),這個(gè)恢復(fù)的時(shí)間點(diǎn)可以由用戶控制

  • 為mysql的復(fù)制架構(gòu)提供基礎(chǔ),將這主云服務(wù)器的二進(jìn)制日志復(fù)制到從云服務(wù)器上并執(zhí)行同樣的操作,就可將數(shù)據(jù)進(jìn)行同步

    二進(jìn)制日志格式:

  • 基于語句 statement

  • 基于行 row

  • 混合方式 mixed

    二進(jìn)制日志事件:

  • position 基于位置

  • datetime 基于時(shí)間

    二進(jìn)制日志的查看與刪除方式:

1
2
3
4
5
mysql>show master status; 查看當(dāng)前正在使用的二進(jìn)制日志 

mysql>show binlog events in 'mysql-bin.000001'; 查看二進(jìn)制日志記錄的事件也可以跟[from position]從什么位置開始mysql-bin.000001為二進(jìn)制文件名

Usage:SHOW BINLOG EVENTS IN 'mysql-bin.00001' FROM 107 #查看mysql-bin.00001日志文件的事件信息,且從事件107位置開始顯示

mysql>flush logs; 二進(jìn)制日志滾動  
mysql>show binary logs; 查看所有二進(jìn)制日志  

mysql>purge binary logs to 'mysql-bin.000003'; 刪除二進(jìn)制日志文件之前的所有日志文件。

mysql>SHOW BINARY LOGS ; #查看所有的二進(jìn)制日志文件

+------------------+-----------+

| Log_name         | File_size |

+------------------+-----------+

| mysql-bin.000001 |      1165 |

| mysql-bin.000002 |       126 |

| mysql-bin.000003 |       126 |

| mysql-bin.000004 |       884 |

| mysql-bin.000005 |       126 |

| mysql-bin.000006 |       126 |

| mysql-bin.000007 |       126 |

| mysql-bin.000008 |       126 |

| mysql-bin.000009 |       206 |

| mysql-bin.000010 |       126 |

| mysql-bin.000011 |       126 |

| mysql-bin.000012 |       391 |

| mysql-bin.000013 |      7984 |

| mysql-bin.000014 |       286 |

| mysql-bin.000015 |      1325 |

| mysql-bin.000016 |       390 |

| mysql-bin.000017 |       371 |

+------------------+-----------+

17 rows in set (0.00 sec)

mysql> PURGE BINARY LOGS TO 'mysql-bin.000003'; #刪除二進(jìn)制日志文件之前的所有日志文件。再次查看,二進(jìn)制日志文件,000001和000002日志文件已經(jīng)被刪除。

Query OK, 0 rows affected (0.01 sec)


mysql> SHOW BINARY LOGS ;

+------------------+-----------+

| Log_name         | File_size |

+------------------+-----------+

| mysql-bin.000003 |       126 |

| mysql-bin.000004 |       884 |

| mysql-bin.000005 |       126 |

| mysql-bin.000006 |       126 |

| mysql-bin.000007 |       126 |

| mysql-bin.000008 |       126 |

| mysql-bin.000009 |       206 |

| mysql-bin.000010 |       126 |

| mysql-bin.000011 |       126 |

| mysql-bin.000012 |       391 |

| mysql-bin.000013 |      7984 |

| mysql-bin.000014 |       286 |

| mysql-bin.000015 |      1325 |

| mysql-bin.000016 |       390 |

| mysql-bin.000017 |       371 |

+------------------+-----------+

15 rows in set (0.00 sec)

     文件系統(tǒng)中查看二進(jìn)制日志的命令:mysqlbinlog

1
2
3
4
5
6
mysqlbinlog
相關(guān)選項(xiàng), 
--start-position #開始位置  
--stop-position #結(jié)束位置  
--start-datetime 'yyyy-mm-dd hh:mm:ss'; #開始時(shí)間  

--stop-datetime ''; #結(jié)束時(shí)間

Usage:

[root@lamp ~]#mysqlbinlog mysql-bin.000001 #查看mysql-bin.000001日志事件的全部信息

[root@lamp ~]# mysqlbinlog --start-datetime '2017-04-18 09:01:13' mysql-bin.000001 #查看mysql-bin.000001日志事件從2017年04月18號9點(diǎn)01分之后的信息。

[root@lamp ~]# mysqlbinlog --start-position 193 mysql-bin.000001 #查看mysql-bin.000001日志時(shí)間從193位置開始之后的信息。


       配置mysql的主配置文件:  

1
2
3
4
5
6
7
8
9
sql_log_bin = {ON|OFF} #用于控制二進(jìn)制日志信息是否記錄進(jìn)日志文件。默認(rèn)為ON,表示啟用記錄功能。用戶可以在會話級別修改此變量的值,但其必須具有SUPER權(quán)限
binlog_cache_size = 32768 #默認(rèn)值32768 Binlog Cache 用于在打開了二進(jìn)制日志(binlog)記錄功能的環(huán)境,是 MySQL 用來提高binlog的記錄效率而設(shè)計(jì)的一個(gè)用于短時(shí)間內(nèi)臨時(shí)緩存binlog數(shù)據(jù)的內(nèi)存區(qū)域。一般來說,如果我們的數(shù)據(jù)庫中沒有什么大事務(wù),寫入也不是特別頻繁,2MB~4MB是一個(gè)合適的選擇。但是如果我們的數(shù)據(jù)庫大事務(wù)較多,寫入量比較大,可與適當(dāng)調(diào)高binlog_cache_size。同時(shí),我們可以通過binlog_cache_use 以及 binlog_cache_disk_use來分析設(shè)置的binlog_cache_size是否足夠,是否有大量的binlog_cache由于內(nèi)存大小不夠而使用臨時(shí)文件(binlog_cache_disk_use)來緩存了 
binlog_stmt_cache_size = 32768 #當(dāng)非事務(wù)語句使用二進(jìn)制日志緩存,但是超出binlog_stmt_cache_size時(shí),使用一個(gè)臨時(shí)文件來存放這些語句  
log_bin = mysql-bin #指定binlog的位置,默認(rèn)在數(shù)據(jù)目錄下
binlog-format = {ROW|STATEMENT|MIXED} #指定二進(jìn)制日志的類型,默認(rèn)為MIXED。如果設(shè)定了二進(jìn)制日志的格式,卻沒有啟用二進(jìn)制日志,則MySQL啟動時(shí)會產(chǎn)生警告日志信息并記錄于錯(cuò)誤日志中。 
sync_binlog = 10 #設(shè)定多久同步一次二進(jìn)制日志至磁盤文件中,0表示不同步,任何正數(shù)值都表示對二進(jìn)制每多少次寫操作之后同步一次。當(dāng)autocommit的值為1時(shí),每條語句的執(zhí)行都會引起二進(jìn)制日志同步,否則,每個(gè)事務(wù)的提交會引起二進(jìn)制日志同步  
max_binlog_cache_size = {4096 .. 18446744073709547520} #二進(jìn)定日志緩存空間大小,5.5.9及以后的版本僅應(yīng)用于事務(wù)緩存,其上限由max_binlog_stmt_cache_size決定。  
max_binlog_stmt_cache_size = {4096 .. 18446744073709547520} #二進(jìn)定日志緩存空間大小,5.5.9及以后的版本僅應(yīng)用于事務(wù)緩存  
expire_log_days = {0..99} #設(shè)定二進(jìn)制日志的過期天數(shù),超出此天數(shù)的二進(jìn)制日志文件將被自動刪除。默認(rèn)為0,表示不啟用過期自動刪除功能。如果啟用此功能,自動刪除工作通常發(fā)生在MySQL啟動時(shí)或FLUSH日志時(shí)

注:一般建議將binlog日志與數(shù)據(jù)文件分開存放,不但可以提高mysql性能,還可以增加安全性!

5.中繼日志

說明:主要是在mysql云服務(wù)器的中從架構(gòu)中的從云服務(wù)器上用到的,當(dāng)從服務(wù)器想要和主服務(wù)器進(jìn)行數(shù)據(jù)的同步時(shí),從服務(wù)器將主服務(wù)器的二進(jìn)制日志文件拷貝到己的主機(jī)上放在中繼日志中,然后調(diào)用SQL線程按照拷中繼日志文件中的二進(jìn)制日志文件執(zhí)行以便就可達(dá)到數(shù)據(jù)的同步

開啟的方法:(只在從云服務(wù)器上開啟)   
配置mysql的主配置文件:    

1
2
3
4
5
6
relay-log = file_name #指定中繼日志的位置和名字,默認(rèn)為host_name-relay-bin。也可以使用絕對路徑,以指定非數(shù)據(jù)目錄來存儲中繼日志  
relay-log-index = file_name #指定中繼日志的名字的索引文件的位置和名字,默認(rèn)為數(shù)據(jù)目錄中的host_name-relay-bin.index
relay-log-info-file = file_name #設(shè)定中繼服務(wù)用于記錄中繼信息的文件,默認(rèn)為數(shù)據(jù)目錄中的relay-log.info
relay_log_purge = {ON|OFF} #設(shè)定對不再需要的中繼日志是否自動進(jìn)行清理。默認(rèn)值為ON
relay_log_space_limit = 0 #設(shè)定用于存儲所有中繼日志文件的可用空間大小。默認(rèn)為0,表示不限定。最大值取決于系統(tǒng)平臺位數(shù)
max_relay_log_size = {4096..1073741824} #設(shè)定從云服務(wù)器上中繼日志的體積上限,到達(dá)此限度時(shí)其會自動進(jìn)行中繼日志滾動。此參數(shù)值為0時(shí),mysqld將使用max_binlog_size參數(shù)同時(shí)為二進(jìn)制日志和中繼日志設(shè)定日志文件體積上限

6.事務(wù)日志

說明:詳細(xì)的記錄了在什么時(shí)間發(fā)生了什么時(shí)候,在哪個(gè)時(shí)間對哪些數(shù)據(jù)進(jìn)行了改變,能后實(shí)現(xiàn)事件的重放,一般只記錄對數(shù)據(jù)進(jìn)行改變的操作,對于讀操作一般不進(jìn)行記錄。事務(wù)性存儲引擎用于保證原子性、一致性、隔離性和持久性

事物日志為數(shù)據(jù)庫云服務(wù)器實(shí)現(xiàn)以下功能:   
(1).將隨機(jī)IO轉(zhuǎn)換為順序IO,大大的提高了數(shù)據(jù)庫的性能,存儲的數(shù)據(jù)可能存在在磁盤的不同位置,降低了數(shù)據(jù)的讀取和操作性能。轉(zhuǎn)換為順序IO的原理為,先將數(shù)據(jù)存放在日志文件中,然后由RDBSM的后臺將日志中的數(shù)據(jù)存放到磁盤上,這樣就保證了存儲的數(shù)據(jù)是連續(xù)的。    
(2).為事件重放提供基礎(chǔ),事務(wù)日志詳細(xì)的記錄了時(shí)間發(fā)生的時(shí)間以及操作的數(shù)據(jù)對象,事務(wù)進(jìn)程可以根據(jù)這些信息進(jìn)行時(shí)間重放。    
默認(rèn)的事務(wù)日志文件有兩個(gè),位于數(shù)據(jù)目錄下以ibdata+number結(jié)尾的數(shù)字,我們可以對事務(wù)日志的位置、文件大小、增長方式進(jìn)行定義,定義的方法如下:    
這里以使用支持事務(wù)的Innodb存儲引擎為例,

配置mysql的主配置文件:

1
2
3
4
5
6
7

innodb_flush_log_at_commit     #默認(rèn)值為1,共有三個(gè)級別;0:每秒同步,并執(zhí)行磁盤flush操作;1:每事務(wù)同步,并執(zhí)行磁盤flush操作;2:每事務(wù)同步,但不執(zhí)行磁盤flush操作。

innodb_data_home_dir = /mydata/data  #InnoDB所有共享表空間數(shù)據(jù)文件的目錄路徑,默認(rèn)在數(shù)據(jù)目錄下

innodb_data_file_path = ibdata1:1024M  #指定InnoDB的各個(gè)數(shù)據(jù)文件及其大小,文件多于一個(gè)時(shí)彼此間用分號隔開。

innodb_mirrored_log_groups  #事務(wù)日志是否啟用鏡像設(shè)定 

innodb_data_file_path = ibdata2:50M:autoextend  #定義數(shù)據(jù)大小的增長方式
innodb_log_group_home_dir = /mydata/data #設(shè)定InnoDB重要日志文件的存儲目錄。在缺省使用InnoDB日志相關(guān)的所有變量時(shí),其默認(rèn)會在數(shù)據(jù)目錄中創(chuàng)建兩個(gè)大小為5MB的名為ib_logfile0和ib_logfile1的日志文件
innodb_log_files_in_group = {2 .. 100} #設(shè)定日志組中日志文件的個(gè)數(shù)。InnoDB以循環(huán)的方式使用這些日志文件。默認(rèn)值為2
innodb_log_file_size = {108576 .. 4294967295} #設(shè)定日志組中每個(gè)日志文件的大小,單位是字節(jié),默認(rèn)值是5MB。較為明智的取值范圍是從1MB到緩存池體積的1/n,其中n表示日志組中日志文件的個(gè)數(shù)。日志文件越大,在緩存池中需要執(zhí)行的檢查點(diǎn)刷寫操作就越少,這意味著所需的I/O操作也就越少,然而這也會導(dǎo)致較慢的故障恢復(fù)速度
innodb_log_buffer_size = {262144 .. 4294967295} #設(shè)定InnoDB用于輔助完成日志文件寫操作的日志緩沖區(qū)大小,單位是字節(jié),默認(rèn)為8MB。較大的事務(wù)可以借助于更大的日志緩沖區(qū)來避免在事務(wù)完成之前將日志緩沖區(qū)的數(shù)據(jù)寫入日志文件,以減少I/O操作進(jìn)而提升系統(tǒng)性能。因此,在有著較大事務(wù)的應(yīng)用場景中,建議為此變量設(shè)定一個(gè)更大的值

7.滾動日志

說明:只要是針對二進(jìn)制日志進(jìn)行滾動的,對某個(gè)類型的日志文件滾動一次就生成一個(gè)新的相對應(yīng)的日志文件,通過這種方法保證日志文件的特定大小,從而保證云服務(wù)器在對日志文件查詢時(shí)有較高的響應(yīng)能力。

滾動二進(jìn)制日志的命令:

1
mysql> FLUSH LOGS; #實(shí)現(xiàn)二進(jìn)制日志滾動

MySQL如何實(shí)現(xiàn)日志管理就先給大家講到這里,對于其它相關(guān)問題大家想要了解的可以持續(xù)關(guān)注我們的行業(yè)資訊。我們的板塊內(nèi)容每天都會捕捉一些行業(yè)新聞及專業(yè)知識分享給大家的。

向AI問一下細(xì)節(jié)

免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI