溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

Mysql數(shù)據(jù)庫慢查詢常用優(yōu)化方法是什么

發(fā)布時(shí)間:2023-05-04 16:41:23 來源:億速云 閱讀:127 作者:iii 欄目:開發(fā)技術(shù)

本文小編為大家詳細(xì)介紹“Mysql數(shù)據(jù)庫慢查詢常用優(yōu)化方法是什么”,內(nèi)容詳細(xì),步驟清晰,細(xì)節(jié)處理妥當(dāng),希望這篇“Mysql數(shù)據(jù)庫慢查詢常用優(yōu)化方法是什么”文章能幫助大家解決疑惑,下面跟著小編的思路慢慢深入,一起來學(xué)習(xí)新知識(shí)吧。

    慢查詢?nèi)罩靖拍?/h3>

    MySQL的慢查詢?nèi)罩臼荕ySQL提供的一種日志記錄,它用來記錄在MySQL中響應(yīng)時(shí)間超過閥值的語句,具體指運(yùn)行時(shí)間超過long_query_time值的SQL,則會(huì)被記錄到慢查詢?nèi)罩局?。long_query_time的默認(rèn)值為10,意思是運(yùn)行10S以上的語句。默認(rèn)情況下,Mysql數(shù)據(jù)庫并不啟動(dòng)慢查詢?nèi)罩?,需要我們手?dòng)來設(shè)置這個(gè)參數(shù),當(dāng)然,如果不是調(diào)優(yōu)需要的話,一般不建議啟動(dòng)該參數(shù),因?yàn)殚_啟慢查詢?nèi)罩緯?huì)或多或少帶來一定的性能影響。慢查詢?nèi)罩局С謱⑷罩居涗泴懭胛募仓С謱⑷罩居涗泴懭霐?shù)據(jù)庫表。

    一、數(shù)據(jù)庫中設(shè)置SQL慢查詢

    1、mysql慢查詢相關(guān)配置參數(shù)介紹

    • slow_query_log :是否開啟慢查詢?nèi)罩荆?表示開啟,0表示關(guān)閉。

    • log-slow-queries:舊版(5.6以下版本)MySQL數(shù)據(jù)庫慢查詢?nèi)罩敬鎯?chǔ)路徑??梢圆辉O(shè)置該參數(shù),系統(tǒng)則會(huì)默認(rèn)給一個(gè)缺省的文件host_name-slow.log

    • slow-query-log-file:新版(5.6及以上版本)MySQL數(shù)據(jù)庫慢查詢?nèi)罩敬鎯?chǔ)路徑??梢圆辉O(shè)置該參數(shù),系統(tǒng)則會(huì)默認(rèn)給一個(gè)缺省的文件host_name-slow.log

    • long_query_time :慢查詢閾值,當(dāng)查詢時(shí)間多于設(shè)定的閾值時(shí),記錄日志。

    • log_queries_not_using_indexes:未使用索引的查詢也被記錄到慢查詢?nèi)罩局校蛇x項(xiàng))。

    • log_output:日志存儲(chǔ)方式。log_output=‘FILE’表示將日志存入文件,默認(rèn)值是’FILE’。log_output='TABLE’表示將日志存入數(shù)據(jù)庫,這樣日志信息就會(huì)被寫入到mysql.slow_log表中。MySQL數(shù)據(jù)庫支持同時(shí)兩種日志存儲(chǔ)方式,配置的時(shí)候以逗號(hào)隔開即可,如:log_output=‘FILE,TABLE’。日志記錄到系統(tǒng)的專用日志表中,要比記錄到文件耗費(fèi)更多的系統(tǒng)資源,因此對(duì)于需要啟用慢查詢?nèi)罩?,又需要能夠獲得更高的系統(tǒng)性能,那么建議優(yōu)先記錄到文件。

    2、實(shí)現(xiàn)配置步驟

    第一步.開啟mysql慢查詢

    方式一:

    修改配置文件 在 my.ini 增加幾行: 主要是慢查詢的定義時(shí)間(超過2秒就是慢查詢),以及慢查詢log日志記錄( slow_query_log)

    Mysql數(shù)據(jù)庫慢查詢常用優(yōu)化方法是什么

    方法二:通過MySQL數(shù)據(jù)庫開啟慢查詢:

    Mysql數(shù)據(jù)庫慢查詢常用優(yōu)化方法是什么

    二、分析慢查詢?nèi)罩?/h3>

    直接分析mysql慢查詢?nèi)罩?,利用explain關(guān)鍵字可以模擬優(yōu)化器執(zhí)行SQL查詢語句,來分析sql慢查詢語句

    例如:執(zhí)行EXPLAIN SELECT * FROM erp_bill_index ORDER BYmodifiedtime LIMIT 0,1000

    得到如下結(jié)果: 顯示結(jié)果分析:

    table | type | possible_keys | key |key_len | ref | rows | Extra EXPLAIN列的解釋:

    table 顯示這一行的數(shù)據(jù)是關(guān)于哪張表的

    type 這是重要的列,顯示連接使用了何種類型。從最好到最差的連接類型為const、eq_reg、ref、range、indexhe和ALL

    rows 顯示需要掃描行數(shù)

    key 使用的索引

    三、常見的慢查詢優(yōu)化

    1、索引沒起作用的情況

    1). 使用LIKE關(guān)鍵字的查詢語句

    在使用LIKE關(guān)鍵字進(jìn)行查詢的查詢語句中,如果匹配字符串的第一個(gè)字符為“%”,索引不會(huì)起作用。只有“%”不在第一個(gè)位置索引才會(huì)起作用。

    2). 使用多列索引的查詢語句

    MySQL可以為多個(gè)字段創(chuàng)建索引。一個(gè)索引最多可以包括16個(gè)字段。對(duì)于多列索引,只有查詢條件使用了這些字段中的第一個(gè)字段時(shí),索引才會(huì)被使用。

    2、優(yōu)化數(shù)據(jù)庫結(jié)構(gòu)

    合理的數(shù)據(jù)庫結(jié)構(gòu)不僅可以使數(shù)據(jù)庫占用更小的磁盤空間,而且能夠使查詢速度更快。數(shù)據(jù)庫結(jié)構(gòu)的設(shè)計(jì),需要考慮數(shù)據(jù)冗余、查詢和更新的速度、字段的數(shù)據(jù)類型是否合理等多方面的內(nèi)容。

    1). 將字段很多的表分解成多個(gè)表

    對(duì)于字段比較多的表,如果有些字段的使用頻率很低,可以將這些字段分離出來形成新表。因?yàn)楫?dāng)一個(gè)表的數(shù)據(jù)量很大時(shí),會(huì)由于使用頻率低的字段的存在而變慢。

    2). 增加中間表

    對(duì)于需要經(jīng)常聯(lián)合查詢的表,可以建立中間表以提高查詢效率。通過建立中間表,把需要經(jīng)常聯(lián)合查詢的數(shù)據(jù)插入到中間表中,然后將原來的聯(lián)合查詢改為對(duì)中間表的查詢,以此來提高查詢效率。

    3、分解關(guān)聯(lián)查詢

    將一個(gè)大的查詢分解為多個(gè)小查詢是很有必要的。

    很多高性能的應(yīng)用都會(huì)對(duì)關(guān)聯(lián)查詢進(jìn)行分解,就是可以對(duì)每一個(gè)表進(jìn)行一次單表查詢,然后將查詢結(jié)果在應(yīng)用程序中進(jìn)行關(guān)聯(lián),很多場景下這樣會(huì)更高效,例如:

    SELECT * FROM tag
    JOIN tag_post ON tag_id = tag.id
    JOIN post ON tag_post.post_id = post.id
    WHERE tag.tag = ‘mysql';

    分解為:

    SELECT * FROM tag WHERE tag = ‘mysql';
    SELECT * FROM tag_post WHERE tag_id = 1234;
    SELECT * FROM post WHERE post.id in (123,456,567);

    4、優(yōu)化LIMIT分頁

    在系統(tǒng)中需要分頁的操作通常會(huì)使用limit加上偏移量的方法實(shí)現(xiàn),同時(shí)加上合適的order by 子句。如果有對(duì)應(yīng)的索引,通常效率會(huì)不錯(cuò),否則MySQL需要做大量的文件排序操作。

    一個(gè)非常令人頭疼問題就是當(dāng)偏移量非常大的時(shí)候,例如可能是limit 10000,20這樣的查詢,這是mysql需要查詢10020條然后只返回最后20條,前面的10000條記錄都將被舍棄,這樣的代價(jià)很高。

    優(yōu)化此類查詢的一個(gè)最簡單的方法是盡可能的使用索引覆蓋掃描,而不是查詢所有的列。然后根據(jù)需要做一次關(guān)聯(lián)操作再返回所需的列。對(duì)于偏移量很大的時(shí)候這樣做的效率會(huì)得到很大提升。

    對(duì)于下面的查詢:select id,title from collect limit 90000,10;

    該語句存在的最大問題在于limit M,N中偏移量M太大(我們暫不考慮篩選字段上要不要添加索引的影響),導(dǎo)致每次查詢都要先從整個(gè)表中找到滿足條件 的前M條記錄,之后舍棄這M條記錄并從第M+1條記錄開始再依次找到N條滿足條件的記錄。如果表非常大,且篩選字段沒有合適的索引,且M特別大那么這樣的代價(jià)是非常高的。 試想,如我們下一次的查詢能從前一次查詢結(jié)束后標(biāo)記的位置開始查找,找到滿足條件的100條記錄,并記下下一次查詢應(yīng)該開始的位置,以便于下一次查詢能直接從該位置 開始,這樣就不必每次查詢都先從整個(gè)表中先找到滿足條件的前M條記錄,舍棄,在從M+1開始再找到100條滿足條件的記錄了。

    常用的方法

    1)、篩選字段上加索引

    2)、先查出主鍵id值:

    select id,title from collect where id>=(select id from collect order by id limit 90000,1) limit 10;

    原理:先查詢出90000條數(shù)據(jù)對(duì)應(yīng)的主鍵id的值,然后直接通過該id的值直接查詢?cè)搃d后面的數(shù)據(jù)。

    3)、關(guān)延遲聯(lián)

    如果這個(gè)表非常大,那么這個(gè)查詢可以改寫成如下的方式:

    Select news.id, news.description from news inner join (select id from news order by title limit 50000,5) as myNew using(id);

    這里的“關(guān)延遲聯(lián)”將大大提升查詢的效率,它讓MySQL掃描盡可能少的頁面,獲取需要的記錄后再根據(jù)關(guān)聯(lián)列回原表查詢需要的所有列。

    這個(gè)技術(shù)也可以用在優(yōu)化關(guān)聯(lián)查詢中的limit。

    4)、建立復(fù)合索引acct_id和create_time

    select * from acct_trans_log WHERE acct_id = 3095 order by create_time desc limit 0,10

    5)、查詢語句使用Group by和Order by會(huì)影響數(shù)據(jù)查詢效率

    四、常用優(yōu)化方法

    1. SQL語句的優(yōu)化

    1) 查詢語句應(yīng)該盡量避免全表掃描,首先應(yīng)該考慮在Where子句以及OrderBy子句上建立索引,但是每一條SQL語句最多只會(huì)走一條索引,而建立過多的索引會(huì)帶來插入和更新時(shí)的開銷,同時(shí)對(duì)于區(qū)分度不大的字段,應(yīng)該盡量避免建立索引,可以在查詢語句前使用explain關(guān)鍵字,查看SQL語句的執(zhí)行計(jì)劃,判斷該查詢語句是否使用了索引;

    2)應(yīng)盡量使用EXIST和NOT EXIST代替 IN和NOT IN,因?yàn)楹笳吆苡锌赡軐?dǎo)致全表掃描放棄使用索引;

    3)應(yīng)盡量避免在Where子句中對(duì)字段進(jìn)行NULL判斷,因?yàn)镹ULL判斷會(huì)導(dǎo)致全表掃描;

    4)應(yīng)盡量避免在Where子句中使用or作為連接條件,因?yàn)橥瑯訒?huì)導(dǎo)致全表掃描;

    5)應(yīng)盡量避免在Where子句中使用!=或者<>操作符,同樣會(huì)導(dǎo)致全表掃描;

    6)使用like “%abc%” 或者like “%abc” 同樣也會(huì)導(dǎo)致全表掃描,而like “abc%”會(huì)使用索引。

    7)在使用Union操作符時(shí),應(yīng)該考慮是否可以使用Union ALL來代替,因?yàn)閁nion操作符在進(jìn)行結(jié)果合并時(shí),會(huì)對(duì)產(chǎn)生的結(jié)果進(jìn)行排序運(yùn)算,刪除重復(fù)記錄,對(duì)于沒有該需求的應(yīng)用應(yīng)使用Union ALL,后者僅僅只是將結(jié)果合并返回,能大幅度提高性能;

    8)應(yīng)盡量避免在Where子句中使用表達(dá)式操作符,因?yàn)闀?huì)導(dǎo)致全表掃描;

    9)應(yīng)盡量避免在Where子句中對(duì)字段使用函數(shù),因?yàn)橥瑯訒?huì)導(dǎo)致全表掃描

    10)Select語句中盡量 避免使用“*”,因?yàn)樵赟QL語句在解析的過程中,會(huì)將“”轉(zhuǎn)換成所有列的列名,而這個(gè)工作是通過查詢數(shù)據(jù)字典完成的,有一定的開銷;

    11)Where子句中,表連接條件應(yīng)該寫在其他條件之前,因?yàn)閃here子句的解析是從后向前的,所以盡量把能夠過濾到多數(shù)記錄的限制條件放在Where子句的末尾;

    12)若數(shù)據(jù)庫表上存在諸如index(a,b,c)之類的聯(lián)合索引,則Where子句中條件字段的出現(xiàn)順序應(yīng)該與索引字段的出現(xiàn)順序一致,否則將無法使用該聯(lián)合索引;

    13)From子句中表的出現(xiàn)順序同樣會(huì)對(duì)SQL語句的執(zhí)行性能造成影響,F(xiàn)rom子句在解析時(shí)是從后向前的,即寫在末尾的表將被優(yōu)先處理,應(yīng)該選擇記錄較少的表作為基表放在后面,同時(shí)如果出現(xiàn)3個(gè)及3個(gè)以上的表連接查詢時(shí),應(yīng)該將交叉表作為基表;

    14)盡量使用>=操作符代替>操作符,例如,如下SQL語句,select dbInstanceIdentifier from DBInstance where id > 3,該語句應(yīng)該替換成 select dbInstanceIdentifier from DBInstance where id >=4 ,兩個(gè)語句的執(zhí)行結(jié)果是一樣的,但是性能卻不同,后者更加 高效,因?yàn)榍罢咴趫?zhí)行時(shí),首先會(huì)去找等于3的記錄,然后向前掃描,而后者直接定位到等于4的記錄。

    2. 表結(jié)構(gòu)的優(yōu)化

    這里主要指如何正確的建立索引,因?yàn)椴缓侠淼乃饕龝?huì)導(dǎo)致查詢?nèi)頀呙瑁瑫r(shí)過多的索引會(huì)帶來插入和更新的性能開銷;

    1)首先要明確每一條SQL語句最多只可能使用一個(gè)索引,如果出現(xiàn)多個(gè)可以使用的索引,系統(tǒng)會(huì)根據(jù)執(zhí)行代價(jià),選擇一個(gè)索引執(zhí)行;

    2)對(duì)于Innodb表,雖然如果用戶不指定主鍵,系統(tǒng)會(huì)自動(dòng)生成一個(gè)主鍵列,但是自動(dòng)產(chǎn)生的主鍵列有多個(gè)問題1. 性能不足,無法使用cache讀取;2. 并發(fā)不足,系統(tǒng)所有無主鍵表,共用一個(gè)全局的Auto_Increment列。因此,InnoDB的所有表,在建表同時(shí)必須指定主鍵。

    3)對(duì)于區(qū)分度不大的字段,不要建立索引;

    4)一個(gè)字段只需建一種索引即可,無需建立了唯一索引,又建立INDEX索引。

    5)對(duì)于大的文本字段或者BLOB字段,不要建立索引;

    6)連接查詢的連接字段應(yīng)該建立索引;

    7)排序字段一般要建立索引;

    8)分組統(tǒng)計(jì)字段一般要建立索引;

    9)正確使用聯(lián)合索引,聯(lián)合索引的第一個(gè)字段是可以被單獨(dú)使用的,例如有如下聯(lián)合索引index(userID,dbInstanceID),一下查詢語句是可以使用該索引的,select dbInstanceIdentifier from DBInstance where userID=? ,但是語句select dbInstanceIdentifier from DBInstance where dbInstanceID=?就不可以使用該索引;

    10)索引一般用于記錄比較多的表,假如有表DBInstance,所有查詢都有userID條件字段,目前已知該字段已經(jīng)能夠很好的區(qū)分記錄,即每一個(gè)userID下記錄數(shù)量不多,所以該表只需在userID上建立一個(gè)索引即可,即使有使用其他條件字段,由于每一個(gè)userID對(duì)應(yīng)的記錄數(shù)據(jù)不多,所以其他字段使用不用索引基本無影響,同時(shí)也可以避免建立過多的索引帶來的插入和更新的性能開銷。

    讀到這里,這篇“Mysql數(shù)據(jù)庫慢查詢常用優(yōu)化方法是什么”文章已經(jīng)介紹完畢,想要掌握這篇文章的知識(shí)點(diǎn)還需要大家自己動(dòng)手實(shí)踐使用過才能領(lǐng)會(huì),如果想了解更多相關(guān)內(nèi)容的文章,歡迎關(guān)注億速云行業(yè)資訊頻道。

    向AI問一下細(xì)節(jié)

    免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請(qǐng)聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。

    AI