您好,登錄后才能下訂單哦!
本篇文章為大家展示了Mysql索引的實(shí)現(xiàn)原理分析,內(nèi)容簡(jiǎn)明扼要并且容易理解,絕對(duì)能使你眼前一亮,通過(guò)這篇文章的詳細(xì)介紹希望你能有所收獲。
一:Mysql原理與慢查詢
MySQL憑借著出色的性能、低廉的成本、豐富的資源,已經(jīng)成為絕大多數(shù)互聯(lián)網(wǎng)公司的首選關(guān)系型數(shù)據(jù)庫(kù)。雖然性能出色,但所謂“好馬配好鞍”,如何能夠更好的使用它,已經(jīng)成為開(kāi)發(fā)工程師的必修課,我們經(jīng)常會(huì)從職位描述上看到諸如“精通MySQL”、“SQL語(yǔ)句優(yōu)化”、“了解數(shù)據(jù)庫(kù)原理”等要求。我們知道一般的應(yīng)用系統(tǒng),讀寫(xiě)比例在10:1左右,而且插入操作和一般的更新操作很少出現(xiàn)性能問(wèn)題,遇到最多的,也是最容易出問(wèn)題的,還是一些復(fù)雜的查詢操作,所以查詢語(yǔ)句的優(yōu)化顯然是重中之重。
本人從13年7月份起,一直在美團(tuán)核心業(yè)務(wù)系統(tǒng)部做慢查詢的優(yōu)化工作,共計(jì)十余個(gè)系統(tǒng),累計(jì)解決和積累了上百個(gè)慢查詢案例。隨著業(yè)務(wù)的復(fù)雜性提升,遇到的問(wèn)題千奇百怪,五花八門,匪夷所思。本文旨在以開(kāi)發(fā)工程師的角度來(lái)解釋數(shù)據(jù)庫(kù)索引的原理和如何優(yōu)化慢查詢。
一個(gè)慢查詢引發(fā)的思考
select count(*) from task where status=2 and operator_id=20839 and operate_time>1371169729 and operate_time<1371174603 and type=2; 系統(tǒng)使用者反應(yīng)有一個(gè)功能越來(lái)越慢,于是工程師找到了上面的SQL。 并且興致沖沖的找到了我,“這個(gè)SQL需要優(yōu)化,給我把每個(gè)字段都加上索引” 我很驚訝,問(wèn)道“為什么需要每個(gè)字段都加上索引?” “把查詢的字段都加上索引會(huì)更快”工程師信心滿滿 “這種情況完全可以建一個(gè)聯(lián)合索引,因?yàn)槭亲钭笄熬Y匹配,所以operate_time需要放到最后,而且還需要把其他相關(guān)的查詢都拿來(lái),需要做一個(gè)綜合評(píng)估?!?“聯(lián)合索引?最左前綴匹配?綜合評(píng)估?”工程師不禁陷入了沉思。 多數(shù)情況下,我們知道索引能夠提高查詢效率,但應(yīng)該如何建立索引?索引的順序如何?許多人卻只知道大概。其實(shí)理解這些概念并不難,而且索引的原理遠(yuǎn)沒(méi)有想象的那么復(fù)雜。 二:索引建立
1. 主鍵索引
primary key() 要求關(guān)鍵字不能重復(fù),也不能為null,同時(shí)增加主鍵約束 主鍵索引定義時(shí),不能命名
2. 唯一索引
unique index() 要求關(guān)鍵字不能重復(fù),同時(shí)增加唯一約束
3. 普通索引
index() 對(duì)關(guān)鍵字沒(méi)有要求
4. 全文索引
fulltext key() 關(guān)鍵字的來(lái)源不是所有字段的數(shù)據(jù),而是字段中提取的特別關(guān)鍵字
關(guān)鍵字:可以是某個(gè)字段或多個(gè)字段,多個(gè)字段稱為復(fù)合索引
建表:creat table student( stu_id int unsigned not null auto_increment, name varchar(32) not null default '', phone char(11) not null default '', stu_code varchar(32) not null default '', stu_desc text, primary key ('stu_id'), //主鍵索引 unique index 'stu_code' ('stu_code'), //唯一索引 index 'name_phone' ('name','phone'), //普通索引,復(fù)合索引 fulltext index 'stu_desc' ('stu_desc'), //全文索引) engine=myisam charset=utf8; 更新:alert table student add primary key ('stu_id'), //主鍵索引 add unique index 'stu_code' ('stu_code'), //唯一索引 add index 'name_phone' ('name','phone'), //普通索引,復(fù)合索引 add fulltext index 'stu_desc' ('stu_desc'); //全文索引 刪除:alert table sutdent drop primary key, drop index 'stu_code', drop index 'name_phone', drop index 'stu_desc';
三:淺析explain用法
有什么用?
在MySQL中,當(dāng)數(shù)據(jù)量增長(zhǎng)的特別大的時(shí)候就需要用到索引來(lái)優(yōu)化SQL語(yǔ)句,而如何才能判斷我們辛辛苦苦寫(xiě)出的SQL語(yǔ)句是否優(yōu)良?這時(shí)候explain就派上了用場(chǎng)。
怎么使用?
explain + SQL語(yǔ)句即可 如:explain select * from table;
相信第一次使用explain參數(shù)的朋友一定會(huì)疑惑這一大堆參數(shù)究竟有什么用呢?筆者搜集了一些資料,在這兒做一個(gè)總結(jié)希望能夠幫助大家理解。
參數(shù)介紹
id
如果是子查詢,id的序號(hào)會(huì)遞增,id的值越大優(yōu)先級(jí)越高,越先被執(zhí)行
select_type
查詢的類型,主要用于區(qū)別普通查詢、聯(lián)合查詢、子查詢等的復(fù)雜查詢 SIMPLE:簡(jiǎn)單的select查詢,查詢中不包含子查詢或者UNION PRIMARY:查詢中若包含任何復(fù)雜的子部分,最外層查詢則被標(biāo)記為PRIMARY(最后加載的那一個(gè) ) SUBQUERY:在SELECT或WHERE列表中包含了子查詢 DERIVED:在FROM列表中包含的子查詢被標(biāo)記為DERIVED(衍生)Mysql會(huì)遞歸執(zhí)行這些子查詢,把結(jié)果放在臨時(shí)表里。 UNION:若第二個(gè)SELECT出現(xiàn)在UNION之后,則被標(biāo)記為UNION;若UNION包含在FROM字句的查詢中,外層SELECT將被標(biāo)記為:DERIVED UNION RESULT:從UNION表獲取結(jié)果的SELECT type
顯示查詢使用了何種類型
從最好到最差依次是System>const>eq_ref>range>index>All(全表掃描) 一般來(lái)說(shuō)至少達(dá)到range級(jí)別,最好達(dá)到ref
System:表只有一行記錄,這是const類型的特例,平時(shí)不會(huì)出現(xiàn)(忽略不計(jì))const:表示通過(guò)索引一次就找到了,const用于比較primary key或者unique索引,因?yàn)橹黄ヅ湟恍袛?shù)據(jù),所以很快。如將主鍵置于where列表中,MySQL就能將該查詢轉(zhuǎn)換為一個(gè)常量。
eq_ref:唯一性索引掃描,對(duì)于每個(gè)索引鍵,表中只有一條記錄與之匹配。常見(jiàn)于主鍵或唯一索引掃描。
ref:非唯一索引掃描,返回匹配某個(gè)單獨(dú)值的行,本質(zhì)上也是一種索引訪問(wèn),它返回所有匹配某個(gè)單獨(dú)值的行,然而它可能會(huì)找到多個(gè)符合條件的行,所以它應(yīng)該屬于查找和掃描的混合體range:只檢索給定范圍的行,使用一個(gè)索引來(lái)選擇行。
key列顯示使用了哪個(gè)索引,一般就是在你的where語(yǔ)句中出現(xiàn)了between、<、>、in等的查詢。這種范圍掃描索引比全表掃描要好,因?yàn)樗恍枰_(kāi)始于索引的某一點(diǎn),而結(jié)束于另一點(diǎn),不用掃描全部索引。index:FULL INDEX SCAN,index與all區(qū)別為index類型只遍歷索引樹(shù)。這通常比all快,因?yàn)樗饕募ǔ1葦?shù)據(jù)文件小。
extra
包含不適合在其他列中顯示但十分重要的額外信息 包含的信息: **(危險(xiǎn)!)**Using
filesort:說(shuō)明mysql會(huì)對(duì)數(shù)據(jù)使用一個(gè)外部的索引排序,而不是按照表內(nèi)的索引順序進(jìn)行讀取,MYSQL中無(wú)法利用索引完成的排序操作稱為“文件排序” **(特別危險(xiǎn)!)**Using
temporary:使用了臨時(shí)表保存中間結(jié)果,MYSQL在對(duì)查詢結(jié)果排序時(shí)使用臨時(shí)表。常見(jiàn)于排序order by 和分組查詢 group by Using
index:表示相應(yīng)的select操作中使用了覆蓋索引,避免訪問(wèn)了表的數(shù)據(jù)行,效率不錯(cuò)。如果同時(shí)出現(xiàn)using
where,表明索引被用來(lái)執(zhí)行索引鍵值的查找;如果沒(méi)有同時(shí)出現(xiàn)using where,表明索引用來(lái)讀取數(shù)據(jù)而非執(zhí)行查找操作。
possible_keys
顯示可能應(yīng)用在這張表中的索引,一個(gè)或多個(gè)。查詢涉及到的字段上若存在索引,則該索引將被列出, 但不一定被查詢實(shí)際使用
key
實(shí)際使用的索引,如果為NULL,則沒(méi)有使用索引。查詢中若使用了覆蓋索引,則該索引僅出現(xiàn)在key列表中,key參數(shù)可以作為使用了索引的判斷標(biāo)準(zhǔn)
key_len
:表示索引中使用的字節(jié)數(shù),可通過(guò)該列計(jì)算查詢中索引的長(zhǎng)度,在不損失精確性的情況下,長(zhǎng)度越短越好,key_len顯示的值為索引字段的最大可能長(zhǎng)度,并非實(shí)際使用長(zhǎng)度,即key_len是根據(jù)表定義計(jì)算而得,不是通過(guò)表內(nèi)檢索出的。
ref
顯示索引的哪一列被使用了,如果可能的話,是一個(gè)常數(shù)。哪些列或常量被用于查找索引上的值。
rows
根據(jù)表統(tǒng)計(jì)信息及索引選用情況,大致估算出找到所需記錄所需要讀取的行數(shù)
四:慢查詢優(yōu)化
關(guān)于MySQL索引原理是比較枯燥的東西,大家只需要有一個(gè)感性的認(rèn)識(shí),并不需要理解得非常透徹和深入。我們回頭來(lái)看看一開(kāi)始我們說(shuō)的慢查詢,了解完索引原理之后,大家是不是有什么想法呢?先總結(jié)一下索引的幾大基本原則
建索引的幾大原則
1.最左前綴匹配原則,非常重要的原則,mysql會(huì)一直向右匹配直到遇到范圍查詢(>、<、between、like)就停止匹配,比如a 1="" and="" b="2" c=""> 3 and d = 4 如果建立(a,b,c,d)順序的索引,d是用不到索引的,如果建立(a,b,d,c)的索引則都可以用到,a,b,d的順序可以任意調(diào)整。
2.=和in可以亂序,比如a = 1 and b = 2 and c = 3 建立(a,b,c)索引可以任意順序,mysql的查詢優(yōu)化器會(huì)幫你優(yōu)化成索引可以識(shí)別的形式
3.盡量選擇區(qū)分度高的列作為索引,區(qū)分度的公式是count(distinct col)/count(*),表示字段不重復(fù)的比例,比例越大我們掃描的記錄數(shù)越少,唯一鍵的區(qū)分度是1,而一些狀態(tài)、性別字段可能在大數(shù)據(jù)面前區(qū)分度就是0,那可能有人會(huì)問(wèn),這個(gè)比例有什么經(jīng)驗(yàn)值嗎?使用場(chǎng)景不同,這個(gè)值也很難確定,一般需要join的字段我們都要求是0.1以上,即平均1條掃描10條記錄
4.索引列不能參與計(jì)算,保持列“干凈”,比如from_unixtime(create_time) = ’2014-05-29’就不能使用到索引,原因很簡(jiǎn)單,b+樹(shù)中存的都是數(shù)據(jù)表中的字段值,但進(jìn)行檢索時(shí),需要把所有元素都應(yīng)用函數(shù)才能比較,顯然成本太大。所以語(yǔ)句應(yīng)該寫(xiě)成create_time = unix_timestamp(’2014-05-29’); 5.盡量的擴(kuò)展索引,不要新建索引。比如表中已經(jīng)有a的索引,現(xiàn)在要加(a,b)的索引,那么只需要修改原來(lái)的索引即可
回到開(kāi)始的慢查詢
根據(jù)最左匹配原則,最開(kāi)始的sql語(yǔ)句的索引應(yīng)該是status、operator_id、type、operate_time的聯(lián)合索引;其中status、operator_id、type的順序可以顛倒,所以我才會(huì)說(shuō),把這個(gè)表的所有相關(guān)查詢都找到,會(huì)綜合分析;
比如還有如下查詢
select * from task where status = 0 and type = 12 limit 10;
select count(*) from task where status = 0 ;
那么索引建立成(status,type,operator_id,operate_time)就是非常正確的,因?yàn)榭梢愿采w到所有情況。這個(gè)就是利用了索引的最左匹配的原則
查詢優(yōu)化神器 - explain命令
關(guān)于explain命令相信大家并不陌生,具體用法和字段含義可以參考官網(wǎng)explain-output,這里需要強(qiáng)調(diào)rows是核心指標(biāo),絕大部分rows小的語(yǔ)句執(zhí)行一定很快(有例外,下面會(huì)講到)。所以優(yōu)化語(yǔ)句基本上都是在優(yōu)化rows。
慢查詢優(yōu)化基本步驟
0.先運(yùn)行看看是否真的很慢,注意設(shè)置SQL_NO_CACHE 1.where條件單表查,鎖定最小返回記錄表。這句話的意思是把查詢語(yǔ)句的where都應(yīng)用到表中返回的記錄數(shù)最小的表開(kāi)始查起,單表每個(gè)字段分別查詢,看哪個(gè)字段的區(qū)分度最高 2.explain查看執(zhí)行計(jì)劃,是否與1預(yù)期一致(從鎖定記錄較少的表開(kāi)始查詢) 3.order by limit 形式的sql語(yǔ)句讓排序的表優(yōu)先查 4.了解業(yè)務(wù)方使用場(chǎng)景 5.加索引時(shí)參照建索引的幾大原則
6.觀察結(jié)果,不符合預(yù)期繼續(xù)從0分析
五:最左前綴原理與相關(guān)優(yōu)化
高效使用索引的首要條件是知道什么樣的查詢會(huì)使用到索引,這個(gè)問(wèn)題和B+Tree中的“最左前綴原理”有關(guān),下面通過(guò)例子說(shuō)明最左前綴原理。
這里先說(shuō)一下聯(lián)合索引的概念。在上文中,我們都是假設(shè)索引只引用了單個(gè)的列,實(shí)際上,MySQL中的索引可以以一定順序引用多個(gè)列,這種索引叫做聯(lián)合索引,一般的,一個(gè)聯(lián)合索引是一個(gè)有序元組,其中各個(gè)元素均為數(shù)據(jù)表的一列,實(shí)際上要嚴(yán)格定義索引需要用到關(guān)系代數(shù),但是這里我不想討論太多關(guān)系代數(shù)的話題,因?yàn)槟菢訒?huì)顯得很枯燥,所以這里就不再做嚴(yán)格定義。另外,單列索引可以看成聯(lián)合索引元素?cái)?shù)為1的特例。
以employees.titles表為例,下面先查看其上都有哪些索引:
SHOW INDEX FROM employees.titles;
+--------+------------+----------+--------------+-------------+-----------+-------------+------+------------+
| Table | Non_unique | Key_name | Seq_in_index | Column_name | Collation | Cardinality | Null | Index_type |
+--------+------------+----------+--------------+-------------+-----------+-------------+------+------------+
| titles | 0 | PRIMARY | 1 | emp_no | A | NULL | | BTREE |
| titles | 0 | PRIMARY | 2 | title | A | NULL | | BTREE |
| titles | 0 | PRIMARY | 3 | from_date | A | 443308 | | BTREE |
| titles | 1 | emp_no | 1 | emp_no | A | 443308 | | BTREE |
+--------+------------+----------+--------------+-------------+-----------+-------------+------+------------+
從結(jié)果中可以到titles表的主索引為,還有一個(gè)輔助索引。為了避免多個(gè)索引使事情變復(fù)雜(MySQL的SQL優(yōu)化器在多索引時(shí)行為比較復(fù)雜),這里我們將輔助索引drop掉:
ALTER TABLE employees.titles DROP INDEX emp_no;
這樣就可以專心分析索引PRIMARY的行為了。
情況一:全列匹配。
EXPLAIN SELECT * FROM employees.titles WHERE emp_no='10001' AND title='Senior Engineer' AND from_date='1986-06-26';
+----+-------------+--------+-------+---------------+---------+---------+-------------------+------+-------+
| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
+----+-------------+--------+-------+---------------+---------+---------+-------------------+------+-------+
| 1 | SIMPLE | titles | const | PRIMARY | PRIMARY | 59 | const,const,const | 1 | |
+----+-------------+--------+-------+---------------+---------+---------+-------------------+------+-------+
很明顯,當(dāng)按照索引中所有列進(jìn)行精確匹配(這里精確匹配指“=”或“IN”匹配)時(shí),索引可以被用到。這里有一點(diǎn)需要注意,理論上索引對(duì)順序是敏感的,但是由于MySQL的查詢優(yōu)化器會(huì)自動(dòng)調(diào)整where子句的條件順序以使用適合的索引,例如我們將where中的條件順序顛倒:
EXPLAIN SELECT * FROM employees.titles WHERE from_date='1986-06-26' AND emp_no='10001' AND title='Senior Engineer';
+----+-------------+--------+-------+---------------+---------+---------+-------------------+------+-------+
| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
+----+-------------+--------+-------+---------------+---------+---------+-------------------+------+-------+
| 1 | SIMPLE | titles | const | PRIMARY | PRIMARY | 59 | const,const,const | 1 | |
+----+-------------+--------+-------+---------------+---------+---------+-------------------+------+-------+
效果是一樣的。
情況二:最左前綴匹配。
EXPLAIN SELECT * FROM employees.titles WHERE emp_no='10001';
+----+-------------+--------+------+---------------+---------+---------+-------+------+-------+
| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
+----+-------------+--------+------+---------------+---------+---------+-------+------+-------+
| 1 | SIMPLE | titles | ref | PRIMARY | PRIMARY | 4 | const | 1 | |
+----+-------------+--------+------+---------------+---------+---------+-------+------+-------+
當(dāng)查詢條件精確匹配索引的左邊連續(xù)一個(gè)或幾個(gè)列時(shí),如或,所以可以被用到,但是只能用到一部分,即條件所組成的最左前綴。上面的查詢從分析結(jié)果看用到了PRIMARY索引,但是key_len為4,說(shuō)明只用到了索引的第一列前綴。
情況三:查詢條件用到了索引中列的精確匹配,但是中間某個(gè)條件未提供。
EXPLAIN SELECT * FROM employees.titles WHERE emp_no='10001' AND from_date='1986-06-26';
+----+-------------+--------+------+---------------+---------+---------+-------+------+-------------+
| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
+----+-------------+--------+------+---------------+---------+---------+-------+------+-------------+
| 1 | SIMPLE | titles | ref | PRIMARY | PRIMARY | 4 | const | 1 | Using where |
+----+-------------+--------+------+---------------+---------+---------+-------+------+-------------+
此時(shí)索引使用情況和情況二相同,因?yàn)閠itle未提供,所以查詢只用到了索引的第一列,而后面的from_date雖然也在索引中,但是由于title不存在而無(wú)法和左前綴連接,因此需要對(duì)結(jié)果進(jìn)行掃描過(guò)濾from_date(這里由于emp_no唯一,所以不存在掃描)。
如果想讓from_date也使用索引而不是where過(guò)濾,可以增加一個(gè)輔助索引,此時(shí)上面的查詢會(huì)使用這個(gè)索引。除此之外,還可以使用一種稱之為“隔離列”的優(yōu)化方法,將emp_no與from_date之間的“坑”填上。
首先我們看下title一共有幾種不同的值:
SELECT DISTINCT(title) FROM employees.titles;
+--------------------+
| title |
+--------------------+
| Senior Engineer |
| Staff |
| Engineer |
| Senior Staff |
| Assistant Engineer |
| Technique Leader |
| Manager |
+--------------------+
只有7種。在這種成為“坑”的列值比較少的情況下,可以考慮用“IN”來(lái)填補(bǔ)這個(gè)“坑”從而形成最左前綴:
EXPLAIN SELECT * FROM employees.titles
WHERE emp_no='10001'
AND title IN ('Senior Engineer', 'Staff', 'Engineer', 'Senior Staff', 'Assistant Engineer', 'Technique Leader', 'Manager')
AND from_date='1986-06-26';
+----+-------------+--------+-------+---------------+---------+---------+------+------+-------------+
| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
+----+-------------+--------+-------+---------------+---------+---------+------+------+-------------+
| 1 | SIMPLE | titles | range | PRIMARY | PRIMARY | 59 | NULL | 7 | Using where |
+----+-------------+--------+-------+---------------+---------+---------+------+------+-------------+
這次key_len為59,說(shuō)明索引被用全了,但是從type和rows看出IN實(shí)際上執(zhí)行了一個(gè)range查詢,這里檢查了7個(gè)key??聪聝煞N查詢的性能比較:
SHOW PROFILES;
+----------+------------+-------------------------------------------------------------------------------+
| Query_ID | Duration | Query |
+----------+------------+-------------------------------------------------------------------------------+
| 10 | 0.00058000 | SELECT * FROM employees.titles WHERE emp_no='10001' AND from_date='1986-06-26'|
| 11 | 0.00052500 | SELECT * FROM employees.titles WHERE emp_no='10001' AND title IN ... |
+----------+------------+-------------------------------------------------------------------------------+
“填坑”后性能提升了一點(diǎn)。如果經(jīng)過(guò)emp_no篩選后余下很多數(shù)據(jù),則后者性能優(yōu)勢(shì)會(huì)更加明顯。當(dāng)然,如果title的值很多,用填坑就不合適了,必須建立輔助索引。
情況四:查詢條件沒(méi)有指定索引第一列。
EXPLAIN SELECT * FROM employees.titles WHERE from_date='1986-06-26';
+----+-------------+--------+------+---------------+------+---------+------+--------+-------------+
| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
+----+-------------+--------+------+---------------+------+---------+------+--------+-------------+
| 1 | SIMPLE | titles | ALL | NULL | NULL | NULL | NULL | 443308 | Using where |
+----+-------------+--------+------+---------------+------+---------+------+--------+-------------+
由于不是最左前綴,索引這樣的查詢顯然用不到索引。
情況五:匹配某列的前綴字符串。
EXPLAIN SELECT * FROM employees.titles WHERE emp_no='10001' AND title LIKE 'Senior%';
+----+-------------+--------+-------+---------------+---------+---------+------+------+-------------+
| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
+----+-------------+--------+-------+---------------+---------+---------+------+------+-------------+
| 1 | SIMPLE | titles | range | PRIMARY | PRIMARY | 56 | NULL | 1 | Using where |
+----+-------------+--------+-------+---------------+---------+---------+------+------+-------------+
此時(shí)可以用到索引,但是如果通配符不是只出現(xiàn)在末尾,則無(wú)法使用索引。(原文表述有誤,如果通配符%不出現(xiàn)在開(kāi)頭,則可以用到索引,但根據(jù)具體情況不同可能只會(huì)用其中一個(gè)前綴)
情況六:范圍查詢。
EXPLAIN SELECT * FROM employees.titles WHERE emp_no < '10010' and title='Senior Engineer'; +----+-------------+--------+-------+---------------+---------+---------+------+------+-------------+ | id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra | +----+-------------+--------+-------+---------------+---------+---------+------+------+-------------+ | 1 | SIMPLE | titles | range | PRIMARY | PRIMARY | 4 | NULL | 16 | Using where | +----+-------------+--------+-------+---------------+---------+---------+------+------+-------------+ 范圍列可以用到索引(必須是最左前綴),但是范圍列后面的列無(wú)法用到索引。同時(shí),索引最多用于一個(gè)范圍列,因此如果查詢條件中有兩個(gè)范圍列則無(wú)法全用到索引。 EXPLAIN SELECT * FROM employees.titles WHERE emp_no < '10010' AND title='Senior Engineer' AND from_date BETWEEN '1986-01-01' AND '1986-12-31'; +----+-------------+--------+-------+---------------+---------+---------+------+------+-------------+ | id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra | +----+-------------+--------+-------+---------------+---------+---------+------+------+-------------+ | 1 | SIMPLE | titles | range | PRIMARY | PRIMARY | 4 | NULL | 16 | Using where | +----+-------------+--------+-------+---------------+---------+---------+------+------+-------------+ 可以看到索引對(duì)第二個(gè)范圍索引無(wú)能為力。這里特別要說(shuō)明MySQL一個(gè)有意思的地方,那就是僅用explain可能無(wú)法區(qū)分范圍索引和多值匹配,因?yàn)樵趖ype中這兩者都顯示為range。同時(shí),用了“between”并不意味著就是范圍查詢,例如下面的查詢: EXPLAIN SELECT * FROM employees.titles WHERE emp_no BETWEEN '10001' AND '10010' AND title='Senior Engineer' AND from_date BETWEEN '1986-01-01' AND '1986-12-31'; +----+-------------+--------+-------+---------------+---------+---------+------+------+-------------+ | id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra | +----+-------------+--------+-------+---------------+---------+---------+------+------+-------------+ | 1 | SIMPLE | titles | range | PRIMARY | PRIMARY | 59 | NULL | 16 | Using where | +----+-------------+--------+-------+---------------+---------+---------+------+------+-------------+ 看起來(lái)是用了兩個(gè)范圍查詢,但作用于emp_no上的“BETWEEN”實(shí)際上相當(dāng)于“IN”,也就是說(shuō)emp_no實(shí)際是多值精確匹配??梢钥吹竭@個(gè)查詢用到了索引全部三個(gè)列。因此在MySQL中要謹(jǐn)慎地區(qū)分多值匹配和范圍匹配,否則會(huì)對(duì)MySQL的行為產(chǎn)生困惑。 情況七:查詢條件中含有函數(shù)或表達(dá)式。
很不幸,如果查詢條件中含有函數(shù)或表達(dá)式,則MySQL不會(huì)為這列使用索引(雖然某些在數(shù)學(xué)意義上可以使用)。例如:
EXPLAIN SELECT * FROM employees.titles WHERE emp_no='10001' AND left(title, 6)='Senior';
+----+-------------+--------+------+---------------+---------+---------+-------+------+-------------+
| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
+----+-------------+--------+------+---------------+---------+---------+-------+------+-------------+
| 1 | SIMPLE | titles | ref | PRIMARY | PRIMARY | 4 | const | 1 | Using where |
+----+-------------+--------+------+---------------+---------+---------+-------+------+-------------+
雖然這個(gè)查詢和情況五中功能相同,但是由于使用了函數(shù)left,則無(wú)法為title列應(yīng)用索引,而情況五中用LIKE則可以。再如:
EXPLAIN SELECT * FROM employees.titles WHERE emp_no - 1='10000';
+----+-------------+--------+------+---------------+------+---------+------+--------+-------------+
| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
+----+-------------+--------+------+---------------+------+---------+------+--------+-------------+
| 1 | SIMPLE | titles | ALL | NULL | NULL | NULL | NULL | 443308 | Using where |
+----+-------------+--------+------+---------------+------+---------+------+--------+-------------+
顯然這個(gè)查詢等價(jià)于查詢emp_no為10001的函數(shù),但是由于查詢條件是一個(gè)表達(dá)式,MySQL無(wú)法為其使用索引??磥?lái)MySQL還沒(méi)有智能到自動(dòng)優(yōu)化常量表達(dá)式的程度,因此在寫(xiě)查詢語(yǔ)句時(shí)盡量避免表達(dá)式出現(xiàn)在查詢中,而是先手工私下代數(shù)運(yùn)算,轉(zhuǎn)換為無(wú)表達(dá)式的查詢語(yǔ)句。
索引選擇性與前綴索引
既然索引可以加快查詢速度,那么是不是只要是查詢語(yǔ)句需要,就建上索引?答案是否定的。因?yàn)樗饕m然加快了查詢速度,但索引也是有代價(jià)的:索引文件本身要消耗存儲(chǔ)空間,同時(shí)索引會(huì)加重插入、刪除和修改記錄時(shí)的負(fù)擔(dān),另外,MySQL在運(yùn)行時(shí)也要消耗資源維護(hù)索引,因此索引并不是越多越好。一般兩種情況下不建議建索引。
第一種情況是表記錄比較少,例如一兩千條甚至只有幾百條記錄的表,沒(méi)必要建索引,讓查詢做全表掃描就好了。至于多少條記錄才算多,這個(gè)個(gè)人有個(gè)人的看法,我個(gè)人的經(jīng)驗(yàn)是以2000作為分界線,記錄數(shù)不超過(guò) 2000可以考慮不建索引,超過(guò)2000條可以酌情考慮索引。
另一種不建議建索引的情況是索引的選擇性較低。所謂索引的選擇性(Selectivity),是指不重復(fù)的索引值(也叫基數(shù),Cardinality)與表記錄數(shù)(#T)的比值:
Index Selectivity = Cardinality / #T
顯然選擇性的取值范圍為(0, 1],選擇性越高的索引價(jià)值越大,這是由B+Tree的性質(zhì)決定的。例如,上文用到的employees.titles表,如果title字段經(jīng)常被單獨(dú)查詢,是否需要建索引,我們看一下它的選擇性:
SELECT count(DISTINCT(title))/count(*) AS Selectivity FROM employees.titles;
+-------------+
| Selectivity |
+-------------+
| 0.0000 |
+-------------+
title的選擇性不足0.0001(精確值為0.00001579),所以實(shí)在沒(méi)有什么必要為其單獨(dú)建索引。
有一種與索引選擇性有關(guān)的索引優(yōu)化策略叫做前綴索引,就是用列的前綴代替整個(gè)列作為索引key,當(dāng)前綴長(zhǎng)度合適時(shí),可以做到既使得前綴索引的選擇性接近全列索引,同時(shí)因?yàn)樗饕齥ey變短而減少了索引文件的大小和維護(hù)開(kāi)銷。下面以employees.employees表為例介紹前綴索引的選擇和使用。
從圖12可以看到employees表只有一個(gè)索引,那么如果我們想按名字搜索一個(gè)人,就只能全表掃描了:
EXPLAIN SELECT * FROM employees.employees WHERE first_name='Eric' AND last_name='Anido';
+----+-------------+-----------+------+---------------+------+---------+------+--------+-------------+
| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
+----+-------------+-----------+------+---------------+------+---------+------+--------+-------------+
| 1 | SIMPLE | employees | ALL | NULL | NULL | NULL | NULL | 300024 | Using where |
+----+-------------+-----------+------+---------------+------+---------+------+--------+-------------+
如果頻繁按名字搜索員工,這樣顯然效率很低,因此我們可以考慮建索引。有兩種選擇,建或,看下兩個(gè)索引的選擇性:
SELECT count(DISTINCT(first_name))/count(*) AS Selectivity FROM employees.employees;
+-------------+
| Selectivity |
+-------------+
| 0.0042 |
+-------------+
SELECT count(DISTINCT(concat(first_name, last_name)))/count(*) AS Selectivity FROM employees.employees;
+-------------+
| Selectivity |
+-------------+
| 0.9313 |
+-------------+
顯然選擇性太低,選擇性很好,但是first_name和last_name加起來(lái)長(zhǎng)度為30,有沒(méi)有兼顧長(zhǎng)度和選擇性的辦法?可以考慮用first_name和last_name的前幾個(gè)字符建立索引,例如,看看其選擇性:
SELECT count(DISTINCT(concat(first_name, left(last_name, 3))))/count(*) AS Selectivity FROM employees.employees;
+-------------+
| Selectivity |
+-------------+
| 0.7879 |
+-------------+
選擇性還不錯(cuò),但離0.9313還是有點(diǎn)距離,那么把last_name前綴加到4:
SELECT count(DISTINCT(concat(first_name, left(last_name, 4))))/count(*) AS Selectivity FROM employees.employees;
+-------------+
| Selectivity |
+-------------+
| 0.9007 |
+-------------+
這時(shí)選擇性已經(jīng)很理想了,而這個(gè)索引的長(zhǎng)度只有18,比短了接近一半,我們把這個(gè)前綴索引 建上:
ALTER TABLE employees.employees
ADD INDEX first_name_last_name4 (first_name, last_name(4));
此時(shí)再執(zhí)行一遍按名字查詢,比較分析一下與建索引前的結(jié)果:
SHOW PROFILES;
+----------+------------+---------------------------------------------------------------------------------+
| Query_ID | Duration | Query |
+----------+------------+---------------------------------------------------------------------------------+
| 87 | 0.11941700 | SELECT * FROM employees.employees WHERE first_name='Eric' AND last_name='Anido' |
| 90 | 0.00092400 | SELECT * FROM employees.employees WHERE first_name='Eric' AND last_name='Anido' |
+----------+------------+---------------------------------------------------------------------------------+
性能的提升是顯著的,查詢速度提高了120多倍。
前綴索引兼顧索引大小和查詢速度,但是其缺點(diǎn)是不能用于ORDER BY和GROUP BY操作,也不能用于Covering index(即當(dāng)索引本身包含查詢所需全部數(shù)據(jù)時(shí),不再訪問(wèn)數(shù)據(jù)文件本身
六:InnoDB的主鍵選擇與插入優(yōu)化
在使用InnoDB存儲(chǔ)引擎時(shí),如果沒(méi)有特別的需要,請(qǐng)永遠(yuǎn)使用一個(gè)與業(yè)務(wù)無(wú)關(guān)的自增字段作為主鍵。
經(jīng)??吹接刑踊虿┛陀懻撝麈I選擇問(wèn)題,有人建議使用業(yè)務(wù)無(wú)關(guān)的自增主鍵,有人覺(jué)得沒(méi)有必要,完全可以使用如學(xué)號(hào)或身份證號(hào)這種唯一字段作為主鍵。不論支持哪種論點(diǎn),大多數(shù)論據(jù)都是業(yè)務(wù)層面的。如果從數(shù)據(jù)庫(kù)索引優(yōu)化角度看,使用InnoDB引擎而不使用自增主鍵絕對(duì)是一個(gè)糟糕的主意。
上述內(nèi)容就是Mysql索引的實(shí)現(xiàn)原理分析,你們學(xué)到知識(shí)或技能了嗎?如果還想學(xué)到更多技能或者豐富自己的知識(shí)儲(chǔ)備,歡迎關(guān)注億速云行業(yè)資訊頻道。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。