小心避坑：MySQL分頁時出現(xiàn)的數(shù)據(jù)重復(fù)問題

發(fā)布時間：2020-08-09 04:10:36 來源：ITPUB博客閱讀：378 作者：數(shù)據(jù)和云欄目：MySQL數(shù)據(jù)庫

全文鏈接： https://www.modb.pro/db/23201

0 問題描述

在MySQL中我們通常會采用limit來進(jìn)行翻頁查詢，比如limit(0,10)表示列出第一頁的10條數(shù)據(jù)，limit(10,10)表示列出第二頁。但是，當(dāng)limit遇到order by的時候，可能會出現(xiàn)翻到第二頁的時候，竟然又出現(xiàn)了第一頁的記錄。

具體如下：


SELECT

  
`post_title`,

  
`post_date`


FROM

  post


WHERE

  
`post_status` = 
'publish'


ORDER 
BY

  view_count 
desc


LIMIT

  
5, 
5

使用上述SQL查詢的時候，很有可能出現(xiàn)和LIMIT 0,5相同的某條記錄。而如果使用如下方式，則不會出現(xiàn)重復(fù)的情況：


SELECT

  *


FROM

  post


WHERE

  post_status = 
'publish'


ORDER 
BY

  view_count 
desc


LIMIT

  
5, 
5

但是，由于post表的字段很多，僅僅希望用這兩個字段，不想把post_content也查出來。為了解決這個情況，在ORDER BY后面使用了兩個排序條件來解決這個問題，如下：


SELECT

  
`post_title`,

  
`post_date`


FROM

  post


WHERE

  
`post_status` = 
'publish'


ORDER 
BY

  view_count 
desc,

  
ID 
asc


LIMIT

  
5, 
5

按理來說，MySQL的排序默認(rèn)情況下是以主鍵ID作為排序條件的，也就是說，如果在view_count相等的情況下，主鍵ID作為默認(rèn)的排序條件，不需要我們多此一舉加ID asc。 但是事實(shí)就是，MySQL再order by和limit混用的時候，出現(xiàn)了排序的混亂情況。

1 分析問題

在MySQL 5.6的版本上，優(yōu)化器在遇到order by limit語句的時候，做了一個優(yōu)化，即使用了priority queue。

使用 priority queue 的目的， 就是在不能使用索引有序性的時候，如果要排序，并且使用了limit n，那么只需要在排序的過程中，保留n條記錄即可，這樣雖然不能解決所有記錄都需要排序的開銷，但是 只需要 sort buffer 少量的內(nèi)存就可以完成排序。

之所以MySQL 5.6出現(xiàn)了第二頁數(shù)據(jù)重復(fù)的問題， 是因?yàn)?priority queue 使用了堆排序的排序方法，而堆排序是一個不穩(wěn)定的排序方法，也就是相同的值可能排序出來的結(jié)果和讀出來的數(shù)據(jù)順序不一致。

MySQL 5.5 沒有這個優(yōu)化，所以也就不會出現(xiàn)這個問題。

也就是說，MySQL 5.5是不存在本文提到的問題的，5.6版本之后才出現(xiàn)了這種情況。

再看下MySQL解釋sql語言時的執(zhí)行順序：

(1)     
SELECT 

(
2)     
DISTINCT <select_list>

(
3)     
FROM <left_table>

(
4)     <join_type> 
JOIN <right_table>

(
5)     
ON <join_condition>

(
6)     
WHERE <where_condition>

(
7)     
GROUP 
BY <group_by_list>

(
8)     
HAVING <having_condition>

(
9)     
ORDER 
BY <order_by_condition>

(
10)    
LIMIT <limit_number>

執(zhí)行順序依次為 form… where… select… order by… limit…，由于上述priority queue的原因，在完成select之后，所有記錄是以堆排序的方法排列的，在進(jìn)行order by時，僅把view_count值大的往前移動。

但由于limit的因素，排序過程中只需要保留到5條記錄即可，view_count并不具備索引有序性，所以當(dāng)?shù)诙摂?shù)據(jù)要展示時，mysql見到哪一條就拿哪一條，因此，當(dāng)排序值相同的時候，第一次排序是隨意排的，第二次再執(zhí)行該sql的時候，其結(jié)果應(yīng)該和第一次結(jié)果一樣。

......

查看全文請點(diǎn)擊文章頂部鏈接

向AI問一下細(xì)節(jié)

小心避坑：MySQL分頁時出現(xiàn)的數(shù)據(jù)重復(fù)問題

0 問題描述

1 分析問題

猜你喜歡

最新資訊

相關(guān)推薦

相關(guān)標(biāo)簽