怎么理解Java一致性hash問題

本篇內(nèi)容介紹了“怎么理解Java一致性hash問題”的有關(guān)知識，在實(shí)際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

問題提出

一致性hash是什么?假設(shè)有4臺緩存服務(wù)器N0,N1,N2,N3,現(xiàn)在有數(shù)據(jù)OBJECT1,OBJECT2,OBJECT3,OBJECT4,OBJECT5,OBJECT5,OBJECT7,OBJECT8, 我們需要將這些數(shù)據(jù)緩存到這4臺服務(wù)器上，相應(yīng)的問題是

如何設(shè)計(jì)數(shù)據(jù)存放策略,即ObjectX 應(yīng)該存放在哪臺服務(wù)器上?

為了解決這個(gè)問題,我們有如下幾個(gè)思路。

1. 余數(shù)hash方案

采用hash(Objectx)%4來確定服務(wù)器節(jié)點(diǎn)

假設(shè) `hash(OBJECT1)=2`,由 2%4=2,可知,`Object1`則應(yīng)該存放到節(jié)點(diǎn)`N2`上
假設(shè) `hash(OBJECT2)=3`,由 3%4=3,可知,`Object2`則應(yīng)該存放到節(jié)點(diǎn)`N3`上
假設(shè) `hash(OBJECT3)=1`,由 1%4=1,可知,`Object3`則應(yīng)該存放到節(jié)點(diǎn)`N1`上
假設(shè) `hash(OBJECT4)=0`,由 1%4=1,可知,`Object4`則應(yīng)該存放到節(jié)點(diǎn)`N0`上
假設(shè) `hash(OBJECT5)=5`,由 5%4=1,可知,`Object5`則應(yīng)該存放到節(jié)點(diǎn)`N1`上
假設(shè) `hash(OBJECT6)=6`,由 6%4=2,可知,`Object6`則應(yīng)該存放到節(jié)點(diǎn)`N2`上
假設(shè) `hash(OBJECT7)=7`,由 7%4=3,可知,`Object7`則應(yīng)該存放到節(jié)點(diǎn)`N3`上
假設(shè) `hash(OBJECT8)=8`,由 8%4=0,可知,`Object8`則應(yīng)該存放到節(jié)點(diǎn)`N0`上

假設(shè)我們需要讀取Object3的數(shù)據(jù),則由hash(object3)=1可知,我們只需要訪問節(jié)點(diǎn)N1即可。

1.1 現(xiàn)在假設(shè)N3忽然故障下線

我們面臨緩存重新構(gòu)造的問題

采用hash(Objectx)%3來確定服務(wù)器節(jié)點(diǎn)

假設(shè) `hash(OBJECT1)=2`,由 2%3=2,可知,`Object1`則應(yīng)該存放到節(jié)點(diǎn)`N2`上
假設(shè) `hash(OBJECT2)=3`,由 3%3=0,可知,`Object2`則應(yīng)該存放到節(jié)點(diǎn)`N0`上
假設(shè) `hash(OBJECT3)=1`,由 1%3=1,可知,`Object3`則應(yīng)該存放到節(jié)點(diǎn)`N1`上
假設(shè) `hash(OBJECT4)=0`,由 0%3=0,可知,`Object4`則應(yīng)該存放到節(jié)點(diǎn)`N0`上
假設(shè) `hash(OBJECT5)=5`,由 5%3=2,可知,`Object5`則應(yīng)該存放到節(jié)點(diǎn)`N2`上
假設(shè) `hash(OBJECT6)=6`,由 6%3=0,可知,`Object6`則應(yīng)該存放到節(jié)點(diǎn)`N0`上
假設(shè) `hash(OBJECT7)=7`,由 7%3=1,可知,`Object7`則應(yīng)該存放到節(jié)點(diǎn)`N1`上
假設(shè) `hash(OBJECT8)=8`,由 8%3=2,可知,`Object8`則應(yīng)該存放到節(jié)點(diǎn)`N2`上

此時(shí)為了保證數(shù)據(jù)的準(zhǔn)確性,我們需要

將數(shù)據(jù)`Object2`從`N3`遷移到`N0`
將數(shù)據(jù)`Object5`從`N1`遷移到`N2`
將數(shù)據(jù)`Object6`從`N2`遷移到`N0`
將數(shù)據(jù)`Object7`從`N3`遷移到`N1`
將數(shù)據(jù)`Object8`從`N0`遷移到`N2`

1.2 現(xiàn)在假設(shè)我們添加一臺新的服務(wù)器N4

我們面臨緩存重新構(gòu)造的問題

采用hash(Objectx)%5來確定服務(wù)器節(jié)點(diǎn)

假設(shè) `hash(OBJECT1)=2`,由 2%5=2,可知,`Object1`則應(yīng)該存放到節(jié)點(diǎn)`N2`上
假設(shè) `hash(OBJECT2)=3`,由 3%5=3,可知,`Object2`則應(yīng)該存放到節(jié)點(diǎn)`N3`上
假設(shè) `hash(OBJECT3)=1`,由 1%5=1,可知,`Object3`則應(yīng)該存放到節(jié)點(diǎn)`N1`上
假設(shè) `hash(OBJECT4)=0`,由 0%5=0,可知,`Object4`則應(yīng)該存放到節(jié)點(diǎn)`N0`上
假設(shè) `hash(OBJECT5)=5`,由 5%5=0,可知,`Object5`則應(yīng)該存放到節(jié)點(diǎn)`N0`上
假設(shè) `hash(OBJECT6)=6`,由 6%5=1,可知,`Object6`則應(yīng)該存放到節(jié)點(diǎn)`N1`上
假設(shè) `hash(OBJECT7)=7`,由 7%5=2,可知,`Object7`則應(yīng)該存放到節(jié)點(diǎn)`N2`上
假設(shè) `hash(OBJECT8)=8`,由 8%5=3,可知,`Object8`則應(yīng)該存放到節(jié)點(diǎn)`N3`上

此時(shí)為了保證數(shù)據(jù)的準(zhǔn)確性,我們需要

將數(shù)據(jù)`Object2`從`N3`遷移到`N0`
將數(shù)據(jù)`Object5`從`N1`遷移到`N0`
將數(shù)據(jù)`Object6`從`N2`遷移到`N1`
將數(shù)據(jù)`Object7`從`N3`遷移到`N2`
將數(shù)據(jù)`Object8`從`N0`遷移到`N3`

從上述倆種情況可以看出,一旦機(jī)器數(shù)目變化,我們面臨大量的緩存變化問題,換言之,緩存大部分失效,很可能會導(dǎo)致雪崩。

2.一致性hash方案

現(xiàn)在我們更換如下策略

0<hash(Objectx)%8<=2 ,則存放在`N0`
2<hash(Objectx)%8<=4 ,則存放在`N1`
4<hash(Objectx)%8<=6 ,則存放在`N2`
6<hash(Objectx)%8<=8 ,則存放在`N3`

2.1 現(xiàn)在假設(shè)N3忽然故障下線

我們面臨緩存重新構(gòu)造的問題,調(diào)整策略如下

0<hash(Objectx)%8<=2 ,則存放在`N0`
2<hash(Objectx)%8<=4 ,則存放在`N1`
4<hash(Objectx)%8<=6 ,則存放在`N2`
6<hash(Objectx)%8<=8 ,則存放在`N0`

此時(shí)為了保證數(shù)據(jù)的準(zhǔn)確性,我們需要 將數(shù)據(jù)ObjectX從N3遷移到N0,受影響的數(shù)據(jù)僅僅N3相關(guān)的數(shù)據(jù)。

2.2 現(xiàn)在假設(shè)我們添加一臺新的服務(wù)器N4

我們面臨緩存重新構(gòu)造的問題,調(diào)整策略如下

0<hash(Objectx)%8<=2 ,則存放在`N0`
2<hash(Objectx)%8<=4 ,則存放在`N1`
4<hash(Objectx)%8<=5 ,則存放在`N2`
5<hash(Objectx)%8<=6 ,則存放在`N4`
6<hash(Objectx)%8<=8 ,則存放在`N3`

此時(shí)為了保證數(shù)據(jù)的準(zhǔn)確性,我們需要 將數(shù)據(jù)從N2復(fù)制到N4,受影響的僅僅N2相關(guān)的用戶。

比較上述倆種做法,可見方案2更優(yōu). 方案2就是一致性hash

2.3 缺點(diǎn)

機(jī)器越少,則每臺機(jī)器上負(fù)載將越不均勻,解決這個(gè)問題的方法是添加虛擬節(jié)點(diǎn),調(diào)整策略，如下,可以想象,數(shù)據(jù)越多,分布越均勻。

0<hash(Objectx)%8<=1 ,則存放在`N0`
1<hash(Objectx)%8<=2 ,則存放在`N1`
2<hash(Objectx)%8<=3 ,則存放在`N2`
3<hash(Objectx)%8<=4 ,則存放在`N3`
4<hash(Objectx)%8<=5 ,則存放在`N0`
5<hash(Objectx)%8<=6 ,則存放在`N1`
6<hash(Objectx)%8<=7 ,則存放在`N2`
7<hash(Objectx)%8<=8 ,則存放在`N3`

“怎么理解Java一致性hash問題”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！