因此，引入了一致性哈希算法：
把數(shù)據(jù)用hash函數(shù)（如MD5），映射到一個(gè)很大的空間里，如圖所示。數(shù)據(jù)的存儲時(shí)，先得到一個(gè)hash值，對應(yīng)到這個(gè)環(huán)中的每個(gè)位置，如k1對應(yīng)到了圖中所示的位置，然后沿順時(shí)針找到一個(gè)機(jī)器節(jié)點(diǎn)B，將k1存儲到B這個(gè)節(jié)點(diǎn)中。
如果B節(jié)點(diǎn)宕機(jī)了，則B上的數(shù)據(jù)就會落到C節(jié)點(diǎn)上，如下圖所示：
這樣，只會影響C節(jié)點(diǎn)，對其他的節(jié)點(diǎn)A，D的數(shù)據(jù)不會造成影響。然而，這又會造成一個(gè)“雪崩”的情況，即C節(jié)點(diǎn)由于承擔(dān)了B節(jié)點(diǎn)的數(shù)據(jù)，所以C節(jié)點(diǎn)的負(fù)載會變高，C節(jié)點(diǎn)很容易也宕機(jī)，這樣依次下去，這樣造成整個(gè)集群都掛了。
為此，引入了“虛擬節(jié)點(diǎn)”的概念：即把想象在這個(gè)環(huán)上有很多“虛擬節(jié)點(diǎn)”，數(shù)據(jù)的存儲是沿著環(huán)的順時(shí)針方向找一個(gè)虛擬節(jié)點(diǎn)，每個(gè)虛擬節(jié)點(diǎn)都會關(guān)聯(lián)到一個(gè)真實(shí)節(jié)點(diǎn)，如下圖所使用：
圖中的A1、A2、B1、B2、C1、C2、D1、D2都是虛擬節(jié)點(diǎn)，機(jī)器A負(fù)載存儲A1、A2的數(shù)據(jù)，機(jī)器B負(fù)載存儲B1、B2的數(shù)據(jù)，機(jī)器C負(fù)載存儲C1、C2的數(shù)據(jù)。由于這些虛擬節(jié)點(diǎn)數(shù)量很多，均勻分布，因此不會造成“雪崩”現(xiàn)象。
Java 實(shí)現(xiàn)：
- public class Shard<S>{ //S類封裝了機(jī)器節(jié)點(diǎn)的信息，如name、password、ip、port等
- private TreeMap<Long,S>nodes; //虛擬節(jié)點(diǎn)
- private List<S>shards; //真實(shí)機(jī)器節(jié)點(diǎn)
- private final int NODE_NUM= 100 ; //每個(gè)機(jī)器節(jié)點(diǎn)關(guān)聯(lián)的虛擬節(jié)點(diǎn)個(gè)數(shù)
- public Shard(List<S>shards){
- super ();
- this .shards=shards;
- init();
- }
- private void init(){ //初始化一致性hash環(huán)
- nodes= new TreeMap<Long,S>();
- for ( int i= 0 ;i!=shards.size();++i){ //每個(gè)真實(shí)機(jī)器節(jié)點(diǎn)都需要關(guān)聯(lián)虛擬節(jié)點(diǎn)
- final SshardInfo=shards.get(i);
- for ( int n= 0 ;n<NODE_NUM;n++)
- //一個(gè)真實(shí)機(jī)器節(jié)點(diǎn)關(guān)聯(lián)NODE_NUM個(gè)虛擬節(jié)點(diǎn)
- nodes.put(hash( "SHARD-" +i+ "-NODE-" +n),shardInfo);
- }
- }
- public SgetShardInfo(Stringkey){
- SortedMap<Long,S>tail=nodes.tailMap(hash(key)); //沿環(huán)的順時(shí)針找到一個(gè)虛擬節(jié)點(diǎn)
- if (tail.size()== 0 ){
- return nodes.get(nodes.firstKey());
- }
- return tail.get(tail.firstKey()); //返回該虛擬節(jié)點(diǎn)對應(yīng)的真實(shí)機(jī)器節(jié)點(diǎn)的信息
- }
- /**
- *MurMurHash算法，是非加密HASH算法，性能很高，
- *比傳統(tǒng)的CRC32,MD5，SHA-1（這兩個(gè)算法都是加密HASH算法，復(fù)雜度本身就很高，帶來的性能上的損害也不可避免）
- *等HASH算法要快很多，而且據(jù)說這個(gè)算法的碰撞率很低.
- *http://murmurhash.googlepages.com/
- */
- private Longhash(Stringkey){
- ByteBufferbuf=ByteBuffer.wrap(key.getBytes());
- int seed= 0x1234ABCD ;
- ByteOrderbyteOrder=buf.order();
- buf.order(ByteOrder.LITTLE_ENDIAN);
- long m=0xc6a4a7935bd1e995L;
- int r= 47 ;
- long h=seed^(buf.remaining()*m);
- long k;
- while (buf.remaining()>= 8 ){
- k=buf.getLong();
- k*=m;
- k^=k>>>r;
- k*=m;
- h^=k;
- h*=m;
- }
- if (buf.remaining()> 0 ){
- ByteBufferfinish=ByteBuffer.allocate( 8 ).order(
- ByteOrder.LITTLE_ENDIAN);
- //forbig-endianversion,dothisfirst:
- //finish.position(8-buf.remaining());
- finish.put(buf).rewind();
- h^=finish.getLong();
- h*=m;
- }
- h^=h>>>r;
- h*=m;
- h^=h>>>r;
- buf.order(byteOrder);
- return h;
- }
- }
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號聯(lián)系： 360901061
您的支持是博主寫作最大的動力，如果您喜歡我的文章，感覺我的文章對您有幫助，請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點(diǎn)擊下面給點(diǎn)支持吧，站長非常感激您！手機(jī)微信長按不能支付解決辦法：請將微信支付二維碼保存到相冊，切換到微信，然后點(diǎn)擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對您有幫助就好】元
