URL去重該如何實(shí)現(xiàn)

URL去重該如何實(shí)現(xiàn)，很多新手對此不是很清楚，為了幫助大家解決這個(gè)難題，下面小編將為大家詳細(xì)講解，有這方面需求的人可以來學(xué)習(xí)下，希望你能有所收獲。

IPv6編碼地址數(shù)：2^128（約3.4×10^38）

IPv6是IETF設(shè)計(jì)的用于替代現(xiàn)行版本IP協(xié)議（IPv4）的下一代IP協(xié)議，號稱可以為全世界的每一粒沙子編上一個(gè)網(wǎng)址。

public <T> boolean put(T object, Funnel<? super T> funnel, int numHashFunctions, BitArray bits) {      long bitSize = bits.bitSize();      long hash74 = Hashing.murmur3_128().hashObject(object, funnel).asLong();      int hash2 = (int) hash74;      int hash3 = (int) (hash74 >>> 32);        boolean bitsChanged = false;      for (int i = 1; i <= numHashFunctions; i++) {          int combinedHash = hash2 + (i * hash3);          // Flip all the bits if it's negative (guaranteed positive number)          if (combinedHash < 0) {              combinedHash = ~combinedHash;          }          bitsChanged |= bits.set(combinedHash % bitSize);      }      return bitsChanged;  }

boolean set(long index) {       if (!get(index)) {           data[(int) (index >>> 6)] |= (1L << index);           bitCount++;           return true;       }       return false;   }       boolean get(long index) {       return (data[(int) (index >>> 6)] & (1L << index)) != 0;   }

02 先get()一下，看看是不是已經(jīng)置為1。

03 index右移6位就是除以64，說明data是long型的數(shù)組，除以64就定位到了bit所在的數(shù)組下標(biāo)。1L左移index位，定位到了bit在long中的位置。

看完上述內(nèi)容是否對您有幫助呢？如果還想對相關(guān)知識有進(jìn)一步的了解或閱讀更多相關(guān)文章，請關(guān)注億速云行業(yè)資訊頻道，感謝您對億速云的支持。