您好,登錄后才能下訂單哦!
由于項目中需要使用批量插入功能, 所以在網(wǎng)上查找到了Redis 批量插入可以使用pipeline來高效的插入, 示例代碼如下:
String key = "key"; Jedis jedis = new Jedis("xx.xx.xx.xx"); Pipeline p = jedis.pipelined(); List<String> myData = .... //要插入的數(shù)據(jù)列表 for(String data: myData){ p.hset(key, data); } p.sync(); jedis.close();
但實際上遇到的問題是,項目上所用到的Redis是集群,初始化的時候使用的類是JedisCluster而不是Jedis. 去查了JedisCluster的文檔, 并沒有發(fā)現(xiàn)提供有像Jedis一樣的獲取Pipeline對象的 pipelined()方法.
Google了一下, 發(fā)現(xiàn)了解決方案.
Redis集群規(guī)范有說: Redis 集群的鍵空間被分割為 16384 個槽(slot), 集群的最大節(jié)點數(shù)量也是 16384 個。每個主節(jié)點都負責(zé)處理 16384 個哈希槽的其中一部分。當(dāng)我們說一個集群處于“穩(wěn)定”(stable)狀態(tài)時, 指的是集群沒有在執(zhí)行重配置(reconfiguration)操作, 每個哈希槽都只由一個節(jié)點進行處理。
所以我們可以根據(jù)要插入的key知道這個key所對應(yīng)的槽的號碼, 再通過這個槽的號碼從集群中找到對應(yīng)Jedis. 具體實現(xiàn)如下
//初始化得到了jedis cluster, 如何獲取HostAndPort集合代碼就不寫了 Set<HostAndPort> nodes = ..... JedisCluster jedisCluster = new JedisCluster(nodes); Map<String, JedisPool> nodeMap = jedisCluster.getClusterNodes(); String anyHost = nodeMap.keySet().iterator().next(); //getSlotHostMap方法在下面有 TreeMap<Long, String> slotHostMap = getSlotHostMap(anyHost);
private static TreeMap<Long, String> getSlotHostMap(String anyHostAndPortStr) { TreeMap<Long, String> tree = new TreeMap<Long, String>(); String parts[] = anyHostAndPortStr.split(":"); HostAndPort anyHostAndPort = new HostAndPort(parts[0], Integer.parseInt(parts[1])); try{ Jedis jedis = new Jedis(anyHostAndPort.getHost(), anyHostAndPort.getPort()); List<Object> list = jedis.clusterSlots(); for (Object object : list) { List<Object> list1 = (List<Object>) object; List<Object> master = (List<Object>) list1.get(2); String hostAndPort = new String((byte[]) master.get(0)) + ":" + master.get(1); tree.put((Long) list1.get(0), hostAndPort); tree.put((Long) list1.get(1), hostAndPort); } jedis.close(); }catch(Exception e){ } return tree; }
上面這幾步可以在初始化的時候就完成. 不需要每次都調(diào)用, 把nodeMap和slotHostMap都定義為靜態(tài)變量.
//獲取槽號 int slot = JedisClusterCRC16.getSlot(key); //獲取到對應(yīng)的Jedis對象 Map.Entry<Long, String> entry = slotHostMap.lowerEntry(Long.valueOf(slot)); Jedis jedis = nodeMap.get(entry.getValue()).getResource();
建議上面這步操作可以封裝成一個靜態(tài)方法, 比如命名為public static Jedis getJedisByKey(String key) 之類的. 意思就是在集群中, 通過key獲取到這個key所對應(yīng)的Jedis對象.
這樣再通過上面的jedis.pipelined();來就可以進行批量插入了.
注:這個方法是從Google上搜來的, 直到目前我使用起來還沒發(fā)現(xiàn)什么問題. 如果哪位大神發(fā)現(xiàn)有什么不對的地方歡迎提出來.
以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持億速云。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。