溫馨提示×

溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊×
其他方式登錄
點(diǎn)擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

Python通過Thrift插入Hbase實(shí)驗(yàn)

發(fā)布時(shí)間：2020-03-03 03:29:50 來源：網(wǎng)絡(luò) 閱讀：734 作者：刀刀_高揚(yáng) 欄目：關(guān)系型數(shù)據(jù)庫

#python
from thrift import Thrift
from thrift.transport import TSocket
from thrift.transport import TTransport
from thrift.protocol import TBinaryProtocol

from hbase import Hbase
from hbase.ttypes import *

transport = TSocket.TSocket('192.168.137.101',9090)

transport = TTransport.TBufferedTransport(transport)

protocol = TBinaryProtocol.TBinaryProtocol(transport)

client = Hbase.Client(protocol)
transport.open()

mutations = [Mutation(column="tuser:b",value="1")]

#client.mutateRow('ttable0','rowkey1', mutations, None)

for l1 in range(10):
for l2 in range(10):
for l3 in range(10):
for l4 in range(10):
client.mutateRow('ttable0','%d'%l1+'%d'%l2+'%d'%l3+'%d'%l4, mutations, None)

print 'finished'


4臺centos虛擬機(jī)

2.2Ghz CPU × 1

1.5GB內(nèi)存

共享單硬盤

插入1000條用時(shí)93秒，平均一秒插入107條

復(fù)制0.py為1.py, 2.py ……8.py

開啟9個進(jìn)程分別插入ttable0, ttable1, ttable2 ……ttable8

其它條件不變，總共用時(shí)約220秒，平均一秒插入409條


向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手