如何使用python批量導(dǎo)入數(shù)據(jù)進Elasticsearch中

本文小編為大家詳細介紹“如何使用python批量導(dǎo)入數(shù)據(jù)進Elasticsearch中”，內(nèi)容詳細，步驟清晰，細節(jié)處理妥當(dāng)，希望這篇“如何使用python批量導(dǎo)入數(shù)據(jù)進Elasticsearch中”文章能幫助大家解決疑惑，下面跟著小編的思路慢慢深入，一起來學(xué)習(xí)新知識吧。

先給代碼

#coding=utf-8
from datetime import datetime
from elasticsearch import Elasticsearch
from elasticsearch import helpers
es = Elasticsearch()
actions = []
f=open('index.txt')
i=1
for line in f:
 line = line.strip().split(' ')
 action={
 "_index":"image",
 "_type":"imagetable",
 "_id":i,
 "_source":{
  u"圖片名":line[0].decode('utf8'),
  u"來源":line[1].decode('utf8'),
  u"權(quán)威性":line[2].decode('utf8'),
  u"大小":line[3].decode('utf8'),
  u"質(zhì)量":line[4].decode('utf8'),
  u"類別":line[5].decode('utf8'),
  u"型號":line[6].decode('utf8'),
  u"國別":line[7].decode('utf8'),
  u"采集人":line[8].decode('utf8'),
  u"所屬部門":line[9].decode('utf8'),
  u"關(guān)鍵詞":line[10].decode('utf8'),
  u"訪問權(quán)限":line[11].decode('utf8') 
  }
 }
 i+=1
 actions.append(action)
 if(len(actions)==500):
 helpers.bulk(es, actions)
 del actions[0:len(actions)]
if (len(actions) > 0):
 helpers.bulk(es, actions)

每句話的含義還是很明顯的，這里需要說幾點，首先是index.txt是以utf8編碼的，所以需要decode('utf8')轉(zhuǎn)換成unicode對象，并且“圖片名”前需要加u，否則ES會報錯

導(dǎo)入的速度還是很快的，2000多條記錄每秒。

讀到這里，這篇“如何使用python批量導(dǎo)入數(shù)據(jù)進Elasticsearch中”文章已經(jīng)介紹完畢，想要掌握這篇文章的知識點還需要大家自己動手實踐使用過才能領(lǐng)會，如果想了解更多相關(guān)內(nèi)容的文章，歡迎關(guān)注億速云行業(yè)資訊頻道。