怎么通過spark將數(shù)據(jù)存儲到elasticsearch

這篇文章主要介紹“怎么通過spark將數(shù)據(jù)存儲到elasticsearch”，在日常操作中，相信很多人在怎么通過spark將數(shù)據(jù)存儲到elasticsearch問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”怎么通過spark將數(shù)據(jù)存儲到elasticsearch”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

	maven依賴
	<dependency>
	    <groupId>org.elasticsearch</groupId>
	    <artifactId>elasticsearch-spark-20_2.11</artifactId>
	    <version>6.6.0</version>
	</dependency>
package hgs.spark.es
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.elasticsearch.spark._
import org.apache.spark.sql.SQLContext
object ViaSparkLoadDataToES {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("toEs").setMaster("local")
    conf.set("es.resource", "mtest/IT")
    conf.set("es.nodes", "bigdata00,bigdata01")
    conf.set("es.port", "9200")
    val context = new SparkContext(conf)
    
    val sqlContext = new SQLContext(context)
    
    
    import sqlContext.implicits._ 
    
    val rdd = context.textFile( "d:\\person",1)
    //val jsonrddDF = sqlContext.read.json(rdd)
    rdd.saveJsonToEs("mtest/IT")
    
    
   
    context.stop()
    
   
    
  }
 
  
}

到此，關于“怎么通過spark將數(shù)據(jù)存儲到elasticsearch”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續(xù)學習更多相關知識，請繼續(xù)關注億速云網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>