spark怎么讀取hbase數(shù)據(jù)并轉(zhuǎn)化為dataFrame

本篇內(nèi)容主要講解“spark怎么讀取hbase數(shù)據(jù)并轉(zhuǎn)化為dataFrame”，感興趣的朋友不妨來(lái)看看。本文介紹的方法操作簡(jiǎn)單快捷，實(shí)用性強(qiáng)。下面就讓小編來(lái)帶大家學(xué)習(xí)“spark怎么讀取hbase數(shù)據(jù)并轉(zhuǎn)化為dataFrame”吧!

最近兩天研究Spark直接讀取hbase數(shù)據(jù)，并將其轉(zhuǎn)化為dataframe。之所以這么做，

1、公司的數(shù)據(jù)主要存儲(chǔ)在hbase之中

2、使用dataframe，更容易實(shí)現(xiàn)計(jì)算。

盡管hbase的官方已經(jīng)提供了hbase-spark 接口，但是并未對(duì)外發(fā)布，而且目前的項(xiàng)目又有這方面的需求，且網(wǎng)上關(guān)于這么方面的參考比較少，

故貼出來(lái)，代碼如下，僅供參考

import org.apache.hadoop.hbase.client._import org.apache.hadoop.hbase.io.ImmutableBytesWritableimport org.apache.hadoop.hbase.mapreduce.TableInputFormatimport org.apache.hadoop.hbase.{TableName, HBaseConfiguration}import org.apache.hadoop.hbase.util.Bytesimport org.apache.spark.sql.SQLContextimport org.apache.spark.{SparkContext, SparkConf}/**  * Created by seagle on 6/28/16.  */object HBaseSpark {  def main(args:Array[String]): Unit ={// 本地模式運(yùn)行,便于測(cè)試    val sparkConf = new SparkConf().setMaster("local").setAppName("HBaseTest")// 創(chuàng)建hbase configuration    val hBaseConf = HBaseConfiguration.create()
    hBaseConf.set(TableInputFormat.INPUT_TABLE,"bmp_ali_customer")// 創(chuàng)建 spark context    val sc = new SparkContext(sparkConf)val sqlContext = new SQLContext(sc)import sqlContext.implicits._// 從數(shù)據(jù)源獲取數(shù)據(jù)    val hbaseRDD = sc.newAPIHadoopRDD(hBaseConf,classOf[TableInputFormat],classOf[ImmutableBytesWritable],classOf[Result])// 將數(shù)據(jù)映射為表  也就是將 RDD轉(zhuǎn)化為 dataframe schema    val shop = hbaseRDD.map(r=>(
      Bytes.toString(r._2.getValue(Bytes.toBytes("info"),Bytes.toBytes("customer_id"))),
      Bytes.toString(r._2.getValue(Bytes.toBytes("info"),Bytes.toBytes("create_id")))
      )).toDF("customer_id","create_id")

    shop.registerTempTable("shop")// 測(cè)試    val df2 = sqlContext.sql("SELECT customer_id FROM shop")

    df2.foreach(println)
  }

代碼能夠運(yùn)行的前提是

1、 引用了 spark-sql  jar

2、配置了Hbase-site.xml ，并將其放在工程的根目錄下

到此，相信大家對(duì)“spark怎么讀取hbase數(shù)據(jù)并轉(zhuǎn)化為dataFrame”有了更深的了解，不妨來(lái)實(shí)際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢(xún)，關(guān)注我們，繼續(xù)學(xué)習(xí)！