spark怎么通過jdbc方式連接關(guān)系型數(shù)據(jù)庫

本篇內(nèi)容介紹了“spark怎么通過jdbc方式連接關(guān)系型數(shù)據(jù)庫”的有關(guān)知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

1 創(chuàng)建sparkSession對象

val sparkSession = SparkSession.builder().appName("findIPRel").getOrCreate()

2 jdbc鏈接創(chuàng)建DataFrame對象

    val jdbcDF = sparkSession.read
      .format("jdbc")
      .option("driver", "org.postgresql.Driver")  //必須添加
      .option("url", "jdbc:postgresql://121.36.61.51:5432/xsbigdatadb")
      .option("dbtable", "ods_proto_log")
      .option("user", "postgres")
      .option("password", "root@456")
      .load()

其中需要注意的是一定要加上對driver選項的指定，否則就算你的類路徑中含有對應(yīng)數(shù)據(jù)庫的jdbc包，也會報找不到合適的驅(qū)動的錯誤。

3 通過dataFrame對象使用dsl方式對數(shù)據(jù)進(jìn)行查詢

val ori = jdbcDF.select("srcip","dstip").rdd.map{
      case Row(col1:String,col2:String) => (col1,col2)
      case _ =>(srcIp,srcIp)
    }

4.其他

• maven中添加pg數(shù)據(jù)庫的jdbc報的依賴

        <dependency>
            <groupId>org.postgresql</groupId>
            <artifactId>postgresql</artifactId>
            <version>42.2.18</version>
        </dependency>

• spark提交指定依賴jar包 在提交命令中加上--jars選項，例如spark-submit --class com.pxu.spark.core.FindIpRel --jars ./postgresql-42.2.18.jar --master spark://master:7077 ./sparkLearn-1.0-SNAPSHOT-jar-with-dependencies.jar 192.168.14.17 192.168.73.58 4 hdfs://master:9000/submitTest/output/out3

“spark怎么通過jdbc方式連接關(guān)系型數(shù)據(jù)庫”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實用文章！