溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

Spark整合Mongodb的方法

發(fā)布時(shí)間：2020-10-01 12:17:59 來(lái)源：腳本之家 閱讀：256 作者：mrr 欄目：MongoDB數(shù)據(jù)庫(kù)

Spark介紹

按照官方的定義，Spark 是一個(gè)通用，快速，適用于大規(guī)模數(shù)據(jù)的處理引擎。

通用性：我們可以使用Spark SQL來(lái)執(zhí)行常規(guī)分析， Spark Streaming 來(lái)流數(shù)據(jù)處理， 以及用Mlib來(lái)執(zhí)行機(jī)器學(xué)習(xí)等。Java，python，scala及R語(yǔ)言的支持也是其通用性的表現(xiàn)之一。

快速： 這個(gè)可能是Spark成功的最初原因之一，主要?dú)w功于其基于內(nèi)存的運(yùn)算方式。當(dāng)需要處理的數(shù)據(jù)需要反復(fù)迭代時(shí)，Spark可以直接在內(nèi)存中暫存數(shù)據(jù)，而無(wú)需像Map Reduce一樣需要把數(shù)據(jù)寫回磁盤。官方的數(shù)據(jù)表明：它可以比傳統(tǒng)的Map Reduce快上100倍。

大規(guī)模：原生支持HDFS，并且其計(jì)算節(jié)點(diǎn)支持彈性擴(kuò)展，利用大量廉價(jià)計(jì)算資源并發(fā)的特點(diǎn)來(lái)支持大規(guī)模數(shù)據(jù)處理。

環(huán)境準(zhǔn)備

mongodb下載

解壓安裝

啟動(dòng)mongodb服務(wù)

$MONGODB_HOME/bin/mongod --fork --dbpath=/root/data/mongodb/ --logpath=/root/data/log/mongodb/mongodb.log

pom依賴 

<dependency> 
<groupId>org.mongodb.spark</groupId> 
<artifactId>mongo-spark-connector_2.11</artifactId> 
<version>${spark.version}</version> 
</dependency>

實(shí)例代碼 

object ConnAppTest { 
def main(args: Array[String]): Unit = { 
val spark = SparkSession.builder() 
.master("local[2]") 
.appName("ConnAppTest") 
.config("spark.mongodb.input.uri", "mongodb://192.168.31.136/testDB.testCollection") // 指定mongodb輸入 
.config("spark.mongodb.output.uri", "mongodb://192.168.31.136/testDB.testCollection") // 指定mongodb輸出 
.getOrCreate() 
// 生成測(cè)試數(shù)據(jù) 
val documents = spark.sparkContext.parallelize((1 to 10).map(i => Document.parse(s"{test: $i}"))) 
// 存儲(chǔ)數(shù)據(jù)到mongodb 
MongoSpark.save(documents) 
// 加載數(shù)據(jù) 
val rdd = MongoSpark.load(spark) 
// 打印輸出 
rdd.show 
} 
}

總結(jié)

以上所述是小編給大家介紹的Spark整合Mongodb的方法，希望對(duì)大家有所幫助，如果大家有任何疑問(wèn)請(qǐng)給我留言，小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)億速云網(wǎng)站的支持！

向AI問(wèn)一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手