Spark性能優(yōu)化基礎(chǔ)知識有哪些

本篇內(nèi)容主要講解“Spark性能優(yōu)化基礎(chǔ)知識有哪些”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學習“Spark性能優(yōu)化基礎(chǔ)知識有哪些”吧!

#開發(fā)調(diào)優(yōu)
Spark性能優(yōu)化的第一步，就是要在開發(fā)Spark作業(yè)的過程中注意和應(yīng)用一些性能優(yōu)化的基本原則。開發(fā)調(diào)優(yōu)，就是要讓大家了解以下一些Spark基本開發(fā)原則，包括：RDD lineage設(shè)計、算子的合理使用、特殊操作的優(yōu)化等。在開發(fā)過程中，時時刻刻都應(yīng)該注意以上原則，并將這些原則根據(jù)具體的業(yè)務(wù)以及實際的應(yīng)用場景，靈活地運用到自己的Spark作業(yè)中。
##原則一：避免創(chuàng)建重復(fù)的RDD
通常來說，我們在開發(fā)一個Spark作業(yè)時，首先是基于某個數(shù)據(jù)源（比如Hive表或HDFS文件）創(chuàng)建一個初始的RDD；接著對這個RDD執(zhí)行某個算子操作，然后得到下一個RDD；以此類推，循環(huán)往復(fù)，直到計算出最終我們需要的結(jié)果。在這個過程中，多個RDD會通過不同的算子操作（比如map、reduce等）串起來，這個“RDD串”，就是RDD lineage，也就是“RDD的血緣關(guān)系鏈”。

我們在開發(fā)過程中要注意：對于同一份數(shù)據(jù)，只應(yīng)該創(chuàng)建一個RDD，不能創(chuàng)建多個RDD來代表同一份數(shù)據(jù)。

一些Spark初學者在剛開始開發(fā)Spark作業(yè)時，或者是有經(jīng)驗的工程師在開發(fā)RDD lineage極其冗長的Spark作業(yè)時，可能會忘了自己之前對于某一份數(shù)據(jù)已經(jīng)創(chuàng)建過一個RDD了，從而導致對于同一份數(shù)據(jù)，創(chuàng)建了多個RDD。這就意味著，我們的Spark作業(yè)會進行多次重復(fù)計算來創(chuàng)建多個代表相同數(shù)據(jù)的RDD，進而增加了作業(yè)的性能開銷。

// 需要對名為“hello.txt”的HDFS文件進行一次map操作，再進行一次reduce操作。也就是說，需要對一份數(shù)據(jù)執(zhí)行兩次算子操作。

// 錯誤的做法：對于同一份數(shù)據(jù)執(zhí)行多次算子操作時，創(chuàng)建多個RDD。
// 這里執(zhí)行了兩次textFile方法，針對同一個HDFS文件，創(chuàng)建了兩個RDD出來，然后分別對每個RDD都執(zhí)行了一個算子操作。
// 這種情況下，Spark需要從HDFS上兩次加載hello.txt文件的內(nèi)容，并創(chuàng)建兩個單獨的RDD；第二次加載HDFS文件以及創(chuàng)建RDD的性能開銷，很明顯是白白浪費掉的。
val rdd1 = sc.textFile("hdfs://192.168.0.1:9000/hello.txt")
rdd1.map(...)
val rdd2 = sc.textFile("hdfs://192.168.0.1:9000/hello.txt")
rdd2.reduce(...)

// 正確的用法：對于一份數(shù)據(jù)執(zhí)行多次算子操作時，只使用一個RDD。
// 這種寫法很明顯比上一種寫法要好多了，因為我們對于同一份數(shù)據(jù)只創(chuàng)建了一個RDD，然后對這一個RDD執(zhí)行了多次算子操作。
// 但是要注意到這里為止優(yōu)化還沒有結(jié)束，由于rdd1被執(zhí)行了兩次算子操作，第二次執(zhí)行reduce操作的時候，還會再次從源頭處重新計算一次rdd1的數(shù)據(jù)，因此還是會有重復(fù)計算的性能開銷。
// 要徹底解決這個問題，必須結(jié)合“原則三：對多次使用的RDD進行持久化”，才能保證一個RDD被多次使用時只被計算一次。
val rdd1 = sc.textFile("hdfs://192.168.0.1:9000/hello.txt")
rdd1.map(...)
rdd1.reduce(...)

##原則二：盡可能復(fù)用同一個RDD
除了要避免在開發(fā)過程中對一份完全相同的數(shù)據(jù)創(chuàng)建多個RDD之外，在對不同的數(shù)據(jù)執(zhí)行算子操作時還要盡可能地復(fù)用一個RDD。比如說，有一個RDD的數(shù)據(jù)格式是key-value類型的，另一個是單value類型的，這兩個RDD的value數(shù)據(jù)是完全一樣的。那么此時我們可以只使用key-value類型的那個RDD，因為其中已經(jīng)包含了另一個的數(shù)據(jù)。對于類似這種多個RDD的數(shù)據(jù)有重疊或者包含的情況，我們應(yīng)該盡量復(fù)用一個RDD，這樣可以盡可能地減少RDD的數(shù)量，從而盡可能減少算子執(zhí)行的次數(shù)。

// 錯誤的做法。

// 有一個<Long, String>格式的RDD，即rdd1。
// 接著由于業(yè)務(wù)需要，對rdd1執(zhí)行了一個map操作，創(chuàng)建了一個rdd2，而rdd2中的數(shù)據(jù)僅僅是rdd1中的value值而已，也就是說，rdd2是rdd1的子集。
JavaPairRDD<Long, String> rdd1 = ...
JavaRDD<String> rdd2 = rdd1.map(...)

// 分別對rdd1和rdd2執(zhí)行了不同的算子操作。
rdd1.reduceByKey(...)
rdd2.map(...)

// 正確的做法。

// 上面這個case中，其實rdd1和rdd2的區(qū)別無非就是數(shù)據(jù)格式不同而已，rdd2的數(shù)據(jù)完全就是rdd1的子集而已，卻創(chuàng)建了兩個rdd，并對兩個rdd都執(zhí)行了一次算子操作。
// 此時會因為對rdd1執(zhí)行map算子來創(chuàng)建rdd2，而多執(zhí)行一次算子操作，進而增加性能開銷。

// 其實在這種情況下完全可以復(fù)用同一個RDD。
// 我們可以使用rdd1，既做reduceByKey操作，也做map操作。
// 在進行第二個map操作時，只使用每個數(shù)據(jù)的tuple._2，也就是rdd1中的value值，即可。
JavaPairRDD<Long, String> rdd1 = ...
rdd1.reduceByKey(...)
rdd1.map(tuple._2...)

// 第二種方式相較于第一種方式而言，很明顯減少了一次rdd2的計算開銷。
// 但是到這里為止，優(yōu)化還沒有結(jié)束，對rdd1我們還是執(zhí)行了兩次算子操作，rdd1實際上還是會被計算兩次。
// 因此還需要配合“原則三：對多次使用的RDD進行持久化”進行使用，才能保證一個RDD被多次使用時只被計算一次。

##原則三：對多次使用的RDD進行持久化
當你在Spark代碼中多次對一個RDD做了算子操作后，恭喜，你已經(jīng)實現(xiàn)Spark作業(yè)第一步的優(yōu)化了，也就是盡可能復(fù)用RDD。此時就該在這個基礎(chǔ)之上，進行第二步優(yōu)化了，也就是要保證對一個RDD執(zhí)行多次算子操作時，這個RDD本身僅僅被計算一次。

Spark中對于一個RDD執(zhí)行多次算子的默認原理是這樣的：每次你對一個RDD執(zhí)行一個算子操作時，都會重新從源頭處計算一遍，計算出那個RDD來，然后再對這個RDD執(zhí)行你的算子操作。這種方式的性能是很差的。

因此對于這種情況，我們的建議是：對多次使用的RDD進行持久化。此時Spark就會根據(jù)你的持久化策略，將RDD中的數(shù)據(jù)保存到內(nèi)存或者磁盤中。以后每次對這個RDD進行算子操作時，都會直接從內(nèi)存或磁盤中提取持久化的RDD數(shù)據(jù)，然后執(zhí)行算子，而不會從源頭處重新計算一遍這個RDD，再執(zhí)行算子操作。

// 如果要對一個RDD進行持久化，只要對這個RDD調(diào)用cache()和persist()即可。

// 正確的做法。
// cache()方法表示：使用非序列化的方式將RDD中的數(shù)據(jù)全部嘗試持久化到內(nèi)存中。
// 此時再對rdd1執(zhí)行兩次算子操作時，只有在第一次執(zhí)行map算子時，才會將這個rdd1從源頭處計算一次。
// 第二次執(zhí)行reduce算子時，就會直接從內(nèi)存中提取數(shù)據(jù)進行計算，不會重復(fù)計算一個rdd。
val rdd1 = sc.textFile("hdfs://192.168.0.1:9000/hello.txt").cache()
rdd1.map(...)
rdd1.reduce(...)

// persist()方法表示：手動選擇持久化級別，并使用指定的方式進行持久化。
// 比如說，StorageLevel.MEMORY_AND_DISK_SER表示，內(nèi)存充足時優(yōu)先持久化到內(nèi)存中，內(nèi)存不充足時持久化到磁盤文件中。
// 而且其中的_SER后綴表示，使用序列化的方式來保存RDD數(shù)據(jù)，此時RDD中的每個partition都會序列化成一個大的字節(jié)數(shù)組，然后再持久化到內(nèi)存或磁盤中。
// 序列化的方式可以減少持久化的數(shù)據(jù)對內(nèi)存/磁盤的占用量，進而避免內(nèi)存被持久化數(shù)據(jù)占用過多，從而發(fā)生頻繁GC。
val rdd1 = sc.textFile("hdfs://192.168.0.1:9000/hello.txt").persist(StorageLevel.MEMORY_AND_DISK_SER)
rdd1.map(...)
rdd1.reduce(...)

對于persist()方法而言，我們可以根據(jù)不同的業(yè)務(wù)場景選擇不同的持久化級別。
##原則四：盡量避免使用shuffle類算子
如果有可能的話，要盡量避免使用shuffle類算子。因為Spark作業(yè)運行過程中，最消耗性能的地方就是shuffle過程。shuffle過程，簡單來說，就是將分布在集群中多個節(jié)點上的同一個key，拉取到同一個節(jié)點上，進行聚合或join等操作。比如reduceByKey、join等算子，都會觸發(fā)shuffle操作。

shuffle過程中，各個節(jié)點上的相同key都會先寫入本地磁盤文件中，然后其他節(jié)點需要通過網(wǎng)絡(luò)傳輸拉取各個節(jié)點上的磁盤文件中的相同key。而且相同key都拉取到同一個節(jié)點進行聚合操作時，還有可能會因為一個節(jié)點上處理的key過多，導致內(nèi)存不夠存放，進而溢寫到磁盤文件中。因此在shuffle過程中，可能會發(fā)生大量的磁盤文件讀寫的IO操作，以及數(shù)據(jù)的網(wǎng)絡(luò)傳輸操作。磁盤IO和網(wǎng)絡(luò)數(shù)據(jù)傳輸也是shuffle性能較差的主要原因。

因此在我們的開發(fā)過程中，能避免則盡可能避免使用reduceByKey、join、distinct、repartition等會進行shuffle的算子，盡量使用map類的非shuffle算子。這樣的話，沒有shuffle操作或者僅有較少shuffle操作的Spark作業(yè)，可以大大減少性能開銷。
Broadcast與map進行join代碼示例

// 傳統(tǒng)的join操作會導致shuffle操作。
// 因為兩個RDD中，相同的key都需要通過網(wǎng)絡(luò)拉取到一個節(jié)點上，由一個task進行join操作。
val rdd3 = rdd1.join(rdd2)

// Broadcast+map的join操作，不會導致shuffle操作。
// 使用Broadcast將一個數(shù)據(jù)量較小的RDD作為廣播變量。
val rdd2Data = rdd2.collect()
val rdd2DataBroadcast = sc.broadcast(rdd2Data)

// 在rdd1.map算子中，可以從rdd2DataBroadcast中，獲取rdd2的所有數(shù)據(jù)。
// 然后進行遍歷，如果發(fā)現(xiàn)rdd2中某條數(shù)據(jù)的key與rdd1的當前數(shù)據(jù)的key是相同的，那么就判定可以進行join。
// 此時就可以根據(jù)自己需要的方式，將rdd1當前數(shù)據(jù)與rdd2中可以連接的數(shù)據(jù)，拼接在一起（String或Tuple）。
val rdd3 = rdd1.map(rdd2DataBroadcast...)

// 注意，以上操作，建議僅僅在rdd2的數(shù)據(jù)量比較少（比如幾百M，或者一兩G）的情況下使用。
// 因為每個Executor的內(nèi)存中，都會駐留一份rdd2的全量數(shù)據(jù)。

##原則五：使用map-side預(yù)聚合的shuffle操作
  如果因為業(yè)務(wù)需要，一定要使用shuffle操作，無法用map類的算子來替代，那么盡量使用可以map-side預(yù)聚合的算子。

  所謂的map-side預(yù)聚合，說的是在每個節(jié)點本地對相同的key進行一次聚合操作，類似于MapReduce中的本地combiner。map-side預(yù)聚合之后，每個節(jié)點本地就只會有一條相同的key，因為多條相同的key都被聚合起來了。其他節(jié)點在拉取所有節(jié)點上的相同key時，就會大大減少需要拉取的數(shù)據(jù)數(shù)量，從而也就減少了磁盤IO以及網(wǎng)絡(luò)傳輸開銷。通常來說，在可能的情況下，建議使用reduceByKey或者  aggregateByKey算子來替代掉groupByKey算子。因為reduceByKey和aggregateByKey算子都會使用用戶自定義的函數(shù)對每個節(jié)點本地的相同key進行預(yù)聚合。而groupByKey算子是不會進行預(yù)聚合的，全量的數(shù)據(jù)會在集群的各個節(jié)點之間分發(fā)和傳輸，性能相對來說比較差。

  比如如下兩幅圖，就是典型的例子，分別基于reduceByKey和groupByKey進行單詞計數(shù)。其中第一張圖是groupByKey的原理圖，可以看到，沒有進行任何本地聚合時，所有數(shù)據(jù)都會在集群節(jié)點之間傳輸；第二張圖是reduceByKey的原理圖，可以看到，每個節(jié)點本地的相同key數(shù)據(jù)，都進行了預(yù)聚合，然后才傳輸?shù)狡渌?jié)點上進行全局聚合。


##原則六：使用高性能的算子
除了shuffle相關(guān)的算子有優(yōu)化原則之外，其他的算子也都有著相應(yīng)的優(yōu)化原則。
使用reduceByKey/aggregateByKey替代groupByKey
詳情見“原則五：使用map-side預(yù)聚合的shuffle操作”。 使用mapPartitions替代普通map
mapPartitions類的算子，一次函數(shù)調(diào)用會處理一個partition所有的數(shù)據(jù)，而不是一次函數(shù)調(diào)用處理一條，性能相對來說會高一些。但是有的時候，使用mapPartitions會出現(xiàn)OOM（內(nèi)存溢出）的問題。因為單次函數(shù)調(diào)用就要處理掉一個partition所有的數(shù)據(jù)，如果內(nèi)存不夠，垃圾回收時是無法回收掉太多對象的，很可能出現(xiàn)OOM異常。所以使用這類操作時要慎重！
使用foreachPartitions替代foreach
原理類似于“使用mapPartitions替代map”，也是一次函數(shù)調(diào)用處理一個partition的所有數(shù)據(jù)，而不是一次函數(shù)調(diào)用處理一條數(shù)據(jù)。在實踐中發(fā)現(xiàn)，foreachPartitions類的算子，對性能的提升還是很有幫助的。比如在foreach函數(shù)中，將RDD中所有數(shù)據(jù)寫MySQL，那么如果是普通的foreach算子，就會一條數(shù)據(jù)一條數(shù)據(jù)地寫，每次函數(shù)調(diào)用可能就會創(chuàng)建一個數(shù)據(jù)庫連接，此時就勢必會頻繁地創(chuàng)建和銷毀數(shù)據(jù)庫連接，性能是非常低下；但是如果用foreachPartitions算子一次性處理一個partition的數(shù)據(jù)，那么對于每個partition，只要創(chuàng)建一個數(shù)據(jù)庫連接即可，然后執(zhí)行批量插入操作，此時性能是比較高的。實踐中發(fā)現(xiàn)，對于1萬條左右的數(shù)據(jù)量寫MySQL，性能可以提升30%以上。
使用filter之后進行coalesce操作
通常對一個RDD執(zhí)行filter算子過濾掉RDD中較多數(shù)據(jù)后（比如30%以上的數(shù)據(jù)），建議使用coalesce算子，手動減少RDD的partition數(shù)量，將RDD中的數(shù)據(jù)壓縮到更少的partition中去。因為filter之后，RDD的每個partition中都會有很多數(shù)據(jù)被過濾掉，此時如果照常進行后續(xù)的計算，其實每個task處理的partition中的數(shù)據(jù)量并不是很多，有一點資源浪費，而且此時處理的task越多，可能速度反而越慢。因此用coalesce減少partition數(shù)量，將RDD中的數(shù)據(jù)壓縮到更少的partition之后，只要使用更少的task即可處理完所有的partition。在某些場景下，對于性能的提升會有一定的幫助。
使用repartitionAndSortWithinPartitions替代repartition與sort類操作 repartitionAndSortWithinPartitions是Spark官網(wǎng)推薦的一個算子，官方建議，如果需要在repartition重分區(qū)之后，還要進行排序，建議直接使用repartitionAndSortWithinPartitions算子。因為該算子可以一邊進行重分區(qū)的shuffle操作，一邊進行排序。shuffle與sort兩個操作同時進行，比先shuffle再sort來說，性能可能是要高的。
##原則七：廣播大變量   有時在開發(fā)過程中，會遇到需要在算子函數(shù)中使用外部變量的場景（尤其是大變量，比如100M以上的大集合），那么此時就應(yīng)該使用Spark的廣播（Broadcast）功能來提升性能。

  在算子函數(shù)中使用到外部變量時，默認情況下，Spark會將該變量復(fù)制多個副本，通過網(wǎng)絡(luò)傳輸?shù)絫ask中，此時每個task都有一個變量副本。如果變量本身比較大的話（比如100M，甚至1G），那么大量的變量副本在網(wǎng)絡(luò)中傳輸?shù)男阅荛_銷，以及在各個節(jié)點的Executor中占用過多內(nèi)存導致的頻繁GC，都會極大地影響性能。

  因此對于上述情況，如果使用的外部變量比較大，建議使用Spark的廣播功能，對該變量進行廣播。廣播后的變量，會保證每個Executor的內(nèi)存中，只駐留一份變量副本，而Executor中的task執(zhí)行時共享該Executor中的那份變量副本。這樣的話，可以大大減少變量副本的數(shù)量，從而減少網(wǎng)絡(luò)傳輸?shù)男阅荛_銷，并減少對Executor內(nèi)存的占用開銷，降低GC的頻率。

// 以下代碼在算子函數(shù)中，使用了外部的變量。
// 此時沒有做任何特殊操作，每個task都會有一份list1的副本。
val list1 = ...
rdd1.map(list1...)

// 以下代碼將list1封裝成了Broadcast類型的廣播變量。
// 在算子函數(shù)中，使用廣播變量時，首先會判斷當前task所在Executor內(nèi)存中，是否有變量副本。
// 如果有則直接使用；如果沒有則從Driver或者其他Executor節(jié)點上遠程拉取一份放到本地Executor內(nèi)存中。
// 每個Executor內(nèi)存中，就只會駐留一份廣播變量副本。
val list1 = ...
val list1Broadcast = sc.broadcast(list1)
rdd1.map(list1Broadcast...)

##原則八：使用Kryo優(yōu)化序列化性能
在Spark中，主要有三個地方涉及到了序列化：

1. 在算子函數(shù)中使用到外部變量時，該變量會被序列化后進行網(wǎng)絡(luò)傳輸（見“原則七：廣播大變量”中的講解）

2. 將自定義的類型作為RDD的泛型類型時（比如JavaRDD，Student是自定義類型），所有自定義類型對象，都會進行序列化。因此這種情況下，也要求自定義的類必須實現(xiàn)Serializable接口

3. 使用可序列化的持久化策略時（比如MEMORY_ONLY_SER），Spark會將RDD中的每個partition都序列化成一個大的字節(jié)數(shù)組。

  對于這三種出現(xiàn)序列化的地方，我們都可以通過使用Kryo序列化類庫，來優(yōu)化序列化和反序列化的性能。Spark默認使用的是Java的序列化機制，也就是ObjectOutputStream/ObjectInputStream API來進行序列化和反序列化。但是Spark同時支持使用Kryo序列化庫，Kryo序列化類庫的性能比Java序列化類庫的性能要高很多。官方介紹，Kryo序列化機制比Java序列化機制，性能高10倍左右。Spark之所以默認沒有使用Kryo作為序列化類庫，是因為Kryo要求最好要注冊所有需要進行序列化的自定義類型，因此對于開發(fā)者來說，這種方式比較麻煩.

  以下是使用Kryo的代碼示例，我們只要設(shè)置序列化類，再注冊要序列化的自定義類型即可（比如算子函數(shù)中使用到的外部變量類型、作為RDD泛型類型的自定義類型等）：

// 創(chuàng)建SparkConf對象。
val conf = new SparkConf().setMaster(...).setAppName(...)
// 設(shè)置序列化器為KryoSerializer。
conf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
// 注冊要序列化的自定義類型。
conf.registerKryoClasses(Array(classOf[MyClass1], classOf[MyClass2]))

##原則九：優(yōu)化數(shù)據(jù)結(jié)構(gòu)
Java中，有三種類型比較耗費內(nèi)存：

1. 對象，每個Java對象都有對象頭、引用等額外的信息，因此比較占用內(nèi)存空間

2. 字符串，每個字符串內(nèi)部都有一個字符數(shù)組以及長度等額外信息

3. 集合類型，比如HashMap、LinkedList等，因為集合類型內(nèi)部通常會使用一些內(nèi)部類來封裝集合元素，比如Map.Entry

  因此Spark官方建議，在Spark編碼實現(xiàn)中，特別是對于算子函數(shù)中的代碼，盡量不要使用上述三種數(shù)據(jù)結(jié)構(gòu)，盡量使用字符串替代對象，使用原始類型（比如Int、Long）替代字符串，使用數(shù)組替代集合類型，這樣盡可能地減少內(nèi)存占用，從而降低GC頻率，提升性能。

  但是在筆者的編碼實踐中發(fā)現(xiàn)，要做到該原則其實并不容易。因為我們同時要考慮到代碼的可維護性，如果一個代碼中，完全沒有任何對象抽象，全部是字符串拼接的方式，那么對于后續(xù)的代碼維護和修改，無疑是一場巨大的災(zāi)難。同理，如果所有操作都基于數(shù)組實現(xiàn)，而不使用HashMap、LinkedList等集合類型，那么對于我們的編碼難度以及代碼可維護性，也是一個極大的挑戰(zhàn)。因此筆者建議，在可能以及合適的情況下，使用占用內(nèi)存較少的數(shù)據(jù)結(jié)構(gòu)，但是前提是要保證代碼的可維護性。 ##資源調(diào)優(yōu)
在開發(fā)完Spark作業(yè)之后，就該為作業(yè)配置合適的資源了。Spark的資源參數(shù)，基本都可以在spark-submit命令中作為參數(shù)設(shè)置。很多Spark初學者，通常不知道該設(shè)置哪些必要的參數(shù)，以及如何設(shè)置這些參數(shù)，最后就只能胡亂設(shè)置，甚至壓根兒不設(shè)置。資源參數(shù)設(shè)置的不合理，可能會導致沒有充分利用集群資源，作業(yè)運行會極其緩慢；或者設(shè)置的資源過大，隊列沒有足夠的資源來提供，進而導致各種異常?？傊瑹o論是哪種情況，都會導致Spark作業(yè)的運行效率低下，甚至根本無法運行。因此我們必須對Spark作業(yè)的資源使用原理有一個清晰的認識，并知道在Spark作業(yè)運行過程中，有哪些資源參數(shù)是可以設(shè)置的，以及如何設(shè)置合適的參數(shù)值。
** Spark作業(yè)基本運行原理**

詳細原理見上圖。我們使用spark-submit提交一個Spark作業(yè)之后，這個作業(yè)就會啟動一個對應(yīng)的Driver進程。根據(jù)你使用的部署模式（deploy-mode）不同，Driver進程可能在本地啟動，也可能在集群中某個工作節(jié)點上啟動。Driver進程本身會根據(jù)我們設(shè)置的參數(shù)，占有一定數(shù)量的內(nèi)存和CPU core。而Driver進程要做的第一件事情，就是向集群管理器（可以是Spark Standalone集群，也可以是其他的資源管理集群，美團?大眾點評使用的是YARN作為資源管理集群）申請運行Spark作業(yè)需要使用的資源，這里的資源指的就是Executor進程。YARN集群管理器會根據(jù)我們?yōu)镾park作業(yè)設(shè)置的資源參數(shù)，在各個工作節(jié)點上，啟動一定數(shù)量的Executor進程，每個Executor進程都占有一定數(shù)量的內(nèi)存和CPU core。

在申請到了作業(yè)執(zhí)行所需的資源之后，Driver進程就會開始調(diào)度和執(zhí)行我們編寫的作業(yè)代碼了。Driver進程會將我們編寫的Spark作業(yè)代碼分拆為多個stage，每個stage執(zhí)行一部分代碼片段，并為每個stage創(chuàng)建一批task，然后將這些task分配到各個Executor進程中執(zhí)行。task是最小的計算單元，負責執(zhí)行一模一樣的計算邏輯（也就是我們自己編寫的某個代碼片段），只是每個task處理的數(shù)據(jù)不同而已。一個stage的所有task都執(zhí)行完畢之后，會在各個節(jié)點本地的磁盤文件中寫入計算中間結(jié)果，然后Driver就會調(diào)度運行下一個stage。下一個stage的task的輸入數(shù)據(jù)就是上一個stage輸出的中間結(jié)果。如此循環(huán)往復(fù)，直到將我們自己編寫的代碼邏輯全部執(zhí)行完，并且計算完所有的數(shù)據(jù)，得到我們想要的結(jié)果為止。

Spark是根據(jù)shuffle類算子來進行stage的劃分。如果我們的代碼中執(zhí)行了某個shuffle類算子（比如reduceByKey、join等），那么就會在該算子處，劃分出一個stage界限來。可以大致理解為，shuffle算子執(zhí)行之前的代碼會被劃分為一個stage，shuffle算子執(zhí)行以及之后的代碼會被劃分為下一個stage。因此一個stage剛開始執(zhí)行的時候，它的每個task可能都會從上一個stage的task所在的節(jié)點，去通過網(wǎng)絡(luò)傳輸拉取需要自己處理的所有key，然后對拉取到的所有相同的key使用我們自己編寫的算子函數(shù)執(zhí)行聚合操作（比如reduceByKey()算子接收的函數(shù)）。這個過程就是shuffle。

當我們在代碼中執(zhí)行了cache/persist等持久化操作時，根據(jù)我們選擇的持久化級別的不同，每個task計算出來的數(shù)據(jù)也會保存到Executor進程的內(nèi)存或者所在節(jié)點的磁盤文件中。

因此Executor的內(nèi)存主要分為三塊：第一塊是讓task執(zhí)行我們自己編寫的代碼時使用，默認是占Executor總內(nèi)存的20%；第二塊是讓task通過shuffle過程拉取了上一個stage的task的輸出后，進行聚合等操作時使用，默認也是占Executor總內(nèi)存的20%；第三塊是讓RDD持久化時使用，默認占Executor總內(nèi)存的60%。

task的執(zhí)行速度是跟每個Executor進程的CPU core數(shù)量有直接關(guān)系的。一個CPU core同一時間只能執(zhí)行一個線程。而每個Executor進程上分配到的多個task，都是以每個task一條線程的方式，多線程并發(fā)運行的。如果CPU core數(shù)量比較充足，而且分配到的task數(shù)量比較合理，那么通常來說，可以比較快速和高效地執(zhí)行完這些task線程。

以上就是Spark作業(yè)的基本運行原理的說明，大家可以結(jié)合上圖來理解。理解作業(yè)基本原理，是我們進行資源參數(shù)調(diào)優(yōu)的基本前提。
##原則：資源參數(shù)調(diào)優(yōu)
了解完了Spark作業(yè)運行的基本原理之后，對資源相關(guān)的參數(shù)就容易理解了。所謂的Spark資源參數(shù)調(diào)優(yōu)，其實主要就是對Spark運行過程中各個使用資源的地方，通過調(diào)節(jié)各種參數(shù)，來優(yōu)化資源使用的效率，從而提升Spark作業(yè)的執(zhí)行性能。以下參數(shù)就是Spark中主要的資源參數(shù)，每個參數(shù)都對應(yīng)著作業(yè)運行原理中的某個部分，我們同時也給出了一個調(diào)優(yōu)的參考值。

num-executors

• 參數(shù)說明：該參數(shù)用于設(shè)置Spark作業(yè)總共要用多少個Executor進程來執(zhí)行。Driver在向YARN集群管理器申請資源時，YARN集群管理器會盡可能按照你的設(shè)置來在集群的各個工作節(jié)點上，啟動相應(yīng)數(shù)量的Executor進程。這個參數(shù)非常之重要，如果不設(shè)置的話，默認只會給你啟動少量的Executor進程，此時你的Spark作業(yè)的運行速度是非常慢的。

• 參數(shù)調(diào)優(yōu)建議：每個Spark作業(yè)的運行一般設(shè)置50~100個左右的Executor進程比較合適，設(shè)置太少或太多的Executor進程都不好。設(shè)置的太少，無法充分利用集群資源；設(shè)置的太多的話，大部分隊列可能無法給予充分的資源。

executor-memory

• 參數(shù)說明：該參數(shù)用于設(shè)置每個Executor進程的內(nèi)存。Executor內(nèi)存的大小，很多時候直接決定了Spark作業(yè)的性能，而且跟常見的JVM OOM異常，也有直接的關(guān)聯(lián)。

• 參數(shù)調(diào)優(yōu)建議：每個Executor進程的內(nèi)存設(shè)置4G~8G較為合適。但是這只是一個參考值，具體的設(shè)置還是得根據(jù)不同部門的資源隊列來定。可以看看自己團隊的資源隊列的最大內(nèi)存限制是多少，num-executors乘以executor-memory，就代表了你的Spark作業(yè)申請到的總內(nèi)存量（也就是所有Executor進程的內(nèi)存總和），這個量是不能超過隊列的最大內(nèi)存量的。此外，如果你是跟團隊里其他人共享這個資源隊列，那么申請的總內(nèi)存量最好不要超過資源隊列最大總內(nèi)存的1/3~1/2，避免你自己的Spark作業(yè)占用了隊列所有的資源，導致別的同學的作業(yè)無法運行。

executor-cores

• 參數(shù)說明：該參數(shù)用于設(shè)置每個Executor進程的CPU core數(shù)量。這個參數(shù)決定了每個Executor進程并行執(zhí)行task線程的能力。因為每個CPU core同一時間只能執(zhí)行一個task線程，因此每個Executor進程的CPU core數(shù)量越多，越能夠快速地執(zhí)行完分配給自己的所有task線程。

• 參數(shù)調(diào)優(yōu)建議：Executor的CPU core數(shù)量設(shè)置為2~4個較為合適。同樣得根據(jù)不同部門的資源隊列來定，可以看看自己的資源隊列的最大CPU core限制是多少，再依據(jù)設(shè)置的Executor數(shù)量，來決定每個Executor進程可以分配到幾個CPU core。同樣建議，如果是跟他人共享這個隊列，那么num-executors * executor-cores不要超過隊列總CPU core的1/3~1/2左右比較合適，也是避免影響其他同學的作業(yè)運行。

driver-memory

• 參數(shù)說明：該參數(shù)用于設(shè)置Driver進程的內(nèi)存。

• 參數(shù)調(diào)優(yōu)建議：Driver的內(nèi)存通常來說不設(shè)置，或者設(shè)置1G左右應(yīng)該就夠了。唯一需要注意的一點是，如果需要使用collect算子將RDD的數(shù)據(jù)全部拉取到Driver上進行處理，那么必須確保Driver的內(nèi)存足夠大，否則會出現(xiàn)OOM內(nèi)存溢出的問題。

spark.default.parallelism

• 參數(shù)說明：該參數(shù)用于設(shè)置每個stage的默認task數(shù)量。這個參數(shù)極為重要，如果不設(shè)置可能會直接影響你的Spark作業(yè)性能。

• 參數(shù)調(diào)優(yōu)建議：Spark作業(yè)的默認task數(shù)量為500~1000個較為合適。很多同學常犯的一個錯誤就是不去設(shè)置這個參數(shù)，那么此時就會導致Spark自己根據(jù)底層HDFS的block數(shù)量來設(shè)置task的數(shù)量，默認是一個HDFS block對應(yīng)一個task。通常來說，Spark默認設(shè)置的數(shù)量是偏少的（比如就幾十個task），如果task數(shù)量偏少的話，就會導致你前面設(shè)置好的Executor的參數(shù)都前功盡棄。試想一下，無論你的Executor進程有多少個，內(nèi)存和CPU有多大，但是task只有1個或者10個，那么90%的Executor進程可能根本就沒有task執(zhí)行，也就是白白浪費了資源！因此Spark官網(wǎng)建議的設(shè)置原則是，設(shè)置該參數(shù)為num-executors * executor-cores的2~3倍較為合適，比如Executor的總CPU core數(shù)量為300個，那么設(shè)置1000個task是可以的，此時可以充分地利用Spark集群的資源。

** spark.storage.memoryFraction**

• 參數(shù)說明：該參數(shù)用于設(shè)置RDD持久化數(shù)據(jù)在Executor內(nèi)存中能占的比例，默認是0.6。也就是說，默認Executor 60%的內(nèi)存，可以用來保存持久化的RDD數(shù)據(jù)。根據(jù)你選擇的不同的持久化策略，如果內(nèi)存不夠時，可能數(shù)據(jù)就不會持久化，或者數(shù)據(jù)會寫入磁盤。

• 參數(shù)調(diào)優(yōu)建議：如果Spark作業(yè)中，有較多的RDD持久化操作，該參數(shù)的值可以適當提高一些，保證持久化的數(shù)據(jù)能夠容納在內(nèi)存中。避免內(nèi)存不夠緩存所有的數(shù)據(jù)，導致數(shù)據(jù)只能寫入磁盤中，降低了性能。但是如果Spark作業(yè)中的shuffle類操作比較多，而持久化操作比較少，那么這個參數(shù)的值適當降低一些比較合適。此外，如果發(fā)現(xiàn)作業(yè)由于頻繁的gc導致運行緩慢（通過spark web ui可以觀察到作業(yè)的gc耗時），意味著task執(zhí)行用戶代碼的內(nèi)存不夠用，那么同樣建議調(diào)低這個參數(shù)的值。

spark.shuffle.memoryFraction

• 參數(shù)說明：該參數(shù)用于設(shè)置shuffle過程中一個task拉取到上個stage的task的輸出后，進行聚合操作時能夠使用的Executor內(nèi)存的比例，默認是0.2。也就是說，Executor默認只有20%的內(nèi)存用來進行該操作。shuffle操作在進行聚合時，如果發(fā)現(xiàn)使用的內(nèi)存超出了這個20%的限制，那么多余的數(shù)據(jù)就會溢寫到磁盤文件中去，此時就會極大地降低性能。

• 參數(shù)調(diào)優(yōu)建議：如果Spark作業(yè)中的RDD持久化操作較少，shuffle操作較多時，建議降低持久化操作的內(nèi)存占比，提高shuffle操作的內(nèi)存占比比例，避免shuffle過程中數(shù)據(jù)過多時內(nèi)存不夠用，必須溢寫到磁盤上，降低了性能。此外，如果發(fā)現(xiàn)作業(yè)由于頻繁的gc導致運行緩慢，意味著task執(zhí)行用戶代碼的內(nèi)存不夠用，那么同樣建議調(diào)低這個參數(shù)的值。

資源參數(shù)的調(diào)優(yōu)，沒有一個固定的值，需要同學們根據(jù)自己的實際情況（包括Spark作業(yè)中的shuffle操作數(shù)量、RDD持久化操作數(shù)量以及spark web ui中顯示的作業(yè)gc情況），同時參考本篇文章中給出的原理以及調(diào)優(yōu)建議，合理地設(shè)置上述參數(shù)。

./bin/spark-submit \
  --master yarn-cluster \
  --num-executors 100 \
  --executor-memory 6G \
  --executor-cores 4 \
  --driver-memory 1G \
  --conf spark.default.parallelism=1000 \
  --conf spark.storage.memoryFraction=0.5 \
  --conf spark.shuffle.memoryFraction=0.3 \

到此，相信大家對“Spark性能優(yōu)化基礎(chǔ)知識有哪些”有了更深的了解，不妨來實際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進入相關(guān)頻道進行查詢，關(guān)注我們，繼續(xù)學習！