怎么進(jìn)行Spark example的運(yùn)行過程分析

這篇文章將為大家詳細(xì)講解有關(guān)怎么進(jìn)行Spark example的運(yùn)行過程分析，文章內(nèi)容質(zhì)量較高，因此小編分享給大家做個(gè)參考，希望大家閱讀完這篇文章后對相關(guān)知識有一定的了解。

pom.xml

1. <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
   

2.     xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
   

3.     <modelVersion>4.0.0</modelVersion>
   

4.     <groupId>active </groupId>
   

5.     <artifactId>spark-test</artifactId>
   

6.     <version>0.0.1-SNAPSHOT</version>
   

7. 
   

8.     <dependencies>
   

9.         <dependency>
   

10.             <groupId>org.apache.spark</groupId>
    

11.             <artifactId>spark-core_2.10</artifactId>
    

12.             <version>2.1.0</version>
    

13.         </dependency>
    

14.     </dependencies>
    

15. </project>

SparkTest.java

1. import java.util.Arrays;
   

2. 
   

3. import org.apache.spark.SparkConf;
   

4. import org.apache.spark.api.java.JavaPairRDD;
   

5. import org.apache.spark.api.java.JavaRDD;
   

6. import org.apache.spark.api.java.JavaSparkContext;
   

7. 
   

8. import scala.Tuple2;
   

9. 
   

10. public class SparkTest {
    

11. 
    

12.     public static void main(String[] args) {
    

13.         SparkConf conf = new SparkConf().setAppName("Test").setMaster("local");
    

14.         JavaSparkContext sc = new JavaSparkContext(conf);
    

15.         JavaRDD<String> file = sc.parallelize(Arrays.asList("Hello test", "Hello test2", "dds"));
    

16.         JavaRDD<String> words = file.flatMap(s -> Arrays.asList(s.split(" |\t|\n|\r")).iterator());
    

17.         JavaPairRDD<String, Integer> counts = words.mapToPair(s -> new Tuple2<String, Integer>(s, 1));        
    

18.         counts = counts.reduceByKey((x, y) -> x + y);
    

19.         
    

20.         System.out.println(counts.collect());
    

21.         sc.close();
    

22.     }
    

23. 
    

24. }

可以單獨(dú)運(yùn)行，也可以提交到spark集群： spark-submit.cmd --class SparkTest D:\workspace\spark-test\target\spark-test-0.0.1-SNAPSHOT.jar

關(guān)于怎么進(jìn)行Spark example的運(yùn)行過程分析就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學(xué)到更多知識。如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到。