windows下spark如何搭建

這篇文章主要為大家展示了“windows下spark如何搭建”，內(nèi)容簡(jiǎn)而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“windows下spark如何搭建”這篇文章吧。

系統(tǒng)：windows x64

內(nèi)存：4G

spark版本：spark-1.6.0-bin-hadoop2.6

JDK版本：jdk1.7.0_031

spark安裝步驟：

          1.spark安裝包，下載地址 https://spark.apache.org/downloads.html

          2.解壓下載好的安裝包，似乎路徑最好不要含空格（沒有試過含空格會(huì)怎么樣）

          3.環(huán)境變量中配置SPARK_HOME，path中指定到SPARK_HOME下的bin目錄。

          4.現(xiàn)在運(yùn)行的是本地模式，可以不用安裝hadoop，但是windows下需要配置HADOOP_HOME，并在HADOOP_HOME/bin下放一個(gè)winutils.exe的文件，具體見https://github.com/spring-projects/spring-hadoop/wiki/Using-a-Windows-client-together-with-a-Linux-cluster

           5.打開CMD，試試spark-shell命令能否運(yùn)行成功。

           可能遇到問題1：關(guān)于xerces.jar包的問題，可能是jar包沖突導(dǎo)致，最直接解決辦法：重新下載一個(gè)jdk

           可能遇到問題2：spark-shell throws java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable.這個(gè)錯(cuò)誤，似乎是hive的一個(gè)BUG，具體可以見https://issues.apache.org/jira/browse/SPARK-10528

配置Eclipse的java開發(fā)環(huán)境：

            java開發(fā)spark程序是依賴一個(gè)jar，位于SPARK_HOME/lib/spark-assembly-1.6.0-hadoop2.6.0.jar,直接導(dǎo)入eclipse即可，spark運(yùn)行只支持1.6以上java環(huán)

最后附上一個(gè)WordCount程序，是通過hdfs讀取和輸出的文件

SparkConf conf = new SparkConf().setAppName("WordCount").setMaster("local");

JavaSparkContext context = new JavaSparkContext(conf);

JavaRDD<String> textFile = context.textFile("hdfs://192.168.1.201:8020/data/test/sequence/sequence_in/file1.txt");
JavaRDD<String> words = textFile.flatMap(new FlatMapFunction<String, String>() {
    public Iterable<String> call(String s) {return Arrays.asList(s.split(" "));}
});
JavaPairRDD<String, Integer> pairs = words.mapToPair(new PairFunction<String, String, Integer>() {
    public Tuple2<String, Integer> call(String s) { return new Tuple2<String, Integer>(s, 1); }
});
JavaPairRDD<String, Integer> counts = pairs.reduceByKey(new Function2<Integer, Integer, Integer>() {
    public Integer call(Integer a, Integer b) { return a + b; }
});
counts.saveAsTextFile("hdfs://192.168.1.201:8020/data/test/sequence/sequence_out/");

以上是“windows下spark如何搭建”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道！