使用 Scala 寫(xiě)WordContext程序

package mydemo

import org.apache.spark.{SparkConf, SparkContext}

object MyWordContextDemo {
  def main(args: Array[String]): Unit = {
    // 創(chuàng)建一個(gè) Config
    val conf = new SparkConf().setAppName("MyWordContext")

    // 創(chuàng)建 SparkContext 對(duì)象
    val sc = new SparkContext(conf)

    // 使用sc 對(duì)象執(zhí)行相應(yīng)的算子
    sc.textFile(args(0))                    // 從第一個(gè)參數(shù)獲取文件路徑并打開(kāi)
      .flatMap(_.split(" "))              // 先 map 再壓平
      .map((_, 1))                        // 將單詞和 1 構(gòu)成元組
      .reduceByKey(_ + _)                 // 根據(jù)Key 進(jìn)行 Reduce，并將 value 累加
      .saveAsTextFile(args(1))            // 將結(jié)果輸出到文件

    // 停止 SparkContext 對(duì)象
    sc.stop()

  }

}

==> 運(yùn)行程序：

    ---> 首先將程序打包成 jar 包

    ---> 執(zhí)行以下命令

spark-submit --master spark://bigdata0:7077 --class mydemo.MyWordContextDemo scalawordcontext.jar hdfs://192.168.10.210:9000:/output/scala/wordcontext.txt

    ---> 命令解釋?zhuān)?/strong>

        ---- spark-submit                                    spark 命令

        ---- --master spark://bigdata0:7077

        ---- --class         指定類(lèi)名

        ---- scalawordcontext.jar    將自己與的程序打成的jar 包

        ---- hdfs://192.168.10.210:9000/out/scala/wordcontext.txt        指定處理好的數(shù)據(jù)輸出的文件