溫馨提示×

溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

Spark-Error-Common

發(fā)布時間：2020-07-15 13:38:47 來源：網(wǎng)絡(luò) 閱讀：463 作者：wangyuqwerty 欄目：大數(shù)據(jù)

                    IDEA 開發(fā) WordCount（Spark）報錯


WordCount {

}

WordCount{
  (args: Array[]) {
    hadoopAddr = conf = SparkConf().setAppName()
    sc = SparkContext(conf)
    mapRdd = sc.textFile(hadoopAddr)
    result = mapRdd.flatMap(_.split()).map((_)).reduceByKey(_ + _).collect()
  }
}


Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties

15/12/08 22:07:16 INFO SparkContext: Running Spark version 1.4.0

15/12/08 22:07:17 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

15/12/08 22:07:18 ERROR Shell: Failed to locate the winutils binary in the hadoop binary path

java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

at org.apache.hadoop.util.Shell.getQualifiedBinPath(Shell.java:355)

at org.apache.hadoop.util.Shell.getWinUtilsPath(Shell.java:370)

at org.apache.hadoop.util.Shell.<clinit>(Shell.java:363)

at org.apache.hadoop.util.StringUtils.<clinit>(StringUtils.java:79)

at org.apache.hadoop.security.Groups.parseStaticMapping(Groups.java:104)

at org.apache.hadoop.security.Groups.<init>(Groups.java:86)

at org.apache.hadoop.security.Groups.<init>(Groups.java:66)

at org.apache.hadoop.security.Groups.getUserToGroupsMappingService(Groups.java:280)


向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進(jìn)行舉報，并提供相關(guān)證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手