spark初探踩坑集錦

1、當(dāng)我做transfomer的時(shí)候沒(méi)有問(wèn)題，可是一做到action操作就會(huì)報(bào)錯(cuò)。
以下是幾個(gè)小問(wèn)題：
distFile = sc.textFile(" hdfs://user/spark/test/201201.csv")
distFile.map(lambda s: len(s)).reduce(lambda a, b: a + b)
執(zhí)行第一條沒(méi)問(wèn)題，執(zhí)行第二條的時(shí)候就會(huì)報(bào)錯(cuò)：
Illegal character in scheme name at index 0: hdfs://user/spark/test/201201.csv
之后找了半天，發(fā)現(xiàn)寫(xiě)地址的時(shí)候沒(méi)小心復(fù)制多了個(gè)空格，導(dǎo)致這個(gè)問(wèn)題。
修改掉之后再一運(yùn)行，又換了個(gè)錯(cuò)誤：
大概是包括net什么的，具體沒(méi)保留，查了一下，修改地址：
distFile = sc.textFile("hdfs://master:8020/user/spark/test/201201.csv")
之后又報(bào)了個(gè)錯(cuò)誤，pyspark.sql.utils.IllegalArgumentException: 'java.net.UnknownHostException: user'
這之后查了一些資料也沒(méi)有太有用的，突然我想為什么一定用絕對(duì)路徑，相對(duì)路徑試試。于是之后：
distFile = sc.textFile("hdfs://user/spark/test/201201.csv")
這次沒(méi)有問(wèn)題了，正常執(zhí)行，之前的問(wèn)題應(yīng)該是master:8020這部分，這個(gè)可以修改一些不同的設(shè)置試試，應(yīng)該也可以解決，另外編程過(guò)程中盡量不要用絕對(duì)路徑，多用相對(duì)路徑。