Spark stdout日志亂碼

  采用Apache版本spark1.2.1時(shí)沒(méi)有出現(xiàn)亂碼，但spark-1.1.0-cdh6.2.1版本中，在分布處理的map函數(shù)里對(duì)數(shù)據(jù)進(jìn)行打印輸出進(jìn)行debug時(shí)

val rs = rdd.filter(e => {val (lable,text) = (e._2(2), e._2(3));  m.filterItem(lable, text) })
           .reduceByKey((x,y) => m.merge(x, y))
           .map{case (x,y) => {println(x + "\t" + y);  (x._1.toLong, x._2, y(1), y(3) )}}

發(fā)現(xiàn)stdout文件里面中文內(nèi)容亂碼

(5,?????????????)       List(????????????? ? ??, http://xinligs.cn.china.cn/, A0, ,???:???,,??:?????????????138?,??:7975209__??:15028078833__??:15176090928,,,,,,,,????:???????????????????????(11)???,,,,, false, 4, 7)
?????????????   17      ,???:???,,??:?????????????138?,??:7975209__??:15028078833__??:15176090928,,,,,,,,????:???????????????????????(11)???,,,,

在/var/run/spark/work/目錄中查看對(duì)應(yīng)app-20150605171809-0003中的stdout文件

stderr:                           ASCII C++ program text
stdout:                           UTF-8 Unicode text, with very long lines

stdout是ASCII編碼的，對(duì)中文肯定顯示不了

在使用service啟動(dòng)Java程序時(shí)，機(jī)器上hadoop中stdout輸出的日志也是是中文亂碼

修改 /sbin/service  ，在env -i 后面加上 LANG="$LANG"

重啟spark的各節(jié)點(diǎn)

service spark-master restart
service spark-worker restart

最后日志中文顯示正常