實(shí)現(xiàn)WordCount的方法有哪些

這篇文章將為大家詳細(xì)講解有關(guān)實(shí)現(xiàn)WordCount的方法有哪些，文章內(nèi)容質(zhì)量較高，因此小編分享給大家做個(gè)參考，希望大家閱讀完這篇文章后對(duì)相關(guān)知識(shí)有一定的了解。

1、精簡(jiǎn)的Shell

cat  /home/sev7e0/access.log | tr -s ' ' '\n' | sort | uniq -c | sort -r | awk '{print $2, $1}'
#cat  命令一次性展示出文本內(nèi)容
#tr -s ' ' '\n'  將文本中空格使用回車鍵替換
#sort   串聯(lián)排序所有指定文件并將結(jié)果寫到標(biāo)準(zhǔn)輸出。
#uniq -c    從輸入文件或者標(biāo)準(zhǔn)輸入中篩選相鄰的匹配行并寫入到輸出文件或標(biāo)準(zhǔn)輸出,-c 在每行前加上表示相應(yīng)行目出現(xiàn)次數(shù)的前綴編號(hào)
#sort | uniq -c     同時(shí)使用用來(lái)統(tǒng)計(jì)出現(xiàn)的次數(shù)
#sort -r    把結(jié)果逆序排列
#awk '{print $2,$1}'    將結(jié)果輸出,文本在前,計(jì)數(shù)在后

2、反人類的MapReduce

//mapreduce方式
public static void main(String[] args) throws Exception {

    Configuration conf = new Configuration();
//        conf.set("fs.defaultFS", "hdfs://spark01:9000");
//        conf.set("yarn.resourcemanager.hostname", "spark01");

    Path out = new Path(args[1]);
    FileSystem fs = FileSystem.get(conf);

    //判斷輸出路徑是否存在，當(dāng)路徑存在時(shí)mapreduce會(huì)報(bào)錯(cuò)
    if (fs.exists(out)) {
        fs.delete(out, true);
        System.out.println("ouput is exit  will delete");
    }
    
    // 創(chuàng)建任務(wù)
    Job job = Job.getInstance(conf, "wordcountDemo");
    // 設(shè)置job的主類
    job.setJarByClass(WordCount.class); // 主類

    // 設(shè)置作業(yè)的輸入路徑
    FileInputFormat.setInputPaths(job, new Path(args[0]));

    //設(shè)置map的相關(guān)參數(shù)
    job.setMapperClass(WordCountMapper.class);
    job.setMapOutputKeyClass(Text.class);
    job.setMapOutputValueClass(LongWritable.class);
    
    //設(shè)置reduce相關(guān)參數(shù)
    job.setReducerClass(WordCountReduce.class);
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(LongWritable.class);

    //設(shè)置作業(yè)的輸出路徑
    FileOutputFormat.setOutputPath(job, out);
    job.setNumReduceTasks(2);
    System.exit(job.waitForCompletion(true) ? 0 : 1);
}

3、好用的spark

//spark版wordcount
sc.textFile("/home/sev7e0/access.log").flatMap(_.split(" ")).map((_, 1)).reduceByKey(_+_).foreach(println(_))

關(guān)于實(shí)現(xiàn)WordCount的方法有哪些就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到。