reduce輸出結果到sqlserver數(shù)據(jù)庫異常怎么辦

本篇文章為大家展示了reduce輸出結果到sqlserver數(shù)據(jù)庫異常，內容簡明扼要并且容易理解，絕對能使你眼前一亮，通過這篇文章的詳細介紹希望你能有所收獲。

最近在做個hadoop統(tǒng)計的小項目，結果需要輸出到sqlserver數(shù)據(jù)，其中遇到一些小問題

在map、reduce進行的比較順利，因為數(shù)據(jù)比較規(guī)范，很快都搞定了

在運行時出現(xiàn)以下情況

遇到這種情況，第一時間想到是因為結點上驅動包的問題

對于缺少驅動的問題，有兩種方案

1、在集群的每個結點${HADOOP_HOME}/lib下添加驅動包，并重啟集群。這是最原始的方法，因為需要重啟集群，不建議使用

2、先把驅動包上傳到集群中

hadoop fs -put /lib/sqljdbc.jar

然后在新建Job之前添加到classpath環(huán)境中

Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(conf);
//添加到classpath
DistributedCache.addFileToClassPath(new Path("/lib/sqljdbc.jar"), conf, fs);

//必須在新建JOB之前執(zhí)行，這樣才能在初始化 加載數(shù)據(jù)庫驅動、以及連接數(shù)據(jù)庫 傳入到conf中供JOB使用
DBConfiguration.configureDB(conf, "com.microsoft.sqlserver.jdbc.SQLServerDriver", 
    "jdbc:sqlserver://192.168.240.1:1433;DatabaseName=dbname", "sa", "123456");
Job job = new Job(conf, "statistic");

job.setJarByClass(DbnameDownedStatistic.class);
job.setMapperClass(StatisticMap.class);
job.setReducerClass(StatisticReducer.class);

job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(IntWritable.class);

job.setOutputKeyClass(StatisticDBWritable.class);
job.setOutputValueClass(Text.class);
job.setNumReduceTasks(4);

job.setInputFormatClass(TextInputFormat.class);
job.setOutputFormatClass(DBOutputFormat.class);

FileInputFormat.addInputPath(job, new Path("hdfs://node1:9000/user/hadoop/statictic/"));
String[] fileds = new String[] { "name","down", "count" };
DBOutputFormat.setOutput(job, "statistic", fileds);

System.exit(job.waitForCompletion(true) ? 0 : 1);

這里需要注意的是

DBConfiguration.configureDB();

這個方法必須在new Job()之前執(zhí)行，這樣conf才能加載到驅動包，才能保證其他結點也能加載到驅動包。

上述內容就是reduce輸出結果到sqlserver數(shù)據(jù)庫異常，你們學到知識或技能了嗎？如果還想學到更多技能或者豐富自己的知識儲備，歡迎關注億速云行業(yè)資訊頻道。