Hive外部分區(qū)表加載flume打到hdfs上文件讀不到.tmp文件怎么辦

這篇文章主要介紹Hive外部分區(qū)表加載flume打到hdfs上文件讀不到.tmp文件怎么辦，文中介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們一定要看完！

    flume打到hdfs上時(shí)，按照文件大小生成文件，在達(dá)到指定大小之前數(shù)據(jù)都是以.tmp文件形式保存在hdfs上，hive外部表也會(huì)加載這些文件，但是當(dāng)文件完成后.tmp會(huì)消失，這時(shí)候hive會(huì)報(bào)找不到文件的錯(cuò)誤。解決方法是自己寫(xiě)hive的pathfilter類，hive加載數(shù)據(jù)的時(shí)候把tmp文件過(guò)濾掉不加載即可。

 錯(cuò)誤信息如下：

自定義PathFilter類如下：

/**
 * 
   * @Title: FileFilterExcludeTmpFiles.java 
   * @Description: hive加載分區(qū)表時(shí)會(huì)加載.tmp的文件，該類型文件在flume滾動(dòng)數(shù)據(jù)之后就會(huì)消失，此時(shí)hive找不到該文件就會(huì)報(bào)錯(cuò)
   * 			         該類會(huì)將.tmp的文件過(guò)濾掉，不加載進(jìn)hive的分區(qū)表中 
   * @version V0.1.0
   * @see
 */
public class FileFilterExcludeTmpFiles implements PathFilter{
	private static final Logger logger = LoggerFactory.getLogger(FileFilterExcludeTmpFiles.class);
	public boolean accept(Path path) {
		// TODO Auto-generated method stub
		return !name.startsWith("_") && !name.startsWith(".") && !name.endsWith(".tmp");
	}

}

編寫(xiě)完后，打成jar包上傳服務(wù)器，再修改hive-site.xml文件，修改如下：

<property>

    <name>hive.aux.jars.path</name><value>file:///usr/lib/mylib/FilterTmpPath.jar</value>

    <description>The location of the plugin jars that contain implementations of user defined functions and serdes.</description>

  </property>

  <property>

    <name>mapred.input.pathFilter.class</name>

    <value>cn.utils.hive.FileFilterExcludeTmpFiles</value>

  </property>

以上是“Hive外部分區(qū)表加載flume打到hdfs上文件讀不到.tmp文件怎么辦”這篇文章的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對(duì)大家有幫助，更多相關(guān)知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道！