運維進行時-數(shù)據(jù)分析

       一直做的數(shù)據(jù)分析均是基于數(shù)據(jù)庫數(shù)據(jù)、日志進行分析，開發(fā)業(yè)務模型，日志深度監(jiān)控系統(tǒng)。也一直想抓取到用戶的感知，幸好找大數(shù)據(jù)平臺的人要到了我們網站嵌碼采集的相關數(shù)據(jù)，準備對用戶行為從早期的access日志外，另一層面做下分析。

        用到時間函數(shù)時存在很大于oracle不同，用from_unixtime(unix_timestamp(),'HH:mm')搞定時間，網上查詢頁面：http://blog.csdn.net/ningyuanhuo/article/details/21481307，后期在遇到在來細查時間函數(shù)。

        其他函數(shù)想了下應該和sql類似，也查了下文檔，hive常用函數(shù)http://blackproof.iteye.com/blog/2108353，主要用到substr，length。

        Hive的工作模式是提交一個任務，等到任務結束時被通知，而不是實時查詢。即使查了個很小的數(shù)也需要很久，用慣了數(shù)據(jù)庫，查這個多少有些不適應。不過和sql語法基本類似，學習成本較低。細節(jié)還是見文檔hive深入淺出http://blog.csdn.net/hguisu/article/details/18986759。

         利用sqoop將hive/hdfs數(shù)據(jù)導入到oracle中

         使用的是sqoop1，其次我們需要ojdbc6.jar 這個jar 包下載地址如下：

         http://www.oracle.com/technetwork/database/enterprise-edition/jdbc-112010-090769.html

         將解壓的包 復制到sqoop安裝目錄下的lib 目錄中

執(zhí)行我們的導入命令即可

1. sqoop  export --table FDC_JPLP   --connect jdbc:oracle:thin:@localhost:port:test1   --username test --password test     --export-dir /user/hive/warehouse/data_w.db/seq_fdc_jplp     --columns  goal_ocityid,goal_issueid,compete_issueid,ncompete_rank  --input-fields-terminated-by '\001'     --input-lines-terminated-by '\n'   

注意要指定 --columns 參數(shù) 否則會報錯 找不到 columns

用法： --columns

查詢數(shù)據(jù)是否導入成功

1. sqoop  eval   --connect jdbc:oracle:thin:@localhost:port:test1 --query "select * from FDC_JPLP"  --username fccsreport --password fccsoracle10g_report