如何使用AWK規(guī)整KyLin日志改進

本篇文章為大家展示了如何使用AWK規(guī)整KyLin日志改進，內(nèi)容簡明扼要并且容易理解，絕對能使你眼前一亮，通過這篇文章的詳細介紹希望你能有所收獲。

在前文的基礎上，增加了改進。
主要是細節(jié)格式的調(diào)整.
處理100M數(shù)據(jù)用時7s

http://blog.itpub.net/29254281/viewspace-2156713/

 time awk '
    function ltrim(s) { sub(/^[ \t\r\n]+/, "", s); return s }
    function rtrim(s) { sub(/[ \t\r\n]+$/, "", s); return s }
    function trim(s) { return rtrim(ltrim(s)); }
    /^Query Id:/{split($0,rowdata,":");} 
    /^SQL:/{s=trim($0);next;}   
    /^User:/{print "19700101 000000000 INFO  [Query "trim(rowdata[2])" "s;s="";print $0;}
    /^==========================/{delete rowdata;} 
    {
        if(rowdata[2]!="") 
            if(s!="") s=(s" "trim($0))
            else
                print "19700101 000000000 INFO  [Query "trim(rowdata[2])" "$0;
        else gsub("[,:-]","",$1);gsub("[,:-]","",$2);$5=substr($5,0,36);print ($0);
    }
    
'  kylinbig.log | grep "\\[Query" | nl -n ln | tr "\t" " " | tr -s '  ' ' '  |  sort   -k6,6 -k1n,1   | cut -d ' ' -f 2,3,4,6-  | sed '/Using project:/{x;p;x;}'  > t1.txt

以上就是使用AWK規(guī)整KyLin日志改進，小編相信有部分知識點可能是我們?nèi)粘９ぷ鲿姷交蛴玫降摹ＯＭ隳芡ㄟ^這篇文章學到更多知識。更多詳情敬請關(guān)注億速云行業(yè)資訊頻道。

上述內(nèi)容就是如何使用AWK規(guī)整KyLin日志改進，你們學到知識或技能了嗎？如果還想學到更多技能或者豐富自己的知識儲備，歡迎關(guān)注億速云行業(yè)資訊頻道。