溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

shell實(shí)現(xiàn)hive自動(dòng)化測(cè)試

發(fā)布時(shí)間:2020-07-25 08:50:04 來源:網(wǎng)絡(luò) 閱讀:893 作者:cvv54 欄目:大數(shù)據(jù)

        本程序主要實(shí)現(xiàn)hive權(quán)限測(cè)試。系統(tǒng)中有管理員用戶single和測(cè)試用戶test。在路徑/home/test/下,將用例的預(yù)置條件寫在input文件夾內(nèi),每個(gè)用例對(duì)應(yīng)一個(gè)input文件,命名為x-y~z.q(其中xyz都是數(shù)字);將用例需要執(zhí)行的語句放在case文件夾內(nèi),命名為case_x.q;將預(yù)期結(jié)果寫入expect文件夾,命名為expect_x;執(zhí)行結(jié)果輸出到output文件夾中,命名為x-y~z.q

        執(zhí)行過程:kinit single用戶,beeline -u -f登錄并執(zhí)行input文件中對(duì)test用戶對(duì)應(yīng)角色回收和賦予權(quán)限的語句;kinit test用戶,beeline -u -f去執(zhí)行case文件夾中的測(cè)試語句并保存執(zhí)行結(jié)果到output文件夾中;根據(jù)expect中是否有文件及該測(cè)試為正向或逆向測(cè)試,和output內(nèi)容作比較,得出該測(cè)試pass還是fail的結(jié)果,統(tǒng)計(jì)測(cè)試結(jié)果。

        該程序能夠?qū)崿F(xiàn)hive的權(quán)限自動(dòng)化測(cè)試,但每個(gè)用例對(duì)應(yīng)一個(gè)input文件、一個(gè)case文件、一個(gè)expect文件、一個(gè)output文件,太過繁雜,不好用。下一篇出python優(yōu)化版本。


#!/bin/bash
#by cvv54
    
    #rename existed log.txt
#    if [ -f "/home/test/log/log.txt" ] ;then 
#        mv /home/test/log/log.txt /home/test/log/`date "+%Y-%m-%d~%H-%M-%S"`
#    fi

    #To create log file
    date>>/home/test/log/`date "+%Y-%m-%d~%H-%M-%S"`
    log=`ls /home/test/log/ -rt |tail -1`
    
    pass=0;
    fail=0;
    block=0;

    #To traversal files in input folder
for i in /home/test/input/*.q 
do
    #To login system with user single to grant proper privileges to user test
    #$i here is name of input file,it looks like this: /path/to/file/x-y~z.q
    #(x:case number;y:item number;z:can be 1 or 2,means Positive testing or Negative Testing;end with .q:sql file)
    kdestroy 
    kinit -kt /etc/security/keytabs/single.keytab single
    beeline -u "jdbc:hive2://gateway.xxx.xxx:10000/;principal=single" -f $i &>>/home/test/log/$log

#${var%%-*}
#該命令的作用是去掉變量var從右邊算起的最后一個(gè)'-'字符及其右邊的內(nèi)容,返回從右邊算起的最后一個(gè)'/'(不含該字符)的左邊的內(nèi)容。
#${var##*/}
#該命令的作用是去掉變量var從左邊算起的最后一個(gè)'/'字符及其左邊的內(nèi)容,返回從左邊算起的最后一個(gè)'/'(不含該字符)的右邊的內(nèi)容。

    #To drop path,only filename left
    j=${i##*/}
    #only for debug
    echo "j=$j"
    
    #To get last number in filename to distinguish  Positive testing from Negative Testing
    k=${i##*~}
    #only for debug
    echo "k=$k"

    #get case number
    m=${j%%-*}
    #only for debug
    echo "m=$m"
    
    #To login system with user test to execute query statement
    #filename in folder case looks like this: case_x.q(x is varable)
    #filename in folder output will be named like output_x-y~z.q(it is not a sql file...)
    kdestroy
    kinit -kt /etc/security/keytabs/test.keytab test
    beeline -u "jdbc:hive2://gateway.xxx.xxx:10000/;principal=single" -f /home/test/case/case_$m.q  &>>/home/test/output/output_$j 
    
    #To check results
    #filename in folder expect looks like this: expect_x(x is varable)
    if [ $k = "1.q" ];then
        if [ -f "/home/test/expect/expect_$m" ];then
            eval $(/bin/grep ok /home/test/expect/expect_$m)
            eval $(/bin/grep nok /home/test/expect/expect_$m)
            if [ -n "`grep -w $ok /home/test/output/output_$j`"];then
                echo "$i pass">>/home/test/log/result.txt
                ((pass++))
            elif [ -n "`grep -w $nok /home/test/output/output_$j`"];then
                echo "$i failed">>/home/test/log/result.txt
                ((fail++))
            else 
                echo "$i block">>/home/test/log/result.txt
                ((block++))
            fi
        elif [ -n "`grep -w "seconds" /home/test/output/output_$j`" ];then
            echo "$i pass">>/home/test/log/result.txt
            ((pass++))
        elif [ -n "`grep -w "FAILED: SemanticException No valid privileges" /home/test/output/output_$j`" ];then
            echo "$i failed">>/home/test/log/result.txt
            ((fail++))
        else
            echo "$i block">>/home/test/log/result.txt
            ((block++))
        fi

    else 
        if [ -f "/home/test/expect/expect_$m" ];then
            eval $(/bin/grep ok /home/test/expect/expect_$m)
            eval $(/bin/grep nok /home/test/expect/expect_$m)
            if [ -n "`grep -w $nok /home/test/output/output_$j`" ];then
                echo "$i pass">>/home/test/log/result.txt
                ((pass++))
            elif [ -n "`grep -w $ok /home/test/output/output_$j`" ];then
                echo "$i failed">>/home/test/log/result.txt
                ((fail++))
            else 
                echo "$i block">>/home/test/log/result.txt
                ((block++))
            fi
        elif [ -n "`grep -w "seconds" /home/test/output/output_$j`" ];then
            echo "$i failed">>/home/test/log/result.txt
            ((fail++))
        elif [ -n "`grep -w "FAILED: SemanticException No valid privileges" /home/test/output/output_$j`" ];then
            echo "$i pass">>/home/test/log/result.txt
            ((pass++))        
        else
            echo "$i block">>/home/test/log/result.txt
            ((block++))
        fi

    fi
    

done

echo `date` >>/home/test/log/result.txt
echo "$pass passed" >>/home/test/log/result.txt
echo "$fail failed">>/home/test/log/result.txt
echo "$block blocked">>/home/test/log/result.txt
#rename log.txt with current time
cat /home/test/log/result.txt >> /home/test/log/$log
rm -f /home/test/log/result.txt
向AI問一下細(xì)節(jié)

免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI