hive WHERE語(yǔ)句的用法

WHERE語(yǔ)句

      SELECT語(yǔ)句用于選取字段，WHERE語(yǔ)句用于過(guò)濾條件，兩者結(jié)合使用可以查找到符合過(guò)濾條件的記錄。之前我們已經(jīng)在很多簡(jiǎn)單例子中使用過(guò)它了，現(xiàn)在我們深入學(xué)習(xí)一下它吧。

      WHERE語(yǔ)句使用謂詞表達(dá)式，對(duì)于列應(yīng)用在謂詞操作符上的情況，稍后我們將進(jìn)行討論。有幾種謂詞表達(dá)式可以使用AND和OR相連接。當(dāng)謂詞表達(dá)式計(jì)算結(jié)果為true時(shí)，相應(yīng)的行將被保留并輸出。

      注：WHERE后面是不可以使用別名的，如果想使用別名，那可以使用嵌套語(yǔ)句去查詢。

1.謂詞操作符

下面這些謂詞操作符可以用于JOIN... ON和HAVING語(yǔ)句中。

2.關(guān)于浮點(diǎn)數(shù)比較

       浮點(diǎn)數(shù)比較的一個(gè)常見(jiàn)陷井出現(xiàn)在不同類型間做比較的時(shí)候（也就是FLOAT和DOUBLE比較）。

       eg:下面這個(gè)對(duì)員工的查詢語(yǔ)句，該語(yǔ)句將返回員工姓名，工資和聯(lián)邦稅，過(guò)濾條件是薪水的減免稅款超過(guò)0.2(之前定義的deductions的map的值是FLOAT類型的)

hive> SELECT name,salary,deductions['Federal Taxes']
    > FROM employees WHERE deductions['Federal Taxes']>0.2;
John    Doe    100000.0    0.2
Mary    Smith    80000.0    0.2
Boss    Man    200000.0    0.3
Fred    Finance    150000.0    0.3

Wait!為什么deductions['Federal Taxes']=0.2的記錄也被輸出了？

        這是Hive的Bug嗎?這其實(shí)反映了內(nèi)部是如何進(jìn)行浮點(diǎn)數(shù)比較的，這個(gè)問(wèn)題幾乎影響了在現(xiàn)在數(shù)字計(jì)算機(jī)中所有使用各種各樣編程語(yǔ)言編寫的軟件。

實(shí)際上我們可以說(shuō)0.2對(duì)于FLOAT類型是0.2000001，而對(duì)于DOUBLE類型是0.200000000001。這是因?yàn)橐粋€(gè)8字節(jié)的DOUBLE值具有更多的小數(shù)位。當(dāng)表中的FLOAT值通過(guò)Hive轉(zhuǎn)換為DOUBLE值時(shí)，其產(chǎn)生的DOUBLE值是0.200000100000，這個(gè)值實(shí)際要比0.200000000001大。這就是為什么這個(gè)查詢結(jié)果像是使用了>=似的。

        這個(gè)問(wèn)題并非僅僅存在于Hive中或Java中，而其他系統(tǒng)也會(huì)出現(xiàn)這個(gè)問(wèn)題。

Hive有兩種規(guī)避這個(gè)問(wèn)題的方法。

1.如果使用存儲(chǔ)格式為TEXTFILE,那么Hive會(huì)從數(shù)據(jù)文件中讀取字符串"0.2"，然后將其轉(zhuǎn)換成一個(gè)真實(shí)的數(shù)字。我們可以在表模式中定義對(duì)應(yīng)的字段類型為DOUBLE而不是FLOAT，這樣我們就可以對(duì)deductions['Federal Taxes']這個(gè)DOUBLE值和0.2這個(gè)DOUBLE值進(jìn)行比較。

2.使用cast操作符改變數(shù)據(jù)類型

          eg:下面是修改后的語(yǔ)句和結(jié)果

hive> SELECT name,salary,deductions['Federal Taxes']
                 > FROM employees WHERE deductions['Federal Taxes']>cast(0.2 AS FLOAT);
Boss    Man    200000.0    0.3
Fred    Finance    150000.0    0.3