Filter、Project及Pushdowns實例分析

發(fā)布時間：2022-01-04 10:32:54 來源：億速云閱讀：131 作者：柒染欄目：大數(shù)據(jù)

今天就跟大家聊聊有關Filter、Project及Pushdowns實例分析，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結了以下內容，希望大家根據(jù)這篇文章可以有所收獲。

1. Filter（過濾）和 Project（映射）

在傳統(tǒng)的 OLAP 系統(tǒng)中，在進行 Join 的時候使用過濾和映射會極大的提高性能。同樣的，在 Hadoop 中使用 Filter 和 Projection 同樣可以提高效率，由于減少了一個管道需要處理的數(shù)據(jù)量。在Hadoop中減少處理的數(shù)據(jù)量是至關重要的，尤其當需要通過網(wǎng)絡和本地磁盤進行處理的時候。我們都知道，MapReduce 的shuffle 過程會將數(shù)據(jù)通過網(wǎng)絡寫入到磁盤中，所以擁有更少的數(shù)據(jù)就意味著Job 和 MapReduce 框架的工作量也就越少，這樣Job的數(shù)據(jù)傳輸也會更快，CPU、磁盤、網(wǎng)絡設備的壓力也會減少。

使用 filters 和 projection 來減少數(shù)據(jù)大小

Filter 和 projections 最后靠近數(shù)據(jù)源進行執(zhí)行；在MapReduce中，最好在mapper中執(zhí)行。以下代碼顯示了一個排除30歲以下的用戶，并且只映射他們的姓名和狀態(tài)：

   
     
   
   
    public static class JoinMap extends Mapper<LongWritable, Text, Text, Text> {
      
    
        @Override
      
    
        protected void map(LongWritable offset, Text value, Context context)
      
    
            throws IOException, InterruptedException {
      
    
    

      
    
          User user = User.fromText(value);
      
    
          if (user.getAge() >= 30) {
      
    
            context.write(new Text(user.getName()),
      
    
                new Text(user.getState()));
      
    
          }
      
    
        }
      
    
      }

在 Join 中使用 filter 需要注意的是，并不是所有連接的數(shù)據(jù)集都包含你需要過濾的字段。對于這種情況，你需要使用Bloom filter 方法。

2. Pushdowns

謂詞下推（predicate pushdown）屬于邏輯優(yōu)化。優(yōu)化器可以將謂詞過濾下推到數(shù)據(jù)源，從而使物理執(zhí)行跳過無關數(shù)據(jù)。在使用Parquet的情況下，更可能存在文件被整塊跳過的情況，同時系統(tǒng)還通過字典編碼把字符串對比轉換為開銷更小的整數(shù)對比。在關系型數(shù)據(jù)庫中，謂詞則被下推到外部數(shù)據(jù)庫用以減少數(shù)據(jù)傳輸。

通過以下這張圖，我們可以發(fā)現(xiàn)，謂詞下推在邏輯層面可以理解為利用where 條件中的過濾條件將無用的數(shù)據(jù)進行篩選掉最終得到需要的行列。

投影和謂詞下推通過對存儲格式的映射和謂詞的推送而進一步來進行過濾。針對 Parquet 這樣的存儲格式，我們可以直接跳過整個記錄或者整個塊，這樣極大的提高了 Job 的性能并且減少了不必要的開銷。

這里需要注意的是，Avro 是基于行列的存儲格式。

需要知道的：

1. 對 Inner Join 來說，Hive 只支持等值連接，不支持不等值連接。因為不等值連接在 MapReduce Job 轉換起來很麻煩。

2. 雖然 Hive 不支持等值連接，但是在 Cross Join 和 Where條件中仍然可以使用。下面是 Cross Join發(fā)生的條件：

使用 Cross Join 關鍵詞
只有 Join 關鍵詞，沒有 On 條件
有 Join 關鍵詞，On 后面跟著絕對為 Ture (例如 1=1) 的情況

看完上述內容，你們對Filter、Project及Pushdowns實例分析有進一步的了解嗎？如果還想了解更多知識或者相關內容，請關注億速云行業(yè)資訊頻道，感謝大家的支持。

向AI問一下細節(jié)

Filter、Project及Pushdowns實例分析

2. Pushdowns

猜你喜歡

最新資訊

相關推薦

相關標簽

Filter、Project及Pushdowns實例分析