Changes between Version 1 and Version 2 of Hadoop/HiveQuery


Ignore:
Timestamp:
11/11/09 05:54:06 (10 years ago)
Author:
kosuke
Comment:

--

Legend:

Unmodified
Added
Removed
Modified
  • Hadoop/HiveQuery

    v1 v2  
    55 
    66  クエリコンパイラで、メタストアに貯められた情報を使ってSQLクエリをmap/reduceジョブに変換する。クエリコンパイラは、自動的によりとてもスマートな機能をもっている。その機能は以下のようになっている。 
     7 
     8  ・Push down方式 
     9 
     10 ・複数のmap/reduceジョブを結合して、一つのmap/reduce処理を作り出す。 
     11 
     12 ・Coulumの切り取り 
     13 
     14 ・Mapでの集合化 
     15 
     16 ・Mapでのjoin 
     17 
     18などである。いったんコンパイラが処理方法を決めると、excutionエンジンが実行してくれる。もちろん、テーブルをつくったり、消したり、編集するような単純な処理は、こういった機能は適用されない。また、その必要もない。