Hiveのクエリコンパイラ

作者:kosuke

参考:http://www.facebook.com/note.php?note_id=89508453919

クエリコンパイラで、メタストアに貯められた情報を使ってSQLクエリをmap/reduceジョブに変換する。クエリコンパイラは、自動的によりとてもスマートな機能をもっている。その機能は以下のようになっている。

・Push down方式

・複数のmap/reduceジョブを結合して、一つのmap/reduce処理を作り出す。

・Coulumの切り取り

・Mapでの集合化

・Mapでのjoin

などである。いったんコンパイラが処理方法を決めると、excutionエンジンが実行してくれる。もちろん、テーブルをつくったり、消したり、編集するような単純な処理は、こういった機能は適用されない。また、その必要もない。