Changes between Version 1 and Version 2 of Pig
- Timestamp:
- 11/11/09 06:58:26 (10 years ago)
Legend:
- Unmodified
- Added
- Removed
- Modified
-
Pig
v1 v2 7 7 Pigは、mapperやreducerなどを書かなくても大規模なデータを分析できるスクリプト言語である(SQLのように扱える)。Pig独自の処理モデルがあるわけではなく、MapReduceで処理している(hadoopモードのみ)。自動的にMapReduceを実行してくれるのでユーザーが心配することはない。しかし、Pigのデータ構造は、主に元のデータに意味づけやネストされたものである。よって、ユーザーはデータを扱いやすくなる。 MapperやReducerが苦手な人のためのものではなく、簡単にデータを分析したいときに使う。また、Pigはクライアントで動くアプリケーションなので、hadoopクラスター側にはなにもインストールする必要がない。以下の環境で動作する。 8 8 9 ・シングルノードのJVM((ローカルモード)ローカルのファイルシステムで動作する。小さなデータベースで用いられる。MapReduce処理はしない)9 ・シングルノードのJVM((ローカルモード)ローカルのファイルシステムで動作する。小さなデータベースで用いられる。MapReduce処理はしない) 10 10 11 ・複数ノードのhadoopクラスタ((hadoopモード)MapReduce処理をする。)11 ・複数ノードのhadoopクラスタ((hadoopモード)MapReduce処理をする。)