wiki:HadoopCombine

Combineとは?

作者:kosuke

著者 西田 圭介 Googleを支える技術 ~巨大システムの内側の世界 出版社: 技術評論社 (2008/3/28)

Mapperがkey-valueを出力するとき、key-valueはメモリ上にある(用は中間ファイルに書かれる前の状態)。これを効率的に利用することによって処理速度を高める機能。また、中間ファイル(SequenseFile?)があまりにも大きくなってしまって、その容量を節約したい時に使う。

関連するリンク