Changes between Version 1 and Version 2 of HadoopReduceDetail


Ignore:
Timestamp:
11/11/09 03:12:31 (10 years ago)
Author:
kosuke
Comment:

--

Legend:

Unmodified
Added
Removed
Modified
  • HadoopReduceDetail

    v1 v2  
    22作者:kosuke 
    33 
    4 '''1. シャッフルする''' 
     4'''1. シャッフルする(これはたぶんReduceのやることではない)''' 
    55  Map関数から出力されたkey,valueが中間ファイルに書き出され始めると(中華んんファイルが小さい場合は書き出されない。)、マスタを経由してReduceスレーブに中間ファイルの場所が伝えられる。Reduceはその場所情報を基に、中間ファイルを取り寄せてキーにしたがって並べ替えが始まる。(キーごとにグループみたいなものが作られる。)中間ファイルが小さい場合は、オンメモリですべて処理されますが、大きい場合は、書かれる。また、中間ファイルが生成されるたびに次々とシャッフルされるため、中間ファイルが書き込みが終了するとすぐにシャッフルも終了する。 
    66