wiki:Hadoop

Version 26 (modified by kosuke, 10 years ago) (diff)

--

Hadoop 調査

インターンの kosuke が Hadoop で調べたネタをひたすら書いていくページです。

hadoopのインストール(シングルノード、ubuntu8.10,hadoop0.20.1)

1. Sun Java 6のインストール

下記のとおりにsun-java6-jdkをインストールする。

apt-get install sun-java6-jdk

2. ユーザーのグループ化

hadoopのグループを作って、hadoopユーザーをhadoopグループに登録する。

sudo addgroup hadoop

sudo adduser --ingroup hadoop hadoop

3. sshでローカルホストにログインできるようにする。

まずhadoopユーザーに切り替える。

$su - hadoop

sshをインストールする。

~$sudo apt-get install ssh

hadoop userのためにsshのキーを作成する。

~$ssh-keygen -t rsa --P

空のパスワードでローカルのマシンにログインするために次のコマンドを実行する.

~$cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

sshでローカルホストにログインする。

$ssh localhost

4. ipv6を使えないようにする.

ubuntuでは0.0.0.0を使うとipv6に紐づいてしまうらしいので、ipv6は無効にする。

よって、/etc/modprobe.d/blacklistを編集する.

# disable IPv6

blacklist ipv6

5. hadoopのダウンロード

 hadoopの安定版にアクセスしてhadoopをダウンロードする。

/usr/local/hadoopに移動する.

cd /usr/local

ダウンロードしてきたファイルを解凍する。

/usr/local$ sudo tar xzf hadoop-x.xx.x.tar.gz

解凍したフォルダの名前をhadoopに変更する.

/usr/local$ sudo mv hadoop-x.xx.x hadoop

hadoopフォルダの所有者を再帰的にhadoop:hadoopにする。

/usr/local$ sudo chown -R hadoop:hadoop hadoop

6.hadoop-env.shを編集する。

confディレクトリの中にあるhadoop-env.shのjavaのアドレスを以下のように設定する.

# The java implementation to use. Required.

export JAVA_HOME=/usr/lib/jvm/java-6-sun

7.hadoop-site.xmlを編集する。

0.20.0から、hadoop-site.xmlは三つのxmlファイルに分割された。一つ目は、hadoop.tmp.dir, fs.default.nameを設定するcore-site.xml。二つ目は、dfs.replicationを編集するhdfs- site.xml。三つ目は、mapred.job.trackerを設定するmapred-site.xmlである。 hadoop.tmp.dirのvalueは、事前にディレクトリを作って、権限を与えて置かないとエラーになる可能性がある。

  1. core-site.xmlを編集する.