wiki:Hadoop

Version 23 (modified by kosuke, 10 years ago) (diff)

--

Hadoop 調査

インターンの kosuke が Hadoop で調べたネタをひたすら書いていくページです。

hadoopのインストール(シングルノード、ubuntu8.10,hadoop0.20.1)

1. Sun Java 6のインストール

下記のとおりにsun-java6-jdkをインストールする。

apt-get install sun-java6-jdk

2. ユーザーのグループ化

hadoopのグループを作って、hadoopユーザーをhadoopグループに登録する。

sudo addgroup hadoop

sudo adduser --ingroup hadoop hadoop

3. sshでローカルホストにログインできるようにする。

まずhadoopユーザーに切り替える。

$su - hadoop

sshをインストールする。

~$sudo apt-get install ssh

hadoop userのためにsshのキーを作成する。

~$ssh-keygen -t rsa --P

空のパスワードでローカルのマシンにログインするために次のコマンドを実行する.

~$cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

sshでローカルホストにログインする。

$ssh localhost

4. ipv6を使えないようにする.

ubuntuでは0.0.0.0を使うとipv6に紐づいてしまうらしいので、ipv6は無効にする。

よって、/etc/modprobe.d/blacklistを編集する.

# disable IPv6

blacklist ipv6

5. hadoopのダウンロード

 hadoopの安定版にアクセスしてhadoopをダウンロードする。

/usr/local/hadoopに移動する.

cd /usr/local

ダウンロードしてきたファイルを解凍する。

/usr/local$ sudo tar xzf hadoop-x.xx.x.tar.gz

解凍したフォルダの名前をhadoopに変更する.

/usr/local$ sudo mv hadoop-x.xx.x hadoop

hadoopフォルダの所有者を再帰的にhadoop:hadoopにする。

/usr/local$ sudo chown -R hadoop:hadoop hadoop

6.hadoop-env.shを編集する。

confディレクトリの中にあるhadoop-env.shのjavaのアドレスを以下のように設定する.

# The java implementation to use. Required.

export JAVA_HOME=/usr/lib/jvm/java-6-sun