wiki:Hadoop

Version 17 (modified by kosuke, 10 years ago) (diff)

--

Hadoop 調査

インターンの kosuke が Hadoop で調べたネタをひたすら書いていくページです。

hadoopのインストール(シングルノード、ubuntu8.10,hadoop0.20.0)

1. Sun Java 6のインストール

下記のとおりにsun-java6-jdkをインストールする。

apt-get install sun-java6-jdk

2. ユーザーのグループ化

hadoopのグループを作って、hadoopユーザーをhadoopグループに登録する。

sudo addgroup hadoop

sudo adduser --ingroup hadoop hadoop

3. sshでローカルホストにログインできるようにする。

まずhadoopユーザーに切り替える。

$su - hadoop

sshをインストールする。

~$sudo apt-get install ssh

hadoop userのためにsshのキーを作成する。

~$ssh-keygen -t rsa --P

空のパスワードでローカルのマシンにログインするために次のコマンドを実行する.

~$cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

sshでローカルホストにログインする。

$ssh localhost

4. ipv6を使えないようにする.

ubuntuでは0.0.0.0を使うとipv6に紐づいてしまうらしいので、ipv6は無効にする。

よって、/etc/modprobe.d/blacklistを編集する.

# disable IPv6

blacklist ipv6

5. hadoopのダウンロード

 http://ftp.riken.jp/net/apache/hadoop/core/hadoop-0.20.0/hadoop-0.20.0.tar.gzにアクセスして0.20.0をダウンロードする

/usr/local/hadoopに移動する.

cd /usr/local

ダウンロードしてきたファイルを解凍する。

$ sudo tar xzf hadoop-0.20.0.tar.gz

解凍したフォルダの名前をhadoopに変更する.

$ sudo mv hadoop-0.20.0 hadoop

hadoopフォルダの所有者を再帰的にhadoop:hadoopにする。

$ sudo chown -R hadoop:hadoop hadoop