wiki:Hadoop

Version 12 (modified by kosuke, 10 years ago) (diff)

--

Hadoop 調査

インターンの kosuke が Hadoop で調べたネタをひたすら書いていくページです。

hadoopのインストール(シングルノード、ubuntu8.10,hadoop0.20.0)

  1. Sun Java 6のインストール 下記のとおりにsun-java6-jdkをインストールする。

apt-get install sun-java6-jdk

  1. ユーザーのグループ化 hadoopのグループを作って、hadoopユーザーをhadoopグループに登録する。

sudo addgroup hadoop

sudo adduser --ingroup hadoop hadoop

  1. sshでローカルホストにログインできるようにする。 まずhadoopユーザーに切り替える。

$su - hadoop

sshをインストールする。

~$sudo apt-get install ssh

hadoop userのためにsshのキーを作成する。

~$ssh-keygen -t rsa --P

空のパスワードでローカルのマシンにログインするために次のコマンドを実行する.

~$cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

sshでローカルホストにログインする。

$ssh localhost

  1. ipv6を使えないようにする.

ubuntuでは0.0.0.0を使うとipv6に紐づいてしまうらしいので、ipv6は無効にする。

よって、/etc/modprobe.d/blacklistを編集する.

# disable IPv6

blacklist ipv6

  1. hadoopのダウンロード