Ubuntu12.04搭建hadoop单机版环境

安装Tizen SDK的安装需要以下环境： Prerequisites

Sun Java v6 or higher version (do not use OpenJDK)

qemu-kvm, binutils-multiarch, debhelper, fakeroot, realpath, libsdl-gfx1.2-4, gettext, procps, xsltproc, libdbus-1-3, liblua5.1-0, libexif12, and libcurl3 packages

首先是安装sun java环境，然后再安装相关组件。下面我们以ubuntu-11.04-desktop-i386、Tizen SDK 1.0 Alpha为例，一步一步进行介绍： 一、安装sun java

升 级到ubuntu 11.10之后。ubuntu 默认自带的是openjdkjava.默认情况这个是能够使用的，但是如果你想搭建专业的开发环境，还是需要使用sun的靠谱。另外，升级到ubuntu 11.10之后，由于apt库里没有sun-java6-jdk，需要自己编译安装。 第一步：下载jdk-7u2-linux-i586.tar.gz

（最新的版本可以在

http://www.oracle.com/technetwork/java/javase/downloads/index.html找到，这里以jdk-7u2版本为例）

wget -c http://download.oracle.com/otn-pub/java/jdk/7u2-b13/jdk-7u2-linux-i586.tar.gz 第二步：解压安装

sudo mkdir /usr/lib/jvm

sudo tar -zxvf ./jdk-7u2-linux-i586.tar.gz -C /usr/lib/jvm cd /usr/lib/jvm

sudo mv jdk1.7.0/ java-7-sun 第三步：修改环境变量 vim ~/.bashrc 添加：

export JAVA_HOME=/usr/lib/jvm/java-7-sun export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH

然后保存，退出，并输入以下命令使之立即生效。 source ~/.bashrc 第四步：配置默认JDK

由于ubuntu中可能会有默认的JDK，如openjdk，所以，为了将我们安装的JDK设置为默认

JDK版本，还要进行如下工作。

sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/java-7-sun/bin/java 300

sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/java-7-sun/bin/javac 300

sudo update-alternatives --install /usr/bin/jar jar /usr/lib/jvm/java-7-sun/bin/jar 300

sudo update-alternatives --config java 如果系统没有安装其它jdk，则提示：

链接组 java 中只有一个候选项：/usr/lib/jvm/java-7-sun/bin/java 无需配置。 如果系统中安装了openJDK和jdk6，系统会列出各种JDK版本，可能如下所示： 有 3 个候选项可用于替换 java (提供 /usr/bin/java)。

选择 路径 优先级 状态 ------------------------------------------------------------

* 0 /usr/lib/jvm/java-6-openjdk/jre/bin/java 1061 自动模式 1 /usr/lib/jvm/java-6-openjdk/jre/bin/java 1061 手动模式 2 /usr/lib/jvm/java-6-sun/jre/bin/java 63 手动模式 3 /usr/lib/jvm/java-7-sun/bin/java 300 手动模式 要维持当前值[*]请按回车键，或者键入选择的编号：3

update-alternatives: 使用 /usr/lib/jvm/java-7-sun/bin/java 来提供 /usr/bin/java (java)，于 手动模式 中。

按照提示，输入java-7-sun对应的数字即可 第五步：测试 java -version

如下所示，表示安装成功： java version \"1.7.0_02\"

Java(TM) SE Runtime Environment (build 1.7.0_02-b13) Java HotSpot(TM) Client VM (build 22.0-b10, mixed mode)

跟着亚运学云开半个月了，从零基础到现在模模糊胡的知道虚拟化，云计算到底是什么了，今天利用空闲时间把最近几天学到的东西做个笔记。 一. 你要安装Ubuntu这一步省略；

二. 在Ubuntu下创建hadoop用户组和用户; 1. 创建hadoop用户组;

sudo addgroup hadoop 如图：

2. 创建hadoop用户;

1 sudo adduser -ingroup hadoop hadoop 如图：

3. 给hadoop用户添加权限，打开/etc/sudoers文件;

1 sudo gedit /etc/sudoers

按回车键后就会打开/etc/sudoers文件了，给hadoop用户赋予root用户同样的权限。 在root ALL=(ALL:ALL) ALL下添加hadoop ALL=(ALL:ALL) ALL，1 hadoop ALL=(ALL:ALL) ALL 如图：

三. 在Ubuntu下安装JDK 使用如下命令执行即可：

1 sudo apt-get install openjdk-6-jre 如图：

四. 修改机器名

每当ubuntu安装成功时，我们的机器名都默认为：ubuntu ，但为了以后集群中能够容易分辨各台服务器，需要给每台机器取个不同的名字。机器名由 /etc/hostname文件决定。

1. 打开/etc/hostname文件;

1 sudo gedit /etc/hostname

2. 将/etc/hostname文件中的ubuntu改为你想取的机器名。这里我取\"dubin-ubuntu\"。 重启系统后才会生效。

亓. 安装ssh服务

这里的ssh和三大框架:spring,struts,hibernate没有什么关系，ssh可以实现远程登录和管理，具体可以参考其他相关资料。 安装openssh-server;

1 sudo apt-get install ssh openssh-server

这时假设您已经安装好了ssh，您就可以进行第六步了哦~

六、 建立ssh无密码登录本机

首先要转换成hadoop用户，执行以下命令：1 su - hadoop 如图：

ssh生成密钥有rsa和dsa两种生成方式，默认情况下采用rsa方式。 1. 创建ssh-key，，这里我们采用rsa方式;1 ssh-keygen -t rsa -P \"\" 如图：

（注：回车后会在~/.ssh/下生成两个文件：id_rsa和id_rsa.pub这两个文件是成对出现的）

2. 进入~/.ssh/目录下，将id_rsa.pub追加到authorized_keys授权文件中，开始是没有authorized_keys文件的;

1 cd ~/.ssh 2 cat id_rsa.pub >> authorized_keys 如图：

（完成后就可以无密码登录本机了。） 3. 登录localhost;1 ssh localhost 如图：

( 注：当ssh远程登录到其它机器后，现在你控制的是远程的机器，需要执行退出命令才能重新控制本地主机。) 4. 执行退出命令;

1 exit

七. 安装hadoop

我们采用的hadoop版本是：hadoop-0.20.203

（http://www.apache.org/dyn/closer.cgi/hadoop/common/ ），因为该版本比较稳定。 1. 假设hadoop-0.20.203.tar.gz在桌面，将它复制到安装目录 /usr/local/下；1 sudo cp hadoop-0.20.203.0rc1.tar.gz /usr/local/ 2. 解压hadoop-0.20.203.tar.gz；

1 cd /usr/local 2 sudo tar -zxf hadoop-0.20.203.0rc1.tar.gz 3. 将解压出的文件夹改名为hadoop;

1 sudo mv hadoop-0.20.203.0 hadoop

4. 将该hadoop文件夹的属主用户设为hadoop，1 sudo chown -R hadoop:hadoop hadoop 5. 打开hadoop/conf/hadoop-env.sh文件;

1 sudo gedit hadoop/conf/hadoop-env.sh

6. 配置conf/hadoop-env.sh（找到#export JAVA_HOME=...,去掉#，然后加上本机jdk的路径）;

1 export JAVA_HOME=/usr/lib/jvm/java-6-openjdk 7. 打开conf/core-site.xml文件;1 sudo gedit hadoop/conf/core-site.xml 编辑如下：

fs.default.name

hdfs://localhost:9000

8. 打开conf/mapred-site.xml文件;1 sudo gedit hadoop/conf/mapred-site.xml 编辑如下：

1

2

3

4

5

6 7 8 9 10 mapred.job.tracker 11 localhost:9001

9. 打开conf/hdfs-site.xml文件;1 sudo gedit hadoop/conf/hdfs-site.xml 编辑如下：

1 2

3 dfs.name.dir

4 /usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2 5 6

7 dfs.data.dir

8 /usr/local/hadoop/data1,/usr/local/hadoop/data2 9 10 11 dfs.replication 12 2 13 14

10. 打开conf/masters文件，添加作为secondarynamenode的主机名，作为单机版环境，这里只需填写 localhost 就Ok了。

1 sudo gedit hadoop/conf/masters

11. 打开conf/slaves文件，添加作为slave的主机名，一行一个。作为单机版，这里也只需填写 localhost就Ok了。1 sudo gedit hadoop/conf/slaves

八. 在单机上运行hadoop

1. 进入hadoop目录下，格式化hdfs文件系统，初次运行hadoop时一定要有该操作，1 cd /usr/local/hadoop/ 2 bin/hadoop namenode -format

3. 启动bin/start-all.sh1 bin/start-all.sh

4. 检测hadoop是否启动成功

1 jps

如果有Namenode，SecondaryNameNode，TaskTracker，DataNode，JobTracker亓个进程，就说明你的hadoop单机版环境配置好了！ 如下图：

至此，一个hadoop的单机版环境就搭建好了，如果有什么问题，请给我提出来，咱们可以相互交流。

后续我将会整理hadoop集群的搭建，和测试的教程。

From:XiYou.LinuxGroup.10.DuBin