Hadoop安装准备

周二 26 九月 2017

流程


  • 修改hosts
  • 添加hadoop用户
  • 集群SSH免密码登录
  • jdk安装

修改hosts


修改每个节点的/etc/hosts

vim /etc/hosts

向其中添加如下的信息

127.0.0.1   localhost
xxx.xxx.xxx.xxx master
xxx.xxx.xxx.xxx slave0
xxx.xxx.xxx.xxx slave1
xxx.xxx.xxx.xxx slave2
xxx.xxx.xxx.xxx slave3

修改后在每个节点ping其他节点应该都能ping
修改/etc/hostname为master、slave0等,可以方便得区分各个节点,重启

添加hadoop用户


sudo useradd -m hadoop -s /bin/bash

添加hadoop用户,并使用 /bin/bash 作为 shell。

sudo passwd hadoop

为hadoop设置密码

sudo adduser hadoop sudo

为hadoop用户增加管理员权限,方便部署

集群SSH免密码登录


master节点

  1. 在master节点中使用
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

生成公钥 2. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys使得ssh localhost免密码

  1. 将生成的公钥上传到所有slave节点中
scp ~/.ssh/id_rsa.pub hadoop@slave0:/tmp/master_key

slave节点

在所有slave节点中执行

cat /tmp/master_key >> ~/.ssh/authorized_keys

测试SSH免密码

1.在master节点中运行ssh localhost,能直接登录
2.在master节点中运行ssh slave0,对于所有slave节点都能直接登录

注意

  1. 若上传了公钥仍然需要密码,则可能是.ssh文件夹和authorized_keys文件的权限没有设置好,可以将authorized_keys的权限设置为600或者644、将.ssh文件夹的权限设置为700
  2. 在使用ssh slave0等没有指明用户的命令时,则默认登录到同名用户中

jdk安装


  1. scp将压缩包上传到服务器
  2. 解压jdk
    bash tar zxvf jdk-8u144-linux-x64.tar.gz
  3. 复制到/usr/java
    bash mv jdk-8u144-linux-x64 /usr/java
  4. 设置环境变量
    bash vim /etc/profile 在最后加上 bash export JAVA_HOME=/usr/java/jdk1.8.0_144 export JRE_HOME=$JAVA_HOME/jre export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 在终端中输入source /etc/profile更新配置
  5. 测试是否安装成功
    在终端中输入java -version查看版本信息是否正常

总结


至此,前期准备已经完成,主要的目的是配置网络环境和软件运行环境。

Category: Hadoop Tagged: Hadoop Spark Docker

Comments

Fork me on GitHub