周二 26 九月 2017

流程

• 修改hosts
• 添加hadoop用户
• 集群SSH免密码登录
• jdk安装

修改hosts

修改每个节点的/etc/hosts

vim /etc/hosts

向其中添加如下的信息

127.0.0.1   localhost
xxx.xxx.xxx.xxx master
xxx.xxx.xxx.xxx slave0
xxx.xxx …

Category: Hadoop Tagged: Hadoop Spark Docker

comments

周五 22 九月 2017

这些文档是我在配置Spark on Docker on YARN(LCE enabled)记录下的一些笔记

主要分为一下几个部分

• Hadoop安装准备
• Hadoop单机配置
• Hadoop集群配置
• Spark on YARN配置
• Spark on YARN(LCE enabled)配置
• Spark on Docker on YARN(LCE enabled)配置
• 自动化配置 …

Category: Hadoop Tagged: Hadoop Spark Docker

comments