Hadoop 部署之环境准备(一)

阅读量：6206 次

发布时间：2019-06-21

本文共 1539 字，大约阅读时间需要 5 分钟。

一、软硬件规划

ID	主机类型	主机名	IP	应用软件	操作系统	硬件配置
1	物理机	namenode01	192.168.1.200	jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-1.2.6、zookeeper-3.4.10、spark-2.3.1	CentOS7.4	6核CPU、8G内存、250存储
2	物理机	datanode01	192.168.1.201	jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-1.2.6、zookeeper-3.4.10、spark-2.3.1	CentOS7.4	6核CPU、8G内存、250存储
3	物理机	datanode02	192.168.1.202	jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-1.2.6、zookeeper-3.4.10、spark-2.3.1	CentOS7.4	6核CPU、8G内存、250存储
4	物理机	datanode03	192.168.1.203	jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-1.2.6、zookeeper-3.4.10、spark-2.3.1	CentOS7.4	6核CPU、8G内存、250存储

我这里规划的角色不是太好，如果是四台机器，建议大家按照我们下面的分配

ZooKeeper
ZooKeeper Server：namenode01

HDFS
NameNode：namenode01
SecondaryNameNode：namenode01
DataNode：datanode[01-03]

YARN
ResourceManager：namenode01
NodeManager：datanode[01-03]

HBase
Master：namenode01
RegionServer：datanode[01-03]

Hive
HiveServer2：namenode01
Hive Metastore Server：namenode01

Spark
Master：namenode01
Worker：datanode[01-03]

二、主机名解析

修改四台服务器的主机名。

192.168.1.200 namenode01 hbase01 spark01 hive01 cluster1192.168.1.201 datanode01 hbase02 spark02 zk01 mysql01192.168.1.202 datanode02 hbase03 spark03 zk02192.168.1.203 datanode03 hbase04 spark04 zk03

Hadoop 部署之环境准备(一)

三、配置 SSH 互信

在namenode01节点上面进行操作。

ssh-keygen -t rsassh-copy-id namenode01ssh-copy-id datanode01ssh-copy-id datanode02ssh-copy-id datanode03

四、创建用户

创建用户（4台机器相同操作）

useradd hadoop && echo '123456' |passwd --stdin hadoop

使用命令visudo设置用户权限（4台机器相同操作），添加如下内容：

hadoop    ALL=(ALL)       ALL

五、JDK 的安装

下载JDK1.8，可以选择下载rpm包，直接安装即可使用。

转载于:https://blog.51cto.com/wzlinux/2317305

你可能感兴趣的文章

ZooKeeper3.4.5-最基本API开发

Openfire3.9.3源代码导入eclipse中开发配置指南(转载)

查看>>

安装ISO系统（原版系统）系统终极方法

查看>>

SharePoint项目中新建类库的错误处理及项目建设中遇到的问题总结

查看>>

Spring Cloud Eureka 入门（二）服务提供者详解

查看>>

web前端面试总结

查看>>

wxPython python3.x下载地址

Apache Prefork、Worker和Event三种MPM简单分析

查看>>

Linux从入门到精通系列之PPTP

查看>>

magento去除子分类的url地址中带有父分类的url key

CentOS 7 firewalld使用简介

查看>>

高可用性、负载均衡的mysql集群解决方案

查看>>