大数据处理技术-apache hadoop三种架构介绍(伪分布介绍以及安装)

伪分布式

伪分布式环境搭建（适用于学习测试开发集群模式）

服务规划

服务器 IP	192.168.52.100	192.168.52.110	192.168.52.120
主机名	node01.hadoop.com	node02.hadoop.com	node03.hadoop.com
NameNode	是	否	否
Secondary NameNode	是	否	否
dataNode	是	是	是
ResourceManager	是	否	否
NodeManager	是	是	是

停止单节点集群

停止单节点集群，删除 /export/servers/hadoop-2.7.5/hadoopDatas 文件夹，然后
重新创建文件夹
第一台机器执行以下命令

cd /export/servers/hadoop-2.7.5
sbin/stop-dfs.sh
sbin/stop-yarn.sh
sbin/mr-jobhistory-daemon.sh stop historyserver

配置集群

删除 hadoopDatas 然后重新创建文件夹

rm -rf /export/servers/hadoop-2.7.5/hadoopDatas

重新创建文件夹

mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/tempDatas
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas2
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas2
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/nn/edits
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/snn/name
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/dfs/snn/edits

修改 slaves 文件，然后将安装包发送到其他机器，重新启动集群即可
第一台机器执行以下命令

cd /export/servers/hadoop-2.7.5/etc/hadoop
vim slaves

slaves

node01
node02
node03

安装包的分发

第一台机器执行以下命令

cd /export/servers/
scp -r hadoop-2.7.5 node02:$PWD
scp -r hadoop-2.7.5 node03:$PWD

启动集群

第一台机器执行以下命令

cd /export/servers/hadoop-2.7.5
bin/hdfs namenode -format
sbin/start-dfs.sh
sbin/start-yarn.sh
sbin/mr-jobhistory-daemon.sh start historyserver

第一台 jps 后：

第二台：jps 后:

第三台 jps 后：

大数据处理技术 - apache hadoop 三种架构介绍 (伪分布介绍以及安装)

服务规划

停止单节点集群

配置集群

安装包的分发

启动集群