二、Hadoop

集群。

两个集群逻辑上分离、通常物理上在一起两个集群都是标准的主从架构集群。

逻辑上分离

集群模式主要用于生产环境部署需要多台主机并且这些主机之间可以相互访问。

本次是在

Centos

IP各节点名称运行角色各节点资源规划192.168.170.136hadoop01

NameNode、DataNode、ResourceManager、NodeManager

cpu

G192.168.170.138hadoop03DataNode

、NodeManager2

初始化系统_centos7初始化_Stars.Sky的博客-CSDN博客

3.2.2

/bigdata/hadoop/server/hadoop-3.2.4]#

bin

/bigdata/hadoop/server/hadoop-3.2.4/etc/hadoop]#

pwd

/bigdata/hadoop/server/hadoop-3.2.4/etc/hadoop

在文件最后面直接添加下面内容

/bigdata/hadoop/server/hadoop-3.2.4/etc/hadoop]#

vim

JAVA_HOME/usr/java/jdk1.8.0_381

shell

HDFS_SECONDARYNAMENODE_USERroot

export

core-default.xml。

core-default.xml

core-site.xml

/bigdata/hadoop/server/hadoop-3.2.4/etc/hadoop]#

vim

propertynamefs.defaultFS/namevaluehdfs://hadoop01:8020/value

/property

propertynamehadoop.tmp.dir/namevalue/bigdata/hadoop/data/tmp/value

/property

propertynamehadoop.http.staticuser.user/namevalueroot/value

/property

hdfs-default.xml。

hdfs-default.xml

hdfs-site.xml

/bigdata/hadoop/server/hadoop-3.2.4/etc/hadoop]#

vim

propertynamedfs.namenode.secondary.http-address/namevaluehadoop02:9868/value

/property

mapred-site.xml.template需要使用该文件复制出来一份

mapred-site.xml

/bigdata/hadoop/server/hadoop-3.2.4/etc/hadoop]#

vim

propertynamemapreduce.framework.name/namevalueyarn/value

/property

propertynameyarn.app.mapreduce.am.env/namevalueHADOOP_MAPRED_HOME${HADOOP_HOME}/value

/property

propertynamemapreduce.map.env/namevalueHADOOP_MAPRED_HOME${HADOOP_HOME}/value

/property

propertynamemapreduce.reduce.env/namevalueHADOOP_MAPRED_HOME${HADOOP_HOME}/value

/property

/bigdata/hadoop/server/hadoop-3.2.4/etc/hadoop]#

vim

propertynameyarn.resourcemanager.hostname/namevaluehadoop01/value

/property

NodeManager上运行的附属服务。

需配置成mapreduce_shuffle,才可运行MR程序。

--

propertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value

/property

propertynameyarn.scheduler.minimum-allocation-mb/namevalue512/value

/property

propertynameyarn.scheduler.maximum-allocation-mb/namevalue2048/value

/property

propertynameyarn.nodemanager.vmem-pmem-ratio/namevalue4/value

/property

/bigdata/hadoop/server/hadoop-3.2.4/etc/hadoop]#

vim

roothadoop02:/bigdata/hadoop/server/

[roothadoop01

roothadoop03:/bigdata/hadoop/server/3.7

Hadoop

HADOOP_HOME/bigdata/hadoop/server/hadoop-3.2.4/

export

PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin#

重新加载环境变量

/bigdata/hadoop/data/tmp/dfs/name/current/

总用量

fsimage_0000000000000000000.md5

-rw-r--r--

VERSIONfsimage_0000000000000000000这是文件系统镜像File

System

Image包含了HDFS的整个文件系统结构如目录和文件元数据的一个快照。

fsimage_0000000000000000000.md5这是与fsimage文件对应的MD5校验和用于验证文件完整性。

seen_txid这个文件保存了NameNode最后一次启动后见到即处理过的最大事务ID。

VERSION这个文件包含了与NameNode相关的各种版本和配置信息比如Hadoop的版本号布局版本等。

3.9

namenode|datanode|secondarynamenodehdfs

--daemon

namenode|datanode|secondarynamenode

YARN

resourcemanager|nodemanageryarn

--daemon

/bigdata/hadoop/server/hadoop-3.2.4/logs/

总用量

hadoop-root-datanode-hadoop01.log

-rw-r--r--

hadoop-root-datanode-hadoop01.out

-rw-r--r--

hadoop-root-namenode-hadoop01.log

-rw-r--r--

hadoop-root-namenode-hadoop01.out

-rw-r--r--

hadoop-root-nodemanager-hadoop01.log

-rw-r--r--

hadoop-root-nodemanager-hadoop01.out

-rw-r--r--

hadoop-root-resourcemanager-hadoop01.log

-rw-r--r--

hadoop-root-resourcemanager-hadoop01.out

-rw-r--r--

C:\Windows\System32\drivers\etc

hosts

地址http://resourcemanager_host:8088

resourcemanager_host

/bigdata/hadoop/server/hadoop-3.2.4/share/hadoop/mapreduce/

[roothadoop01

/bigdata/hadoop/server/hadoop-3.2.4/share/hadoop/mapreduce]#

hadoop

hadoop-mapreduce-examples-3.2.4.jar