项目官方#xff1a;https://hadoop.apache.org/

二、Linux环…一、简单介绍

Hadoop最早诞生于Cutting于1998年左右开发的一个全文文本搜索引擎

Lucene这个搜索引擎在2001年成为Apache基金会的一个子项目也是

二、Linux环境搭建

首先准备三台Linux服务器预装CentOS7。

三台服务器之间需要网络互通。

本地测试环境的IP地址分别为192.168.2.128192.168.2.129

192.168.2.130

/etc/hosts这里是给每个机器配置一个机器名。

后续集群中都会通过机器名进行配

2、关闭防火墙

Hadoop集群节点之间需要进行频繁复杂的网络交互在实验环境建议关闭防火墙。

生产环境下可以根据情况选择是按照端口配置复杂的防火墙规则或者关闭内部防火墙使用堡垒机进行统一防护。

systemctl

node015、在node02node03节点分别执行上述四个步骤注意节点名称的替换

6、最后分别在node01上执行

jdk-8u212-linux-x64.tar.gz。

解压到/usr/java目录。

注node01、node02、node03三个节点都按装部署jdk环境

export

JAVA_HOME/usr/java/jdk1.8.0_291

export

PATH$PATH:$JAVA_HOME/bin5、创建用户(可选)

通常在正是的生产环境中root用户都是要被严格管控的这时就需要单独创建一个用户来管理这些应用

三、Hadoop集群搭建

下载地址https://hadoop.apache.org/release/3.2.2.html

集群机器角色规划

其中HDFS是一个分布式的文件系统主要负责文件的存储。

由NameNode、Secondary

NameNode和DataNode三种节点组成。

HDFS上的文件会以文件块(Block)的形式存储到不同的DataNode节点当中。

NameNode则用来存储文件的相关元数据比如文件名、文件目录结果、文件的块列表等。

然后SecondaryNameNode则负责每隔一段时间对NameNode上的元数据进行备份。

Yarn是一个资源调度的工具负责对服务器集群内的计算资源主要是CPU和内存进行合理的分配与调度。

由ResourceManager和NodeManager两种节点组成。

ResourceManager负责对系统内的计算资源进行调度分配将计算任务分配到具体的NodeManger节点上执行。

而NodeManager则负责具体的计算任务执行。

3、按装Hadoop

1、在所有虚拟机根目录下新建文件夹exportexport文件夹中新建data、servers和software文件

mkdir

HADOOP_HOME/export/servers/hadoop-3.2.2

export

PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin使配置文件生效

source

以下所有的配置文件都在hadoop安装目录下etc文件中路径如下

1、配置hadoop-env.sh文件

JAVA_HOME/usr/java/jdk1.8.0_2912、配置core-site.xml文件

?xml

athttp://www.apache.org/licenses/LICENSE-2.0Unless

required

--propertynamefs.defaultFS/namevaluehdfs://node01:8020/value/property!--

hadoop

--propertynamehadoop.tmp.dir/namevalue/export/servers/hadoop-3.2.2/data/value/property!--

HDFS

--propertynamehadoop.http.staticuser.user/namevalueroot/value/property

/configuration3、配置hdfs-site.xml文件

?xml

athttp://www.apache.org/licenses/LICENSE-2.0Unless

required

端访问地址--propertynamedfs.namenode.http-address/namevaluenode01:9870/value/property!--

2NameNode

端访问地址--propertynamedfs.namenode.secondary.http-address/namevaluenode03:9868/value/property!--

备份数量

--propertynamedfs.replication/namevalue2/value/property!--

打开webhdfs

--propertynamedfs.webhdfs.enabled/namevaluetrue/value/property

/configuration

athttp://www.apache.org/licenses/LICENSE-2.0Unless

required

--propertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value/property!--

ResourceManager

的地址--propertynameyarn.resourcemanager.hostname/namevaluenode02/value/property!--

跑示例时要用到--propertynameyarn.nodemanager.env-whitelist/namevalueJAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME/value/property!--

开启日志聚集功能

--propertynameyarn.log-aggregation-enable/namevaluetrue/value/property!--

设置日志聚集服务器地址

--propertynameyarn.log.server.url/namevaluehttp://node01:19888/jobhistory/logs/value/property!--

设置日志保留时间为

--propertynameyarn.log-aggregation.retain-seconds/namevalue604800/value/property

/configuration

athttp://www.apache.org/licenses/LICENSE-2.0Unless

required

--propertynamemapreduce.framework.name/namevalueyarn/value/property!--

历史服务器

--propertynamemapreduce.jobhistory.webapp.address/namevaluenode01:19888/value/property

/configuration

node037、将配置完成后的hadoop整体分发到另外的节点完成node02、node03两个节点和node01相同的配置

scp

rootnode02:/export/servers/hadoop-3.2.2

scp

rootnode03:/export/servers/hadoop-3.2.25、启动Hadoop集群

1、先启动hdfs服务在node01上启动NameNode、DataNode

第一次启动hdfs服务时需要先对NameNode进行格式化。

在NameNode所

namenode

/export/servers/hadoop-3.2.2/data/dfs/name/current目录下创建一个NameNode的镜像。

当前版本hadoop如果不创建单独用户而是直接使用root用户启动会报错。

这时就需要添加之前配置的HDFS_NAMENODE_USER

打开配置文件vi

/etc/profile在最后追加如下内容保存退出source

/etc/profilenode02、node03节点不要忘记配置

export

HDFS_SECONDARYNAMENODE_USERroot

export

HADOOP_PID_DIR/export/servers2、接下来启动Yarnnode02上启动ResourceManager、DataNoda

注意下在yarn-site.xml中配置了日志聚合将yarn的执行日志配置到了

hdfs上。

所以yarn建议在hdfs后启动。

当然在生产环境下需要评估这

3、查看各个节点服务启动进程

C:\Windows\System32\drivers\etc打开hosts文件

192.168.2.128