自己测试、伪分布式模式和集群接轨

本地模式hadoop默认安装后启动就是本地模式就是将来的数据存在Linux本地并且运行MR程序的时候也是在本地机器上运行

伪分布式模式伪分布式其实就只在一台机器上启动HDFS集群启动YARN集群并且数据存在HDFS集群上以及运行MR程序也是在YARN上运行计算后的结果也是输出到HDFS上。

本质上就是利用一台服务器中多个java进程去模拟多个服务

完全分布式完全分布式其实就是多台机器上分别启动HDFS集群启动YARN集群并且数据存在HDFS集群上的以及运行MR程序也是在YARN上运行计算后的结果也是输出到HDFS上。

在真实的企业环境中服务器集群会使用到多台机器共同配合来构建一个完整的分布式文件系统。

而在这样的分布式文件系统HDFS相关的守护进程也会分布在不同的机器上例如

NameNode守护进程尽可能的单独部署在一台硬件性能较好的机器中。

其他的每台机器上都会部署一个Datanode守护进程一般的硬件环境即可。

SecondaryNameNode守护进程最好不要和NameNode在同一台机器上

部署环境

平台备注宿主系统windows10虚拟机软件、系统vmware17centos7.5虚拟机主机名node1

ip192.168.149.113hadoop版本hadoop-3.3.0-Centos7-64-with-snappy.tar.gzSSH远程连接工具xshell7软件安装包上传路径/export/software软件安装路径/export/software/jdk

/export/software/hadoopjdk环境jdk-8u241-linux-x64

2.2

NameNodeDataNodeSecondaryNameNodehadoop1√√hadoop2√hadoop3√√

准备工作

三台机器的防火墙必须是关闭的.确保三台机器的网络配置畅通(NAT模式静态IP主机名的配置)确保/etc/hosts文件配置了ip和hostname的映射关系确保配置了三台机器的免密登陆认证克隆会更加方便确保所有机器时间同步jdk和hadoop的环境变量配置

3.0

vim/etc/sysconfig/network-scripts/ifcfg-ens32

NETMASK255.255.255.0

localhost6.localdomain6192.168.149.111

node1

ssh免密登录只需要配置node1至node1、node2、node3即可#

node1生成公钥私钥

JAVA_HOME/export/software/jdk/jdk1.8.0_241

export

CLASSPATH.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar#

重新加载环境变量文件

将hadoop安装包上传到/export/software/hadoop

解压hadoop

hadoop-3.3.0-Centos7-64-with-snappy.tar.gz

.配置环境变量

HADOOP_HOME/export/software/hadoop/hadoop-3.3.0

export

PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbinsource

/etc/profile4

Hadoop支持file、HDFS、GFS、ali|Amazon云等文件系统

!--

propertynamefs.defaultFS/namevaluehdfs://node1:9820/value

/property!--

propertynamehadoop.tmp.dir/namevalue/export/software/hadoop/hadoop-3.3.0/tmp/value

/property!--

propertynamehadoop.http.staticuser.user/namevalueroot/value

/property!--

propertynamehadoop.proxyuser.root.hosts/namevalue*/value

/propertypropertynamehadoop.proxyuser.root.groups/namevalue*/value

/property!--

propertynamefs.trash.interval/namevalue1440/value

/property4.2

secondarynamenode守护进程的http地址主机名和端口号。

参考守护进程布局

propertynamedfs.namenode.secondary.http-address/namevaluenode2:9868/value

/property!--

namenode守护进程的http地址主机名和端口号。

参考守护进程布局

property

namedfs.namenode.http-address/namevaluenode1:9870/value

/property4.3

JAVA_HOME/export/software/jdk/jdk1.8.0_241#

export

HDFS_SECONDARYNAMENODE_USERroot

export

propertynamemapreduce.framework.name/namevalueyarn/value

/property!--

propertynamemapreduce.jobhistory.address/namevaluenode1:10020/value

/property!--

propertynamemapreduce.jobhistory.webapp.address/namevaluenode1:19888/value

/propertypropertynameyarn.app.mapreduce.am.env/namevalueHADOOP_MAPRED_HOME${HADOOP_HOME}/value

/propertypropertynamemapreduce.map.env/namevalueHADOOP_MAPRED_HOME${HADOOP_HOME}/value

/propertypropertynamemapreduce.reduce.env/namevalueHADOOP_MAPRED_HOME${HADOOP_HOME}/value

/property4.6

propertynameyarn.resourcemanager.hostname/namevaluenode1/value

/propertypropertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value

/property!--

propertynameyarn.nodemanager.pmem-check-enabled/namevaluefalse/value

/property!--

propertynameyarn.nodemanager.vmem-check-enabled/namevaluefalse/value

/property!--

propertynameyarn.log-aggregation-enable/namevaluetrue/value

/property!--

propertynameyarn.log.server.url/namevaluehttp://node1:19888/jobhistory/logs/value

/property!--

propertynameyarn.log-aggregation.retain-seconds/namevalue604800/value

/property5

启动HDFS所有进程(NameNode、SecondaryNameNode、DataNode)

stop-dfs.sh

停止HDFS所有进程(NameNode、SecondaryNameNode、DataNode)hadoop-daemon.sh

start

HDFS集群http://192.168.149.111:9870/YARN集群http://192.168.149.111:8088/