HDFS分布式文件系统我们会启动

NameNode进程作为管理节点DataNode进程作为工作节点SecondaryNamenode作为辅助

同理Hadoop

YARN分布式资源调度会启动ResourceManager进程作为管理节点NodeManager进程作为工作节点ProxyServer、JobHistoryServer这两个辅助节点

关于MapReduce

并启动ResourceManager、NodeManager进程以及辅助进程代理服务器、历史服务器。

2、部署

HADOOP_JOB_HISTORYSERVER_HEAPSIZE1000

设置日志级别为INF

HADOOP_MAPRED_ROOT_LOGGERINFO,RFA2.1.2、配置mapred-site.xml文件

vim

mapred-site.xmlconfigurationpropertynamemapreduce.framework.name/namevalueyarn/valuedescription/description/propertypropertynamemapreduce.jobhistory.address/namevaluebigdatanode1:10020/valuedescription/description/propertypropertynamemapreduce.jobhistory.webapp.address/namevaluebigdatanode1:19888/valuedescription/description/propertypropertynamemapreduce.jobhistory.intermediate-done-dir/namevalue/data/mr-history/tmp/valuedescription/description/propertypropertynamemapreduce.jobhistory.done-dir/namevalue/data/mr-history/done/valuedescription/description/propertypropertynameyarn.app.mapreduce.am.env/namevalueHADOOP_MAPRED_HOME$HADOOP_HOME/value/propertypropertynamemapreduce.map.env/namevalueHADOOP_MAPRED_HOME$HADOOP_HOME/value/propertypropertynamemapreduce.reduce.env/namevalueHADOOP_MAPRED_HOME$HADOOP_HOME/value/property

文件夹内修改

yarn-env.shyarn-env.sh文件添加如下4行环境变量内容

export

HADOOP_HOME/export/server/hadoop

export

HADOOP_CONF_DIR$HADOOP_HOME/etc/hadoop

export

HADOOP_LOG_DIR$HADOOP_HOME/logs2.2.2、配置yarn-site.xml文件

yarn-site.xml文件配置如下

propertynameyarn.log.server.url/namevaluehttp://bigdatanode1:19888/jobhistory/logs/valuedescription/description

/propertypropertynameyarn.web-proxy.address/namevaluebigdatanode1:8089/valuedescriptionproxy

server

port/description/propertypropertynameyarn.log-aggregation-enable/namevaluetrue/valuedescriptionConfiguration

enable

aggregation/description/propertypropertynameyarn.nodemanager.remote-app-log-dir/namevalue/tmp/logs/valuedescriptionConfiguration

enable

aggregation/description/propertypropertynameyarn.resourcemanager.hostname/namevaluebigdatanode1/valuedescription/description/propertypropertynameyarn.resourcemanager.scheduler.class/namevalueorg.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler/valuedescription/description/propertypropertynameyarn.nodemanager.local-dirs/namevalue/data/nm-local/valuedescriptionComma-separated

list

written./description/propertypropertynameyarn.nodemanager.log-dirs/namevalue/data/nm-log/valuedescriptionComma-separated

list

written./description/propertypropertynameyarn.nodemanager.log.retain-seconds/namevalue10800/valuedescriptionDefault

time

disabled./description/propertypropertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/valuedescriptionShuffle

service

applications./description/property2.3、分发到node2node3节点

MapReduce和YARN的配置文件修改好后需要分发到其它的服务器节点中。

scp

$HADOOP_HOME/sbin/start-yarn.sh

会基于yarn-site.xml中配置的yarn.resourcemanager.hostname来决定在哪台机器上启动resourcemanager会基于workers文件配置的主机启动NodeManager

一键停止YARN集群

resourcemanager|nodemanager|proxyserverstart和stop决定启动和停止可控制resourcemanager、nodemanager、proxyserver三种进程

历史服务器启动和停止

即可看到YARN集群的监控页面ResourceManager的WEB

在部署并成功启动YARN集群后我们就可以在YARN上运行各类应用程序了。

YARN作为资源调度管控框架其本身提供资源供许多程序运行常见的有

Hadoop官方内置了一些预置的MapReduce程序代码我们无需编程只需要通过命令即可使用。

$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar

hadoop

给定数据输入的路径HDFS、给定结果输出的路径HDFS将输入路径内的数据中的单词进行计数将结果写到输出路径

创建两个文件夹

/input/wordcount/执行如下命令提交示例MapReduce程序WordCount到YARN中执行

hadoop

/export/server/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar

wordcount

hdfs://bigdatanode1:8020/input/wordcount/

hdfs://bigdatanode1:8020/output/wc执行完成后可以查看HDFS上的输出结果

hdfs

/output/wc/part-r-00000_SUCCESS文件是标记文件表示运行成功本身是空文件part-r-00000是结果文件结果存储在以part开头的文件中

3.2.2、查看运行日志

启动了代理服务器和历史服务器历史服务器进程会将日志收集整理形成可以查看的网页内容供我们查看。

3.2.3、提交求圆周率示例程序

/export/server/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar

1000参数pi表示要运行的Java类这里表示运行jar包中的求pi程序参数3表示设置几个map任务参数1000表示模拟求PI的样本数越大求的PI越准确但是速度越慢

Monte

以模拟的”实验”形式、以大量随机样本的统计形式来得到问题的求解。

比如求圆周率以数学的方式是非常复杂的但是我们可以以简单的形式去求解

示例代码

使用蒙特卡罗方法估算π的值公式来源于圆的面积公式πr^2这里r1所以π4*(圆内点数/总点数)

double