Yarn配置

Standalone集群是Spark自带的资源调度框架支持分布式搭建这里建议搭建Standalone节点数为3台1台master节点2台worker节点这虚拟机中每台节点的内存至少给2G和2个core这样才能保证后期Spark基于Standalone的正常运行。

搭建Standalone集群的步骤如下

1、下载安装包解压

archives”找到对应的Spark版本下载。

这里选择Spark2.3.1版本下载。

Master节点解压

3、进入安装包的conf目录下修改或者复制slaves.template文件去掉template后缀在新的slaves文件中添加从节点。

保存。

在slaves中配置worker节点

4、复制$SPARK_HOME/conf/spark-env.sh.template

SPARK_MASTER_PORT:提交任务的端口默认是7077

SPARK_WORKER_CORES每个worker从节点能够支配的core的个数

SPARK_WORKER_MEMORY:每个worker从节点能够支配的内存数

5、同步到其他节点上

将spark安装包原封不动的拷贝到一个新的节点上然后在新的节点上提交任务即可。

WEBUI界面的端口7077是Spark任务提交的端口。

修改master的WEBUI端口

修改$SPARK_HOME/conf/spark-env.sh即可【建议使用】

也可以在Master节点上导入临时环境变量只是作用于之后的程序重启就无效了。

删除临时环境变量

YarnSpark基于Yarn进行任务调度只需要在Spark客户端做如下配置即可

同时这里需要在每台NodeManager节点中将每台NodeManager的虚拟内存关闭在每台NodeManager节点的$HADOOP_HOME/etc/hadoop/yarn-site.xml中加入如下配置

!--

propertynameyarn.nodemanager.vmem-check-enabled/namevaluefalse/value

/property

org.apache.spark.examples.SparkPi

../examples/jars/spark-examples_2.11-2.3.1.jar

100

org.apache.spark.examples.SparkPi

../examples/jars/spark-examples_2.11-2.3.1.jar

100