spark概述

Spark是一个开源的大数据处理框架它可以在分布式计算集群上进行高效的数据处理和分析。

Spark的特点是速度快、易用性高、支持多种编程语言和数据源。

Spark的核心是基于内存的计算模型可以在内存中快速地处理大规模数据。

Spark支持多种数据处理方式包括批处理、流处理、机器学习和图计算等。

Spark的生态系统非常丰富包括Spark

SQL、Spark

其中1台机器节点作为Master节点主机名为hadoop1,另外两台机器节点作为Slave节点即作为Worker节点主机名分别为hadoop2和hadoop3。

在Master节点机器**问Spark官方下载地址Downloads

Apache

我们选择2.1.0的版本也可以选择其他的版本但是需要注意的是如果你选择的Spark版本过高可能导致无法与你的hadoop版本适配。

tar

./spark-2.1.0-bin-without-hadoop/

./spark

同样在master机器上打开bashrc文件进行环境变量配置。

vim

PATH$PATH:/usr/local/scala/bin并使其生效。

source

输入scala命令以后屏幕上会显示Scala和java版本信息并进入“scala”提示符状态这时就可以开始使用Scala解释器了可以输入scala语句来调试scala代码。

3.Spark集群配置

进入到/usr/local/spark的conf路径下进行以下文件的配置。

a)配置slaves文件

但是由于其开始并没有这个文件而只有slaves.template文件所以我们需要先拷贝重命名一下。

./slaves.template

然后打开这个slaves文件并将默认的localhost替换相应的两个slave结点

hadoop2

SPARK_DIST_CLASSPATH$(/usr/local/hadoop/bin/hadoop

classpath)

HADOOP_CONF_DIR/usr/local/hadoop/etc/hadoop分别在三台虚拟机上修改spark-env.sh文件

hadoop1

因为我们的Spark是基于hadoop来运行的因此我们首先需要将hadoop启动起来。

启动Hadoop集群

然后我们再再master机器上启动Spark的master进程。

/usr/local/spark/

我们发现除了hadoop的相关进程之外还多了一个Master进程,证明master节点已经成功启动。

sbin/start-slaves.sh

分别在hadoop2、hadoop3节点上运行jps命令可以看到多了个Worker进程

hadoop2

我们发现同样的除了hadoop的相关进程多出来一个Worker进程证明worker节点也已经成功启动。

在master主机上打开浏览器

分别访问http://192.168.43.33:50070,如下图

分别访问http://192.168.43.33:8080,如下图

spark-shell

大数据技术——搭建spark集群出现的问题_肉肉肉肉肉肉~丸子的博客-CSDN博客