。

它结合了大数据技术、人工智能#xff08;AI#xff09;、机器学习#xff08;ML以提取有价值的信息和洞察。

它结合了大数据技术、人工智能AI、机器学习ML和数据挖掘等多种方法旨在通过自动化的方式分析复杂数据集发现潜在的价值和关联性实现数据的自动化处理和分析从而支持决策和优化业务流程。

与传统的人工分析相比智能大数据分析具有自动化、深度挖掘、实时性和可视化等特点。

智能大数据分析广泛应用于各个领域包括金融服务、医疗健康、零售、市场营销等帮助企业做出更为精准的决策提升竞争力。

【GitCode】专栏资源保存在我的GitCode仓库https://gitcode.com/Morse_Chen/Intelligent_bigdata_analysis。

文章目录

经过操作变成中间结果保存在内存中。

整个流式计算根据业务的需求可以对中间的结果进行叠加或者存储到外部设备。

如图1所示

Spark

都是一个不可变的分布式可重算的数据集其记录着确定性的操作继承关系lineage所以只要输入数据是可容错的那么任意一个

RDD

的分区Partition出错或不可用都是可以利用原始输入数据通过转换操作而重新算出的。

Spark

会将网络输入数据的每一个数据流拷贝两份到其他的机器都能保证容错性。

所以

RDD

实时性对于实时性的讨论会牵涉到流式处理框架的应用场景。

Spark

Streaming

能够满足除对实时性要求非常高如高频实时交易之外的所有流式准实时计算场景。

扩展性与吞吐量Spark

上已能够线性扩展到100个节点每个节点4Core可以以数秒的延迟处理6GB/s的数据量60M

Storm

StreamingContext。

参数中比较重要的是第一个和第三个第一个参数是指定

Spark

ssc.socketTextStream(localhost,8888)

Spark

有特定的窗口操作窗口操作涉及两个参数一个是滑动窗口的宽度Window

batch

但上面这种方式还不够高效。

如果我们以增量的方式来计算就更加高效例如计算

[t3,t4]

的统计量这种方法可以复用中间三秒的统计量提高统计的效率。

如图4所示

val

在互联网应用中网站流量统计作为一种常用的应用模式需要在不同粒度上对不同数据进行统计既有实时性的需求又需要涉及到聚合、去重、连接等较为复杂的统计需求。

传统上若是使用

Hadoop

框架虽然可以容易地实现较为复杂的统计需求但实时性却无法得到保证反之若是采用

Storm

这样的流式框架实时性虽可以得到保证但需求的实现复杂度也大大提高了。

Spark

Streaming

在两者之间找到了一个平衡点能够以准实时的方式容易地实现较为复杂的统计需求。

下面介绍一下使用

作为分布式消息队列既有非常优秀的吞吐量又有较高的可靠性和扩展性在这里采用Kafka作为日志传递中间件来接收日志抓取客户端发送的流量日志同时接受

Spark

结果存储为了便于前端展示和页面请求处理得到的结果将写入到数据库中。

Streaming

和高灵活性可以精简地写出较为复杂的算法。

编程模型的高度一致使得上手

Spark

提供了一套高效、可容错的准实时大规模流式处理框架它能和批处理及即时查询放在同一个软件栈中。

如果你学会了

Spark

这里登录大数据实验一体机启动实验并点击右上方的一键搭建按钮等待一键搭建完成。

使用jps检验

xmlnshttp://maven.apache.org/POM/4.0.0xmlns:xsihttp://www.w3.org/2001/XMLSchema-instancexsi:schemaLocationhttp://maven.apache.org/POM/4.0.0

http://maven.apache.org/xsd/maven-4.0.0.xsdmodelVersion4.0.0/modelVersiongroupIdcom.cstor.sparkstreaming/groupIdartifactIdnice/artifactIdversion1.0-SNAPSHOT/versionbuildpluginsplugingroupIdorg.apache.maven.plugins/groupIdartifactIdmaven-compiler-plugin/artifactIdconfigurationsource1.6/sourcetarget1.6/target/configuration/plugin/plugins/build!--

https://mvnrepository.com/artifact/org.apache.spark/Spark

Streaming_2.10

--dependenciesdependencygroupIdorg.apache.spark/groupIdartifactIdspark-streaming_2.10/artifactIdversion1.6.0/version/dependency/dependencies

package

命名为spark.streaming.test然后在包下新建一个SparkStreaming的

java

com.google.common.collect.Lists;

import

org.apache.spark.api.java.function.FlatMapFunction;

import

org.apache.spark.api.java.function.Function2;

import

org.apache.spark.api.java.function.PairFunction;

import

org.apache.spark.api.java.StorageLevels;

import

org.apache.spark.streaming.Durations;

import

org.apache.spark.streaming.api.java.JavaDStream;

import

org.apache.spark.streaming.api.java.JavaPairDStream;

import

org.apache.spark.streaming.api.java.JavaReceiverInputDStream;

import

org.apache.spark.streaming.api.java.JavaStreamingContext;

import

port);System.exit(1);}SparkConf

sparkConf

SparkConf().setAppName(JavaNetworkWordCount);JavaStreamingContext

ssc

JavaStreamingContext(sparkConf,

Durations.seconds(1));JavaReceiverInputDStreamString

lines

StorageLevels.MEMORY_AND_DISK_SER);JavaDStreamString

words

Lists.newArrayList(SPACE.split(x));}});JavaPairDStreamString,

Integer

i2;}});wordCounts.print();ssc.start();ssc.awaitTermination();}

}附由于原程序运行后每1秒刷新一次即从监听入口接收一次信息很难即时截到图所以将程序中ssc的刷新时间适当提高便很容易截到。

File

去掉除guava-14.0.1.jar和guice-3.0.jar以外所有的

JAR

然后就可以在类似该路径下D:\DELL\AppData\IdealWorkSpace\out\artifacts\sparkstreaming_jar找到刚才生成的

jar

spark.streaming.test.SparkStreaming

~/sparkstreaming.jar

在提交任务之后应该能看到以下结果因屏幕刷新很快所以只能看到部分结果。

在nc

-lk

通过将流式数据划分成一系列的批处理任务将实时数据按指定时间窗口转换为

RDD并对

进行一系列的转换操作。

这种批处理方式较好地平衡了实时性和容错性能够处理大规模的数据流并确保系统的稳定运行。

不同于传统

MapReduce

能将数据按时间窗口进行切片处理几乎能做到准实时的计算这对于需要快速响应的应用场景非常适用。

Kafka与Spark

Kafka

的结合不仅提高了系统的数据吞吐量还能保证数据的可靠性和扩展性。

在现代大数据处理环境中这种组合能更好地满足高效处理实时数据的需求。

编程实践中的挑战与收获

Spark

转换和窗口操作处理数据。

实验对编码要求较高我在调试过程中也遇到了一些问题比如依赖包的导入、环境配置等这些问题的解决过程让我对大数据编程环境的搭建有了更多的实战经验。

系统的扩展性与容错性

实验中Spark

的工作机制和实际应用场景同时也强化了我的编程能力和对大数据处理框架的认识。

链接https://pan.quark.cn/s/920b281a115e

提取码4yCn