密登录

Flink是一个框架和分布式处理引擎用于在无界和有界数据流上进行有状态计算。

Flink

提供了数据分发以及并行化计算的能力并且可以部署在各种集群环境中如Hadoop

2.1

checkpoint、并且协调从失败中恢复等等。

这个进程由三个不同的组件组成

ResourceManager负责

集群中资源调度的单位请参考TaskManagers。

Flink

YARN、Kubernetes

用来提供作业执行信息。

JobMaster负责管理单个JobGraph的执行。

Flink

始终至少有一个

当Flink应用程序编写好后可以通过会话模式、单作业模式和应用模式等三种方式运行

会话模式Session

会话模式需要先启动一个集群保持一个会话在这个会话中通过客户端提交作业。

集群启动时所有资源就都已经确定所以所有提交的作业会竞争集群中的资源。

单作业模式Per-Job

会话模式因为资源共享会导致很多问题所以为了更好地隔离资源可以为每个提交的作业启动一个集群作业完成后集群就会关闭释放资源这就是所谓的单作业(Per-Job)模式。

单作业模式运行稳定是实际应用的首选模式。

需要注意的是Flink本身无法直接这样运行所以单作业模式一般需要借助一些资源管理框架来启动集群比如YARN、Kubernetes(K8s)。

应用模式Application

会话模式和单作业模式应用代码都是在客户端上执行然后由客户端提交给JobManager的。

但是这种方式客户端需要占用大量网络带宽去下载依赖和把二进制数据发送给JobManager;加上很多情况下我们提交作业用的是同一个客户端就会加重客户端所在节点的资源消耗。

所以解决办法就是我们不要客户端了直接把应用提交到JobManger上运行。

而这也就代表着我们需要为每一个提交的应用单独启动一个JobManager也就是创建一个集群。

这个JobManager只为执行这一个应用而存在执行结束之后JobManager也就关闭了这就是所谓的应用模式。

应用程序各种运行模式需要的Flink集群不一样本地集群和Standalone集群适合会话模式YARN模式适合单作业模式和应用模式;K8S模式不熟悉暂时不介绍。

应用程序运行模式会话模式

Mode集群部署模式本地模式√×√Standalone模式√×√YARN模式√√√K8S模式

二、Flink

192.168.179.153JobManagerTaskManagerTaskManagerTaskManager

2.2.1

在所有部署Flink的服务器上安装jkd要求jdk17jdk具体安装可参考搭建环境02安装前准备(配置CentOS7)

2.2.2

在所有部署Flink的服务器上设置免密登录具体操作可参考搭建环境02安装前准备(配置CentOS7)

2.2.3

environment加载/创建初始数据指定数据相关的转换指定计算结果的存储位置触发程序执行。

3.1

dependencygroupIdorg.apache.flink/groupIdartifactIdflink-streaming-java/artifactIdversion1.20.0/version

/dependency

com.yichenkeji.demo.flink;import

org.apache.flink.streaming.api.datastream.DataStreamSource;

import

org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;

import

org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;public

class

environmentStreamExecutionEnvironment

env

StreamExecutionEnvironment.getExecutionEnvironment();//2.加载/创建初始数据DataStreamSourceInteger

source

env.fromCollection(Arrays.asList(1,2,3,4,5,6,7,8,9,10));//3.指定数据相关的转换乘以2SingleOutputStreamOperatorInteger

map

2);//4.指定计算结果的存储位置:直接输出到控制台map.print();//5.触发执行env.execute();}

}3.1.3

xmlnshttp://maven.apache.org/POM/4.0.0xmlns:xsihttp://www.w3.org/2001/XMLSchema-instancexsi:schemaLocationhttp://maven.apache.org/POM/4.0.0

http://maven.apache.org/xsd/maven-4.0.0.xsdmodelVersion4.0.0/modelVersiongroupIdcom.yichenkeji.demo.flink/groupIdartifactIdyichen-demo-flink/artifactIdversion1.0/versionpropertiesmaven.compiler.source17/maven.compiler.sourcemaven.compiler.target17/maven.compiler.targetproject.build.sourceEncodingUTF-8/project.build.sourceEncodingflink.version1.20.0/flink.version/propertiesdependenciesdependencygroupIdorg.apache.flink/groupIdartifactIdflink-streaming-java/artifactIdversion${flink.version}/version/dependency/dependenciesbuildpluginsplugingroupIdorg.apache.maven.plugins/groupIdartifactIdmaven-shade-plugin/artifactIdversion3.1.1/versionexecutionsexecutionphasepackage/phasegoalsgoalshade/goal/goalsconfigurationartifactSetexcludesexcludecom.google.code.findbugs:jsr305/exclude/excludes/artifactSetfiltersfilter!--

not

--artifact*:*/artifactexcludesexcludeMETA-INF/*.SF/excludeexcludeMETA-INF/*.DSA/excludeexcludeMETA-INF/*.RSA/exclude/excludes/filter/filterstransformerstransformer

implementationorg.apache.maven.plugins.shade.resource.ManifestResourceTransformer!--

Replace

--mainClasscom.yichenkeji.demo.flink.Demo/mainClass/transformertransformer

implementationorg.apache.maven.plugins.shade.resource.ServicesResourceTransformer//transformers/configuration/execution/executions/plugin/plugins/build

/project

/data/flink/demo/yichen-demo-flink-1.0.jar

3.2.2