Hadoop

中资源管理与作业调度紧耦合的问题#xff0c;使得不同类型的计算任…

YARNYet

资源分配和调度系统它管理集群中的所有计算资源并且为每个应用程序动态分配资源同时保证容错性。

YARN

ResourceManager资源管理器

的中央组件它负责集群中所有节点的资源分配和管理。

它的主要功能包括

资源管理负责全局资源的监控和分配决定将资源分配给哪个应用程序。

作业调度决定哪个任务可以使用哪些资源并根据不同的调度算法如

FIFO、Capacity

1Scheduler调度器负责根据调度策略将资源分配给各个应用程序但不负责监控应用程序的状态。

2ApplicationManager负责接受来自客户端的作业请求启动并监控应用程序

源代码解析

applicationAttemptId,ListResourceRequest

ask,

中的工作节点管理组件是运行在每个集群节点上的本地资源监控器。

它的职责是

1资源报告定期向

负责启动和监控该节点上的容器Container并报告容器的状态包括运行的任务。

3任务执行当收到

{super.serviceStart();this.nodeStatusUpdater

createNodeStatusUpdater(context,

dispatcher,

metrics);this.nodeStatusUpdater.init(getConfig());this.nodeStatusUpdater.start();}

}ApplicationMaster

是为每个应用程序专门启动的组件它是应用程序的控制中心。

它的主要任务包括

1协调资源与

2任务调度与监控将获得的资源分配给应用中的不同任务并监控任务的执行状态。

public

AllocateRequest.newInstance(this.responseId,

progress,

resourceManager.allocate(allocateRequest);return

response;}

CPU、内存、磁盘和网络等资源。

一个任务将在容器内运行。

NodeManager

YARN

appSubmissionContext.getApplicationId();

resourceManager.submitApplication(appSubmissionContext);资源请求

ApplicationMaster

scheduler.allocate(applicationAttemptId,

ask,

监控任务的执行进度。

如果某个任务执行失败它可以重新申请资源并重试该任务。

NodeManager

ApplicationMaster

允许多种类型的应用程序并发执行支持集群资源的动态管理能够根据需要扩展作业或收缩资源。

容错性ApplicationMaster

NodeManager

Scheduler最简单的调度器按任务提交的顺序调度适合简单的集群环境。

Capacity

Scheduler将资源按容量划分给不同的队列每个队列拥有一定的资源容量按队列的形式分配资源每个队列有固定的容量限制适用于多租户集群。

每个队列可以再按需分配资源适用于多租户场景。

源码中CapacityScheduler

Scheduler公平调度根据公平性原则分配资源将集群资源平均分配给所有作业确保所有作业公平共享资源。

调度器的核心逻辑是基于

YarnScheduler

applicationAttemptId,ListResourceRequest

ask,

中资源分配的逻辑是基于每个队列的容量、应用程序的优先级以及当前可用资源情况来决定的。

容错机制

ApplicationMaster继承先前的工作状态继续调度剩余的任务。

NodeManager

容错如果某个