herResource

资源管理器它是一个通用资源管理系统可为上层应用提供统一的资源管理和调度它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。

(1)

针对Hadoop1.0单NameNode制约HDFS的扩展性问题提出HDFS

Federation它让多个NameNode分管不同的目录进而实现访问隔离和横向扩展同时解决了NameNode单点故障问题

(2)

针对Hadoop1.0中的MapReduce在扩展性和多框架支持等方面的不足它将JobTracker中的资源管理和作业控制分开分别由ResourceManager负责所有应用程序的资源分配和ApplicationMaster负责管理一个应用程序实现即引入了资源管理框架Yarn

(3)

hadoop2.0相对hadoop1.0没有JobTracker和TaskTracker进程多了ResourceManager和NodeManager进程

(4)

Hadoop1.0里面map和reduce任务必须提前申请到slotHadoop2.0里面没有slot概念统一变成container容器

(5)

MapReduce经历了完全重构不再是Hadoop的核心组件而成为Yarn上的一种应用框架可替代storm、spark。

。

。

多种计算框架运行

(6)

重构的根本思想将JobTracker两个主要的功能分离成单独的组件这两个功能是资源管理和任务调度/监控。

Yarn

有一个可插拔的调速器组件Scheduler调度的资源就是Container

scheduler不负责应用程序的监控和状态跟踪不保证任务失败情况下对task的重启。

(2)

与NN协商合适的Container和进行Container监控;

AM可以是MapReduce任务、storm任务、spark任务等。

(3)

接收并处理来自ApplicationMaster的Container启动、停止等各种请求

负责启动应用程序的Container执行应用程序的容器,并监控他们的资源使用情况CPU、内存、磁盘和网络并报告给RM;

(4)

Client请求ResourceManager运行一Application

Master实例(step1)

Manager选择一个NodeManager,启动一个Container并运行Application

Master实例(step

Master根据实际需要向ResourceManager请求更多的Container资源(step

3);

Master通过获取到的Container资源执行分布式计算(step4a、step

4b);

Master向NodeManager提供更多Container的信息

(6)

单点故障新版本可以基于Zookeeper实现HA高可用集群可通过配置进行设置准备RM主提供服务备同步主的信息一旦主挂掉备立即做切换接替进行服务

(2)

当NM挂了会通过心跳方式通知RMRM将情况通知对应AMAM作进一步处理

(3)

若挂掉RM负责重启其实RM上有一个RMApplicationMaster是AM的AM上面保存已经完成的task若重启无需重新运行已经完成的task。

Yarn调度器

Scheduler:按提交顺序最简单大应用占用所有集群资源不适合共享集群

(2)

Scheduler专有队列运转小任务预先占一定集群资源导致大任务执行时间落后于FIFO

(3)