集群资源管理与调度

资源管理方式

1. 静态资源划分：将几圈中的所有资源做出静态划分，将划分后的固定的硬件资源指定给固定的计算框架使用，各框架之间各行其是，互不干扰。
   缺点：资源整体利用率不高，经常会出现集群中有些计算系统资源不足，但是有些计算系统存在大量闲置资源的情形。
2. 独立资源管理：在集群硬件层上抽象出一个功能独立的集群资源管理系统，将所有可用资源当成一个整体来进行管理，并对其他所有计算任务提供统一的资源管理与调度框架和接口，计算任务按需向其申请资源，使用完毕后释放给资源管理系统。
   优点：
   
   • 集群整体资源利用率高
   • 可增加数据共享能力
   • 支持多类型计算框架和多版本计算框架

资源管理抽象模型

1. 概念模型：三要素—资源组织模型、调度策略、任务组织模型
   
   1. 概念模型图
      
   2. 资源组织模型：将集群中当前可用的各种资源采用一定的方式组织起来，以方便后续的资源分配过程。常见的资源组织方式是多层队列方式，其次是平级多队列和单队列模型。
   3. 调度策略：负责以一定的方式将资源分配给提交到系统的任务。常见的调度策略包括FIFO、公平调度、能力调度、延迟调度。
   4. 任务组织模型：将多用户提交的多任务按一定方式组织起来，方便后续的资源分配。
2. 通用架构
   
   说明
   
   • 节点管理器：每台机器上配置，主要职责是不断地想资源收集器汇报本机当前的资源使用情况，并负责容器的管理工作。当某个任务被分配到本节点执行是，节点管