【Yarn】Web页面中scheduler各参数解释

Queue State

含义:队列的当前状态(如 RUNNING 或 STOPPED

说明:如果队列状态为 STOPPED,新提交的任务不会被调度,但正在运行的任务不受影响

Used Capacity

含义:队列当前已使用的资源占其 Effective Capacity 的百分比

说明:如果队列的 Effective Capacity 是 50%,而 Used Capacity 是 80%,则表示该队列已使用了其分配资源的 80%
Configured Capacity

含义:队列的静态配置容量(百分比),由 yarn.scheduler.capacity.<queue-path>.capacity 定义。

说明:表示该队列在父队列中保证能获得的资源比例。

Configured Max Capacity

含义:队列的静态配置最大容量(百分比),由 yarn.scheduler.capacity.<queue-path>.maximum-capacity 定义

说明:队列可以弹性使用的资源上限(不能超过父队列的容量)。

Effective Capacity

含义:队列实际生效的资源容量(考虑父队列的资源分配后)。

说明:如果父队列的 Effective Capacity 是 50%,子队列的 Configured Capacity 是 80%,则子队列的 Effective Capacity 是 50% * 80% = 40%

Effective Max Capacity

含义:队列实际生效的最大资源容量(考虑父队列的 Max Capacity 后)

说明:如果父队列的 Effective Max Capacity 是 70%,子队列的 Configured Max Capacity 是 80%,则子队列的 Effective Max Capacity 是 70% * 80% = 56%

Absolute Used Capacity

含义:队列当前使用的资源占整个集群资源的百分比

说明:如果集群总资源为 100GB 内存,队列使用了 20GB,则 Absolute Used Capacity 为 20%

Absolute Configured Capacity

含义:队列静态配置的容量在整个集群中的百分比

说明:如果队列的 Configured Capacity 是 50%,父队列的 Effective Capacity 是 80%,则 Absolute Configured Capacity 为 80% * 50% = 40%

Absolute Configured Max Capacity

含义:队列静态配置的最大容量在整个集群中的百分比如果队列的 Configured Max Capacity 是 80%,父队列的 Effective Max Capacity 是 60%,则 Absolute Configured Max Capacity 为 60% * 80% = 48%

说明:

Used Resources

含义:队列当前使用的实际资源量(如内存、CPU)。

说明:上图所示是Memory 2048GB,vCores 1C

Configured Max Application Master Limit

含义:队列允许同时运行的 Application Master(AM)的最大数量,由 yarn.scheduler.capacity.<queue-path>.maximum-am-resource-percent 配置

说明:防止过多 AM 占用资源。

Max Application Master Resources

含义:队列中所有 AM 可使用的最大资源总量(如内存、CPU)

说明:

Used Application Master Resources

含义:队列中当前正在运行的 AM 已使用的资源量。

说明:

Max Application Master Resources Per User

含义:单个用户在队列中可运行的 AM 资源上限

说明:

Num Schedulable Applications

含义:队列中当前可调度的应用程序数量(未被阻塞的)。

说明:

Num Non-Schedulable Applications

含义:队列中当前因资源不足等原因无法调度的应用程序数量

说明:

Num Containers

含义:队列中当前运行的容器(Container)总数

说明:

Max Applications

含义:队列允许的最大并发应用程序数,由 yarn.scheduler.capacity.<queue-path>.maximum-applications 配置

说明:

Max Applications Per User

含义:每个用户在队列中允许的最大并发应用程序数。

说明:

Configured Minimum User Limit Percent

含义:用户资源的最低保障百分比,由 yarn.scheduler.capacity.<queue-path>.minimum-user-limit-percent 配置

说明:当资源紧张时,确保每个用户至少能获得此比例的队列资源

Configured User Limit Factor

含义:用户资源弹性系数,由 yarn.scheduler.capacity.<queue-path>.user-limit-factor 配置

说明:用户最多可使用的资源 = 队列资源 * user-limit-factor

Accessible Node Labels

含义:队列可访问的节点标签(Node Labels),用于跨异构集群调度

说明:

Ordering Policy

含义:队列内应用程序的调度顺序策略(如 FIFO 或 Fair

说明:

Preemption

含义:是否启用资源抢占(由 yarn.scheduler.capacity.<queue-path>.disable_preemption 控制)

说明:当队列资源不足时,是否允许抢占其他队列的资源

Intra-queue Preemption

含义:是否允许队列内部不同用户之间的资源抢占

说明:

Default Node Label Expression

含义:队列的默认节点标签表达式,用于指定任务默认运行的节点类型。说明:

Default Application Priority

含义:队列中应用程序的默认优先级(由 yarn.scheduler.capacity.<queue-path>.default-application-priority 配置

说明:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值