• 周日. 6月 26th, 2022

5G编程聚合网

5G时代下一个聚合的编程学习网

热门标签

Hadoop YARN资源管理-容量调度器详解

admin

11月 28, 2021

注意:

根据经验,使用容量调度器是最重要的两点是容量平衡占用百分比和弹性。(注意各个分层队列【父队列和子队列之间的比例配置】之间的容量配置)

这两者之间有一个折中:如果设置刚性容器限制(配置最大容量),则队列变得不那么有弹性,从而背离了容量调度器的关键目标之一。

容量计划支持以下功能:

  • 等级队列– 支持队列的等级,以确保在其他队列允许使用免费资源之前,组织子队列之间共享资源,从而提供更多的控制和可预测性。

  • 容量保证– 队列被分配到电网容量的一小部分,因为一定容量的资源将可供其使用。提交给队列的所有申请都将访问分配给队列的容量。管理员可以配置分配给每个队列的容量的软限制和可选硬限制。

  • 安全性 – 每个队列都有严格的 AML,可控制用户向单个队列提交申请。此外,还有安全卫士,以确保用户无法查看和/或修改来自其他用户的应用程序。此外,还支持每个队列和系统管理员角色。

  • 弹性– 可将免费资源分配给超出容量的任何队列。当未来时间点的队列对这些资源的需求低于容量时,当这些资源上安排的任务完成时,它们将被分配到运行在容量以下的队列上的应用程序(不支持先发制人)。这确保了资源以可预测和弹性的方式可用于队列,从而防止了有助于利用的集群中资源的人工孤岛。

  • 多租赁– 提供一套全面的限制,以防止单个应用程序、用户和队列垄断队列或整个集群的资源,以确保集群不会不堪重负。

  • 操作

    • 运行时间配置 – 管理员可以在运行时安全地更改队列定义和属性(如容量、AML)以安全的方式更改,以尽量减少对用户的干扰。此外,还为用户和管理员提供了一个控制台,以便查看当前向系统中各个队列分配的资源。管理员可以在运行时添加其他队列,但无法在运行时删除队列。
    • 排干应用程序 – 管理员可以在运行时停止排队,以确保在现有应用程序运行到完成时,不会提交任何新应用程序。如果队列处于停止状态,则无法向自己其任何儿童队列提交新的申请。现有应用程序继续完成,因此可以优雅地排出队列。管理员还可以启动已停止的队列。
  • 基于资源的调度– 支持资源密集型应用,其中应用程序可以选择性地指定比默认更高的资源要求,从而适应具有不同资源要求的应用程序。当前,内存是支持的资源要求。

  • 基于用户或组的队列映射– 此功能允许用户根据用户或组将作业映射到特定队列。

参考:

Apache Hadoop 2.7.1 – Hadoop: Capacity Scheduler

Hadoop YARN资源管理-容量调度器(Yahoo!的Capacity Scheduler)

发表评论

您的电子邮箱地址不会被公开。