Impala 管理(准入控制)

Impala 管理(准入控制)

1. 准入控制和查询队列

​ 准入控制是Impala 的一个功能，为的是避免对一个繁忙的CDH集群产生过多的内存压力。

​ 准入控制是一个轻量级的去中心化的系统，它适用于负载主要是Impala查询的集群，它以软限制的方式去控制Impala 相对稳定的方式去使用内存，而不是要么执行要么取消的方式限制资源的使用。

​ 但是准入控制并不像YARN 那样那么了解集群的整体负载情况，所以我们可以将YARN 和 Llama 一起使用，Llama 是一个介于YARN 和Impala 的媒介。

​ 如果我们没有启动 Llama, Impala 会使用准入控制单独控制资源管理，我们可以配置：内存限制，查询队列大小，超时队列；

​ 如果启动了Llama，YARN将通过Llama来控制Impala 的资源管理，我们可以配置：查询队列大小， 超时队列，此时内存限制由YARN 动态分配。

怎么配置准入控制

​ 通过cloudera manager 来配置一系列参数，内存限制、查询队列大小、超时队列、并发查询限制等，不通过cloudera manager 的话，只能手动修改配置文件，比较麻烦。

• –default_pool_max_queued 等待队列最大请求数 限制，默认0
• –default_pool_max_requests 默认-1
• –default_pool_mem_limit 默认空
• –disable_admission_control 该参数表示关闭准入控制功能， 默认false
• –disable_pool_max_requests 该参数表示禁用资源池对开发查询请求的限制 默认False
• –disable_pool_mem_limits 禁用内存限制
• –fair_scheduler_allocation_path 指定公平调度器的配置文件的路径，默认