启用Kerberos后,如何使用Tez UI

hive on tez安装部署、配置及tez-ui配置 hive有三种引擎:mapreduce、spark、tez,默认引擎为MapReduce,但MapReduce的计算效率非常低,而Spark和Tez引擎效率高,公司一般会使用Spark或Tez作为hive的引擎。 Tez官网:http://tez.apache.org/ 在官网中介绍,Tez的YARN Timeline在Hadoop 2.6.x及以上版本才支持,低版本有些功能并不支持,所以如果想用... 阅读详情

Ambari自从2.7版本以后不再提供TezUI Views,如果集群启用Kerberos,对于如何使用Tez UI呢?我们也搜索了好久资料,一直没有太好的解决方案,经过最近的一些努力,我们现在可以提供一个可选的解决方案(TezUIAssistant),希望能帮到有需要的同学。

  1.  TezUIAssistant安装

1.1 通过网盘下载TezUIAssistant-v1.0.tar.gz

目前只提供x86_64的试用版本。
 

关注我们公众号,输入下载获取网盘地址。

1.2 解压部署

在Hadoop集群节点的Yarn ResourceManager节点的任意目录解压部署,目录结构如下图所示:

2. TezUIAssistant的配置

需要根据集群的节点信息修改3个配置文件

2.1 conf/server.xml

TezUIAssistant使用了tomcat作为web容器,需要根据实际情况修改监听端口。默认为9188。

<Connector port="9188" protocol="HTTP/1.1"
connectionTimeout="20000"
redirectPort="8443" />

2.2 webapps/tez-ui/WEB-INF/classes/config.properties


#yarn timeline server的节点,只能用机器名,不能用ip
yarn.ats.url=http://datanode01:8188/
#yarn resource manager server的节点,只能用机器名,不能用ip
yarn.rm.url=http://datanode01:8088/
#集群是否启用Kerberos
kerberos.enable=true
#tezui使用的principal,建议使用yarn的,权限最高
kerberos.principal=yarn/datanode01@EXAMPLE.COM
#tezui使用的keytab,建议使用yarn的,权限最高
kerberos.keytab=/etc/security/keytabs/yarn.service.keytab
#tezui使用的krb5.con,hdpi集群使用默认值即可,无需修改
kerberos.krb5conf=/etc/krb5.conf
#是否打印keberos调试信息
kerberos.debug=false

#tezui的管理员用户,可以有多个,用,分割
user.admin=yarn,hdfs

#是否检查页面权限,如果为true,则自动增加submit user和rquestuser,如果测试过程中有问题,可以设置为false验证
user.permission.page.check=true

#登录方式,目前支持simple和ldap两种方式
# simple方式,用户名和密码相同即可通过验证,推荐测试使用
# ldap方式,使用ldap里配置的用户名密码验证,推荐生产使用
user.login.type=simple
# ldap地址
user.login.ldap.url=ldap://49.232.213.253:1389/
# ldap用户名的匹配串,${username}在运行时会替换为登录用户名
user.login.ldap.userNameRegx=cn=${username},dc=example,dc=org

# 如果设置为true,部分rm页面可以配置为knox链接
proxy.knox.enable=true
# knox地址
proxy.knox.url=https://datanode01:8443/gateway/default/

具体结合注释进行配置即可。

2.3 webapps/tez-ui/config/configs.js

ENV = {
hosts: {
/*
     * Timeline Server Address:
     * By default TEZ UI looks for timeline server at http://localhost:8188, uncomment and change
     * the following value for pointing to a different address.
     */
//timeline: "http://datanode01:8188",
    // 需要将datanode01:9188 修改为tomcat部署的机器名和端口
    timeline: "http://datanode01:9188/tez-ui/proxy/ats",


/*
     * Resource Manager Address:
     * By default RM REST APIs are expected to be at http://localhost:8088, uncomment and change
     * the following value to point to a different address.
     */
//rm: "http://datanode01:8088",
    // 需要将datanode01:9188 修改为tomcat部署的机器名和端口
    rm: "http://datanode01:9188/tez-ui/proxy/rm",


/*
     * Resource Manager Web Proxy Address:
     * Optional - By default, value configured as RM host will be taken as proxy address
     * Use this configuration when RM web proxy is configured at a different address than RM.
     */
//rmProxy: "http://localhost:8088",
  },


/*
   * Time Zone in which dates are displayed in the UI:
   * If not set, local time zone will be used.
   * Refer http://momentjs.com/timezone/docs/ for valid entries.
   */
//timeZone: "UTC",


/*
   * yarnProtocol:
   * If specified, this protocol would be used to construct node manager log links.
   * Possible values: http, https
   * Default value: If not specified, protocol of hosts.rm will be used
   */
//yarnProtocol: "<value>",
};

需要将文件里的datanode01:9188 修改为TezUIAssistant部署的机器名和端口,其他不需要修改。

3. TezUIAssistant的启停

3.1 启动

使用tomcat的启动方式


 # cd TezUIAssistant安装目录
 ./bin/startup.sh

3.2 停止

使用tomcat的停止方式


 # cd TezUIAssistant安装目录
 ./bin/shutdown.sh

3.3 日志


 # cd TezUIAssistant安装目录
 tail -f logs/catalina.out

4. Ambari里其他组件的配置

启用TezUI,还需要在Ambari里对Yarn、Hive、Tez等组件配置进行修改。

4.1  tez配置


tez.history.logging.service.class = org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService
# datanode01:9188 修改为TezUIAssistant部署的机器名和端口
tez.tez-ui.history-url.base = http://datanode01:9188/tez-ui/
tez.am.tez-ui.history-url.template = __HISTORY_URL_BASE__?viewPath=/#/tez-app/__APPLICATION_ID__
yarn.timeline-service.enabled = true

4.2 hive配置


hive_timeline_logging_enabled = true

hive.exec.failure.hooks = org.apache.hadoop.hive.ql.hooks.ATSHook
hive.exec.post.hooks = org.apache.hadoop.hive.ql.hooks.ATSHook
hive.exec.pre.hooks = org.apache.hadoop.hive.ql.hooks.ATSHook

4.3 Yarn 配置


yarn.timeline-service.enabled = true
yarn.timeline-service.http-cross-origin.allowed-origins = *
# yarn timelien service server所在的机器名
yarn.timeline-service.hostname = datanode01

5. 界面访问

访问地址为 http://datanode01:9188/tez-ui/

5.1 用户登录

参考config.properties的配置,simple方式用户名和密码相同,ldap方式使用ldap的配置信息进行验证。使用ldap登录,可以复用knox的ldap,这样就达到类似sso的效果。

5.2 主界面

5.3 用户退出

为简单起见,默认修改页面右上角的帮助按钮为用户退出功能。

5.4 跳转knox页面

如下图红框里的链接则为外部链接,如果配置了knox跳转,则跳转到knox的页面。对于启用kerberos的集群,ui页面访问也需要配置浏览器的kerberos配置,使用knox访问,则可以避免复杂的配置。knox访问时会弹出一个对话框,输入用户名密码即可访问。

5.5 一些下载文件的功能

对于如下图所示的下载功能,由于在tezui里处理很麻烦,目前是建议访问knox的resource页面后进行下载。

6. TezUIAssistant的适用范围

目前安装里默认为Tez 0.10.2版本,如果适配其他的版本(低版本或者aarch64),只需要将相应版本的文件进行替换(下图红框里的文件),理论上都可以运行(未测试)。

7. 局限性

目前只是根据我们的经验进行了测试,尚不能保证测试很全面,如果问题,请大家反馈给我们。

8.  未来计划

未来TezUIAssistant会集成到HDP3.3.1-002版本里。

Tez学习笔记-UI安装部署 相关版本 tez使用版本:tez-0.8.4.tar.gz tomcat使用版本:tomcat-8.0.36.tar.gz hadoop使用版本:hadoop-2.7.2.tar.gz 修改HADOOP配置文件yarn-site.xml,添加以下内容 yarn.timeline-service.enabled true 阅读详情

相关推荐

从零到一:Hive on Tez的编译与部署实战

本文详细介绍了Hive on Tez的编译与部署实战,包括环境准备、源码编译、集群配置及Tez UI部署等关键步骤。通过对比MapReduce,Tez的DAG执行模型显著提升查询性能,特别适合复杂查询场景。文章还提供了安全环境下的配置建议和性能调优技巧,帮助用户高效集成Tez到大数据生态系统中。

weixin_29093169的博客 312

tez-ui-0.10.1.war

最新版本tez-ui war包,可以解决tez编译问题出现tez-ui编译不进去的问题,现在可以吧这个拿出来自己配置到hadooptez

Hive on Tez实战:从编译到安全环境部署的全流程解析

本文详细解析了Hive on Tez的实战部署全流程,包括核心概念、编译打包、Hive集成及安全环境下的Tez-UI部署。通过优化配置和性能调优,Tez相比MapReduce可提升3-8倍查询效率,特别适合大数据处理场景。文章还提供了生产环境中的常见问题解决方案和关键性能参数设置。

weixin_29074409的博客 339

ubuntu 18.04安装hdp 3.1.0(含安装包)

hdp平台提供centos、ubuntu等平台的安装与使用,本文以ubuntu 18.04操作系统为基础,介绍hdp3.1.0在该平台上的安装与配置,并提供安装包下载,手把手教您搭建属于您的大数据平台。

hidataplus的博客 1586

HDP集群TEZ的WEB UI实现(国产服务器平台PK)

目的 因Ambari管理集群的YARN任务执行查看不到具体执行过程和明细,又执行的引擎为TEZ,故通过TEZ的WEB UI来执行实现任务执行的可视化。 测试环境 1、Ambari2.7.4 2、集群启用kerberose 3、Pk 8c16g/200+300 前提: 1、集群已经安装且正常运行 2、Ambari的管理员账号 3、集群部署安装了Timeline和TEZ 部署配置: tez-ui需要结合yarn的timeline使用,timeline提供了tez-ui的数据源 修改tez配置,tez-site

ITbreeze的博客 1843

CDH启用kerberos 高可用运维实战

​在前的文章中介绍过《CDH集成的kerberos迁移实战》,由此也考虑到kerberos单节点可能引发的线上事故,所有考虑到把线上kerberos服务启用高可用。 ​

涤生大数据 1629

Cloudera CDP实战指南:从CDP安装、CM配置到HDFS/YARN/Hive调优

Cloudera Data Platform(CDP)是现代企业级云原生数据平台的核心代表,它已取代传统CDH,基于Kubernetes构建,融合HDFS分布式存储、YARN资源调度与Hive/Tez计算引擎。理解其架构演进(CDH→CDP)、掌握Cloudera Manager三级配置体系、规避Kubernetes环境部署陷阱(如CNI选型、etcd存储、Operator配置),是保障集群稳定与性能的关键。在真实生产中,HDFS小文件治理、YARN容量队列精细化配额、Hive on Tez会话复用与Shu

weixin_30727835的博客 844

HiveServer2配置与Beeline连接实战:从单机到企业级数据服务

在大数据生态中,数据仓库服务化是支撑多用户并发访问和系统集成的关键架构演进。其核心原理在于通过常驻的、多线程的服务进程,对外提供标准化的JDBC/ODBC接口,将计算引擎与客户端解耦。这一架构的技术价值在于实现了统一的会话管理、资源调度和安全认证,使得数据分析平台能够高效、安全地服务众多分析师和业务系统。典型的应用场景包括企业级BI报表、数据应用集成以及调度任务执行。本文聚焦于HiveServer2这一具体实现,深入解析其核心配置参数,如`hive.server2.thrift.bind.host`和`hi

weixin_33672400的博客 474

Ambari Plus 3.0.2 正式发布|达梦、Kyuubi、双 HA 与小饕助手都到了

Ambari Plus 3.0.2正式发布,带来多项重大更新:新增达梦DM8数据库支持,集成Airflow 3.3.0、Kyuubi 1.11.1和Redis 7.2.14,升级Tez至0.10.5并加入UI,Ranger升级至2.8.0。新增Kerberos和LDAP高可用支持,优化主机管理功能,支持机架配置和差异化参数。服务索引重构提升运维效率,Knox统一入口整合各组件Web UI。AI助手"小饕"升级为智能运维工具,支持集群状态分析与参数优化。版本覆盖EL7/8、Ubuntu 22、Kylin V1

TTBIGDATA的博客 190

Cloudera Hadoop企业级故障排查与调优实战指南

Cloudera Hadoop是企业级大数据平台的核心发行版,其本质是Hadoop生态在生产环境中的深度封装与工程化落地。理解其运行原理,关键在于掌握配置驱动的服务协同机制、Kerberos与Ranger构成的多层安全模型,以及YARN资源调度与Hive/Impala性能调优的数据闭环方法论。它不仅涉及HDFS高可用、HiveServer2故障定位等典型场景,更要求运维与数据工程师具备从Cloudera Manager配置继承链、TLS证书SAN字段校验到LLAP缓存命中率分析的全栈排障能力。本指南聚焦CD

586

Hive3.x集成TezTez-ui详细步骤

执行任务并访问yarn的Tracking ui 将自动跳转到tez-ui。,注意文件夹名称的变化,上面我重命名过!编辑mapred-site.xml文件,并添加如下配置。我这里使用0.10.1版本,并上传到指定目录。将configs.env的权限改成777。在hive/conf文件夹下。

空城的博客 2011

Tez 简介

1.1 Tez 是支持 DAG 作业的开源计算框架,它可以将多个有依赖的作业转换为一个作业从而大幅提升 DAG 作业的性能。Tez UI界面包括应用详情、DAG有向无环图、Vertices信息、任务详情等信息。1.2 Tez 计算引擎结构更加类似于Spark,但却有所区别,二、Tez UI界面。

数仓老六 5073

Ambari-2.7.6和HDP-3.3.1安装

Ambari-2.7.6和HDP-3.3.1安装

hidataplus的博客 4942

hive集群log日志配置_爬虫scrapy框架--log日志输出配置及使用

1、在配置文件中设置日志输出文件名和日志等级1、为什么以日期为文件名?因为这样可以方便开发者查看每天的日志信息,同时也可以防止单文件log日志信息堆积的越来越多,所以将当天日志信息保存到当天的日志文件中2、配置选项有日志等级LOG_LEVEL、日志文件路径LOG_FILE,我这里设置等级为WARNING2、在程序中导入logging模块,对需要输出的内容进行log日志输出我配置的时候用了WARNI...

weixin_29858113的博客 544

hive3编译 on tez+tez-ui配置和遇到的兼容问题与踩坑记录

hive3.x on tez

悦上心灵的博客 6644

HDP3.3.2.0-002实践试范(0)

路演HDP3.3.0.0-002的安装,助力hidataplus作品《HDP3.3》成长

mojiezhongbb的博客 2086
上一篇: Ambari-2.7.6和HDP-3.3.1安装
hidataplus
博客等级 码龄4年 129粉丝 3原创
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值