livy出错：User: livy is not allowed to impersonate cloudera

异常处理 Error: Could not open client transport with JDBC Uri: jdbc:hive2://hadoop01:10000: Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop....

原因：用户代理未生效。检查core-site.xml文件是否正确配置。<property> <name>hadoop.proxyuser.hadoop.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.hadoop.groups</name> <value>hadoop</value>

远程部署Hive

提到格里芬—Griffin，大家想到更多的是篮球明星或者战队名，但在大数据领域Apache Griffin（以下简称Griffin）可是数据质量领域响当当的一哥。先说一句：Griffin是大数据质量监控领域唯一的Apache项目，懂了吧。在不重视数据质量的大数据发展时期，Griffin并不能引起重视，但是随着数据治理在很多企业的全面开展与落地，数据质量的问题开始引起重视。还是那句话，商用版的解决方...

<property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value> </property> <property> ...

最近在生产中搭建HA机制的集群，碰到不少坑，会在接下来的时间里好好总结下，先说下遇到的一个大坑。我们的需求是：希望通过hive的thrift服务来实现跨语言访问Hive数据仓库。但是第一步，你得需要在节点中打通服务器端（启动hiveserver2的节点）和客户端（启动beeline的节点）的链接。整体的结构如下图所示： 但是整个的配置过程可谓是一波三折，先在数据1节点启动hiveserver2，接着在数据3节点启动beeline链接数据1。出现了以下错误： 坑： Error: Could not open

ubuntu/linux Sorry, user xxx is not allowed to execute '/bin/su' as root on Internal. 创建了新账号，使用sudo提示错误信息： Sorry, user xxx is not allowed to execute '/bin/su' as root on Internal. 解决办法： 检查vim /e...

hive版本 ：3.1.1 我使用 hive 用户通过beeline连接 hiveserver2，报出hadoop安全机制的错误： java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException): User:...

hive远程配置报错

sudo配置临时取得root权限 系统中的普通用户有时需要root权限执行某种操作，要是使用su - root的话必须要知道root的密码，这是不安全的，所以有了sudo，root可以对/etc/sudoers做一定的配置，让普通用户 在不切换到root的情况下，执行一些只有root才能执行的操作。这个文件只能root去修改，建议使用visudo这个命令修改，而不是直接vim /etc/sud

主要修改griffin源码：将依赖改为CDH的包，将其改为通过LDAP认证方式连接Hive server2，通过kerberos方式连接Hive metastore；改为适配ES 7的API调用；修改前端显示bug；Livy使用kerberos，使用客户端调用Livy API时认证的principal向yarn提交application

Livy的CDH环境parcel和csd制作 1. 添加Livy parcel到CM的parcel-repo ll -h mv LIVY-1.0-el7.parcel manifest.json /opt/cloudera/parcel-repo echo "b68875cb5e5dcf437deee5618843b5cd49413d11" > LIVY-1.0-el7.pa...

原文链接：http://blog.xumingxiang.com/367.html参考链接：http://gethue.com/hadoop-hue-3-on-hdp-installation-tutorial/首先集群上安装了ambari和hdp，hdfs和yarn都启动了HA模式，Spark使用的Spark2.1.1master1slave1slave2现在要在主节点master1上安装hue...

当hive.server2.enable.doAs设置成false则，yarn作业获取到的hiveserver2用户都为hive用户。后面发现是hive-site.xml文件出现问题，h文件中的ive.server2.enable.doAs被配置成了true。在使用DataGrap执行Hive语句，进行数据的查询使用select时出现报错。在hive目录下的conf文件下的hive-site.xml文件，添加配置。文件，确保用户是否被授权模拟其他用户（首先检查Hadoop配置文件中的。

1、场景 假设一个超级用户super想要以一个名为joe的用户的名义向hdfs提交作业。super使用kerberos认证，但joe并没有。这要求joe可以使用超级用户认证过了的连接，来操作namenode和job tracker。 这个场景在Apache Oozie中可能会发生。 示例代码： ... //Create ugi for joe. The login user i

由于我们团队是最近上的 Kerberos ，免不了会出现一些问题，现阶段还处于踩坑阶段。希望通过我们的填坑的经历，帮助到同样身处坑内的伙伴。我们使用的 Hortonworks-HDP 环境。 HDFS Delegation Token 问题被发现于一个 Long Running 的 Spark 应用。由于发布周期原因，部分应用超过了 7 天的有效期时间，突然在同一时间，爆发出来。当时觉得很诡异，在...

hadoop的用户代理机制官方文档解读参考Proxy user - Superusers Acting On Behalf Of Other Users。在hadoop的core-site.xml中进行如下设置, 用户“super”就可以代理主机host1和host2上属于组group1和group2的所有用户。<property> <name>hadoop.proxyuser.super

PROXYUSER介绍和应用场景 Hadoop2.0版本开始支持ProxyUser的机制。含义是使用User A的用户认证信息，以User B的名义去访问hadoop集群。对于服务端来说就认为此时是User B在访问集群，相应对访问请求的鉴权（包括HDFS文件系统的权限，YARN提交任务队列的权限）都以用户User B来进行。User A被认为是superuser（这里super user并不等...

解决办法： 在hadoop的配置文件core-site.xml中添加或者修改如下配置信息，再重启hadoop和相关软件应该就可以了。