CDH6.3.2 集成 atlas2.1.0的各种问题

原创 已于 2022-07-01 15:21:55 修改 · 812 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
于 2022-07-01 15:16:46 首次发布
本文解决了CDH6.3.2集成Atlas2.1.0过程中出现的两个主要问题：一是因Java版本不兼容导致的AbstractMethodError错误，通过删除特定的jar包得以解决；二是由于缺失JSON SerDe支持引发的ClassNotFound异常，通过引入对应的jar包并部署到Hive库中完成修复。

CDH6.3.2 集成 atlas2.1.0的各种问题

1.java.lang.AbstractMethodError: javax.ws.rs.core.UriBuilder.uri(Ljava/lang/String;)Ljavax/ws/rs/core/UriBuilder 的问题

解决办法删除掉javax.ws.rs-api-2.1.jar

linux下搜素 sudo find / -name javax.ws.rs-api*

我的目录在/opt/module/atlas下面
/opt/module/atlas/server/webapp/atlas/WEB-INF/lib/javax.ws.rs-api-2.1.jar
删除掉javax.ws.rs-api-2.1.jar

2.Class org.openx.data.jsonserde.JsonSerDe not found

下载 json-serde-1.3.8-jar-with-dependencies.jar和 json-udf-1.3.8-jar-with-dependencies.jar
放入 /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hive/lib
记得分发到其他集群下面

标签
#java #大数据
pp6563
关注
CDH6.3.2 集成配置 ATLAS-2.1.0
qinxw1687的博客
02-18 2894
APACHE ATLAS安装部署，数据治理。
CDH 6.3.1 集成Atlas
只是甲的博客
12-13 2821
备注: 安装之前 先要准备好 JDK1.8 Zookeeper Kafka Hbase Solr 文章目录一. Atlas下载二.ATLAS源码编译2.1 Intellij IDEA 导入Maven项目2.2 修改pom文件2.3 兼容HIVE2.1.1版本，修改ATLAS源代码2.4 编译2.4.1 JDK版本不够2.4.2 缺少jar包2.5 编译成功三. ATLAS安装3.1 解压3.2 修改配置文件atlas-env.sh3.3 修改配置文件atlas-application.properties3
javax.ws.rs-api-2.1.jar
03-16
javax.ws.rs-api-2.1.jar,javax.ws.rs-api,javax.ws.rs,javax
Atlas2.1.0集成CDH6.3.0部署
十八闲客的博客,专注于大数据运维
07-21 1300
Atlas 是什么?Atlas是一组可扩展和可扩展的核心基础治理服务，使企业能够有效地满足Hadoop中的合规性要求，并允许与整个企业数据生态系统集成。Apache Atlas为组织提供了开放的元数据管理和治理功能，以建立其数据资产的目录，对这些资产进行分类和治理，并为数据科学家，分析师和数据治理团队提供围绕这些数据资产的协作功能。如果没有Atlas大数据表依赖问题不好解决，元数据管理需要自行开发，如：hive血缘依赖图对于表依赖问题，没有一个可以查询的工具，不方便错误定位，即业务sql开发。
javax.ws.rs-api-2.0.1.jar
07-07
javax.ws.rs-api-2.0.1.jar JAX-RS 2.0.1 类库
Atlas2.1.0实战：安装、配置、导入hive元数据、编译排坑
qq_32656561的博客
01-18 3357
2022-01-12T09:31:21,610 INFO [main] org.apache.hadoop.hive.conf.HiveConf - Found configuration file file:/u/module/hive/conf/hive-site.xml Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/mapred/JobConf at org.apache.hadoop.hiv
CDH6.2.1集成Atlas2.1.0 详解
我思，顾我在
11-09 1349
一、Atlas源码下载 官网：http://atlas.apache.org/ 下载地址：https://www.apache.org/dyn/closer.cgi/atlas/2.1.0/apache-atlas-2.1.0-sources.tar.gz 二、pom.xml文件修改 <hadoop.version>3.0.0-cdh6.2.1</hadoop.version> <hbase.version>2.1.0-cdh6.2.1</hbase.version
记录 CDH6.3安装配置Apache Atlas2.0
fairynini的博客
05-20 5210
1 准备工作： 本文档以最新版本为例（2.0） 下载安装： jdk-8u211-linux-x64.tar.gz 地址：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html（千万记住不要使用Linux 自带的jdk,安装过程中有大坑） 下载安装：Apache Maven 3.6.0 地址：http://maven.apache.org/download.cgi（2.0版本最低要求，低于
Hive jar包冲突问题排查解决
12-01 1549
hive jar包冲突问题排查
CDH 6.3.1/6.3.2 集成Atlas2.3.0及问题解决
zyy8155454的专栏
05-18 535
CDH 6.3.1/6.3.2集成Atlas2.3.0及问题解决
Atlas2.1.0与CDH6.3.1版本Sqoop集成问题汇总及解决方案
gmHappy
09-29 1767
集成方案 Atlas编译部分可参照我的另一篇博客：https://gaoming.blog.csdn.net/article/details/108844380 通过添加以下内容在/sqoop-site.xml中设置Atlas hook： <property> <name>sqoop.job.data.publish.class</name> <value>org.apache.atlas.sqoop.hook.SqoopHook</value&
Atlas2.1.0集成CDH6.3.1进行大数据元数据管理
gmHappy
09-28 3220
Atlas源码下载 我选择的是Atlas2.1.0从git下载 git clone -b release-2.1.0-rc3 https://github.com/apache/atlas.git Atlas源码编译 1.修改pom文件 因与CDH6.3.1集成，在repositories中新增以下部分： <repository> <id>cloudera</id> <url>https://repository.cloudera.co
CDH6.3.2集成Apache Atlas2.1.0
Carson073的博客
12-22 1557
CDH6.3.2集成Apache Atlas2.1.0
cdh的hive配置文件位置_CDH6配置 Atlas，及 Hive Hook
weixin_39789042的博客
12-22 677
因为 CDH 社区版不能使用 Navigator，所以需要自己集成一个Apache Atlas。版本说明20200818 Updated: 目前最新版是2.1.0，如果 Hive 版本是3.1一下的，可能存在不兼容问题。在编译前修改下源码，参考这篇。Atlas: 2.0 DownloadCDH: 6.3.1 (Parcels)其它Atlas 依赖 Solr(或 ES)、HBase和 Kafka 来...
基于CM管理的CDH6.3.2集群集成Atlas2.1.0
DaiSnow的博客
03-25 3424
基于CM管理的CDH6.3.2集群集成Atlas2.1.0 大数据平台进行数据治理需要，采用Apache Atlas进行数据治理。下载Atlas2.1.0版本源码包。下载https://www.apache.org/dyn/closer.cgi/atlas/2.1.0/apache-atlas-2.1.0-sources.tar.gz 到windows。 前提CDH集群已经搭建完成，组件服务包含Hdfs、Hive、Hbase、Solr、Kafka、Sqoop、Zookeeper、Impala、Yarn、Sp
Apache Atlas与CDH6.3.2集成部署指南
最新发布
weixin_29069575的博客
06-02 1236
在数据管理领域，数据治理平台扮演着至关重要的角色。它是一个集数据资产管理、数据质量控制、数据安全和合规性于一体的强大工具，旨在确保数据的准确性和一致性，同时为整个组织提供一个可信、标准化的数据环境。本章将引领读者了解数据治理平台的基本概念和作用，概述其在现代企业架构中的重要性。通过简述数据治理平台的主要组件和功能，我们旨在为那些希望理解数据治理在企业级应用中价值的读者，提供清晰而深入的介绍。
大数据平台比较-CDH、HDP、CDP
热门推荐
Allenzyg的博客
08-24 5万+
说到大数据，不得不提一下Hadoop。先来谈一谈 Apache Hadoop与CDH、HDP的比较 一、Hadoop版本综述 不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）、Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称CDH）、Hortonworks版本(Hortonworks Data Platform，简称HDP），对于国内而言，绝大多数选择CD
CDH6.2.1 集成ranger和atlas操作手册
qq_45360515的博客
10-17 3637
本文档旨在描述相关CDH6.2.1集成ranger和atlas的安装配置操作，便于相关使用人员后参考
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值