基于CM管理的CDH6.3.2集群集成Atlas2.1.0

最新推荐文章于 2026-06-17 21:21:54 发布

原创

最新推荐文章于 2026-06-17 21:21:54 发布 · 3.4k 阅读

标签

#数据仓库 #big data

收录于

基于CM管理的CDH6.3.2集群集成Atlas2.1.0

大数据平台进行数据治理需要，采用Apache Atlas进行数据治理。下载Atlas2.1.0版本源码包。下载https://www.apache.org/dyn/closer.cgi/atlas/2.1.0/apache-atlas-2.1.0-sources.tar.gz 到windows。

前提CDH集群已经搭建完成，组件服务包含Hdfs、Hive、Hbase、Solr、Kafka、Sqoop、Zookeeper、Impala、Yarn、Spark、Oozie、Phoenix、Hue等。

windows环境JDK（1.8.1_151以上）、Maven（3.5.0以上）版本最好和Linux中的JDK、Maven版本保持一致。

修改源码并编译

解压apache-atlas-2.1.0-sources.tar.gz压缩包，得到apache-atlas-sources-2.1.0目录，用InetlliJ Idea打开项目文件，修改目录下的pom.xml文件。

在标签中修改组件为CDH中使用的版本。

<lucene-solr.version>7.4.0-cdh6.3.2</lucene-solr.version>
<hadoop.version>3.0.0-cdh6.3.2</hadoop.version>
<hbase.version>2.1.0-cdh6.3.2</hbase.version>
<solr.version>7.4.0-cdh6.3.2</solr.version>
<hive.version>2.1.1-cdh6.3.2</hive.version>
<kafka.version>2.2.1-cdh6.3.2</kafka.version>
<sqoop.version>1.4.7-cdh6.3.2</sqoop.version>
<zookeeper.version>3.4.5-cdh6.3.2</zookeeper.version>

在标签中新增如下依赖源，保存退出 !wq

<repository>
	<id>cloudera</id>
	<url>https://repository.cloudera.com/artifactory/cloudera-repos</url>
	<releases>
		<enabled>true</enabled>
	</releases>
	<snapshots>
		<enabled