Atlas部署并集成HIVE

原创 已于 2022-08-31 11:34:20 修改 · 4.1k 阅读 · 8 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
收录于
数据治理

当前文章被收录于：

数据治理
7 篇文章 0 人学习

元数据、元数据管理、元数据可视化、血缘管理、元数据查询

订阅专栏 查看详情
于 2022-01-30 11:44:21 首次发布

文章目录

01、概述

  • Atlas：提供元数据管理和治理的服务
    企业可以对 自己Hadoop生态的数据资产 构建目录，进行分类和治理
  • 主要功能：元数据分类、元数据检索、血缘依赖（表到表、字段到字段）
  • 官网：https://atlas.apache.org

架构图

  • Core
    核心组件
    • Type System
      允许 用户 定义和管理 元数据 类型和实体 的组件
      所有由Atlas管理的开箱即用的元数据对象（如：Hive表、HIVE字段）都是用类型建模并表示为实体
    • Graph Engine
      在内部，使用 图模型 来 持久化 元数据对象，并为元数据对象创建的索引 来 加速搜索
      索引持久化到Solr
    • JanusGraph
      存储元数据对象
      元数据持久化到HBase
    • Ingest / Export
      Ingest组件：将元数据添加到Atlas
      Export组件：将Atlas检测到的元数据更改公开为事件
  • Integration
    用户可以使用两种方法管理Atlas中的元数据
    • API
      通过REST API向用户公开，允许对类型和实体的增删查改
    • Messaging
      基于Kafka的消息传递接口
      Atlas使用Kafka作为通知服务器，用于hooks和元数据通知事件的下游消费者之间的通信
      事件由hooks和Atlas编写到不同的Kafka主题
  • Metadata sources
    支持的元数据来源有：HBase、Hive、Sqoop、Storm、Kafka
  • Apps
    • Admin UI
      一个基于web的应用程序，提供搜索界面和SQL之类的查询语言
    • Ranger Tag Based Policies
      Apache Ranger是Hadoop生态系统的高级安全管理解决方案，广泛集成了各种Hadoop组件
      通过Range与Atlas集成，允许安全管理员定义元数据驱动的安全策略，以实现有效的治理

Atlas安装架构图

02、集群规划、版本、环境变量

  • Atlas自带的HBase、Solr等，本文是集成外部的，预装JDK、Zookeeper、Kafka、HBase、Hive

  • 集群规划
    https://yellow520.blog.csdn.net/article/details/115536550

  • 环境变量
    https://blog.csdn.net/Yellow_python/article/details/112692486

03、Solr集群部署

  • Apache SolrTM是 建立在Apache LuceneTM之上的 开源的企业搜索平台
  • 在此处，Solr的作用是：加快元数据的搜索
  • 下载地址：https://solr.apache.org/

在每个节点创建名为Solr的系统用户

useradd solr
echo solr | passwd --stdin solr

解压、修改户主

tar -zxvf solr-7.7.3.tgz
mv solr-7.7.3 solr
chown -R solr:solr solr
mv solr $B_HOME/solr

修改配置文件

vim $B_HOME/solr/bin/solr.in.sh

ZK_HOST="hadoop102:2181,hadoop103:2181,hadoop104:2181"

分发到每个节点

rsync.py $B_HOME/solr

在每个节点，使用solr用户来启动Solr（前提是ZooKeeper在运行）

sudo -i -u solr $B_HOME/solr/bin/solr start

Web端口为8983，任意节点都可

注意Cloud菜单栏

关闭Solr的命令（每台机执行）

sudo -i -u solr $B_HOME/solr/bin/solr stop

04、安装Atlas服务

下载编译好的Atlas：
https://download.csdn.net/download/Yellow_python/79106345

解压、改名

tar -zxvf apache-atlas-2.1.0-server.tar.gz
mv apache-atlas-2.1.0 $ATLAS_HOME

配置

vim $ATLAS_HOME/conf/atlas-application.properties

#########  Server Properties  #########
atlas.rest.address=http://hadoop102:21000
# If enabled and set to true, this will run setup steps when the server starts
atlas.server.run.setup.on.start=false

#########  Entity Audit Configs  #########
atlas.audit.hbase.zookeeper.quorum=hadoop102:2181,hadoop103:2181,hadoop104:2181

05、配置Atlas存储到外部HBase

修改图的存储地址（Zookeeper地址，HBase集群依赖ZooKeeper）

vim $ATLAS_HOME/conf/atlas-application.properties

atlas.graph.storage.hostname=hadoop102:2181,hadoop103:2181,hadoop104:2181

告诉Atlas，外部HBase配置的路径

vim $ATLAS_HOME/conf/atlas-env.sh

export HBASE_CONF_DIR=$HBASE_HOME/conf

06、Atlas集成Solr

vim $ATLAS_HOME/conf/atlas-application.properties

atlas.graph.index.search.backend=solr
atlas.graph.index.search.solr.mode=cloud
atlas.graph.index.search.solr.zookeeper-url=hadoop102:2181,hadoop103:2181,hadoop104:2181

Solr创建collection（图的 顶点、边、全文）

sudo -i -u solr $B_HOME/solr/bin/solr create  -c vertex_index -d $ATLAS_HOME/conf/solr -shards 3 -replicationFactor 2
sudo -i -u solr $B_HOME/solr/bin/solr create -c edge_index -d $ATLAS_HOME/conf/solr -shards 3 -replicationFactor 2
sudo -i -u solr $B_HOME/solr/bin/solr create -c fulltext_index -d $ATLAS_HOME/conf/solr -shards 3 -replicationFactor 2

创建后

07、Atlas集成Kafka

vim $ATLAS_HOME/conf/atlas-application.properties

atlas.kafka.data=Kafka数据存放位置

atlas.notification.embedded=false
atlas.kafka.data=/opt/module/kafka/data
atlas.kafka.zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/kafka
atlas.kafka.bootstrap.servers=hadoop102:9092,hadoop103:9092,hadoop104:9092

08、Atlas集成Hive

解压hook

tar -zxvf apache-atlas-2.1.0-hive-hook.tar.gz

把hook复制到Atlas安装路径

cp -r apache-atlas-hive-hook-2.1.0/* $ATLAS_HOME/

HIVE环境添加HIVE-hook的jar路径

cd $HIVE_HOME/conf
mv hive-env.sh.template hive-env.sh
vim hive-env.sh

export HIVE_AUX_JARS_PATH=$ATLAS_HOME/hook/hive

HIVE配置添加Hook

vim $HIVE_HOME/conf/hive-site.xml

<property>
    <name>hive.exec.post.hooks</name>
    <value>org.apache.atlas.hive.hook.HiveHook</value>
</property>

加入Atlas的HIVE-Hook配置

vim $ATLAS_HOME/conf/atlas-application.properties

######### HIVE Hook Configs #######
atlas.hook.hive.synchronous=false
atlas.hook.hive.numRetries=3
atlas.hook.hive.queueSize=10000
atlas.cluster.name=primary

将Atlas配置文件atlas-application.properties拷贝到HIVE

cp $ATLAS_HOME/conf/atlas-application.properties  $HIVE_HOME/conf/

09、启动Atlas

$ATLAS_HOME/bin/atlas_start.py

浏览器访问hadoop102:21000
端口：21000
账号：admin
密码：admin

10、Hive元数据初次导入

$ATLAS_HOME/hook-bin/import-hive.sh

输入用户名和密码admin

11、Atlas服务密码修改

Atlas配置里，有个用户凭证

cd $ATLAS_HOME/conf
cat users-credentials.properties

文件原本内容如下

#username=group::sha256-password
admin=ADMIN::a4a88c0872bf652bb9ed803ece5fd6e82354838a9bf59ab4babb1dab322154e1
rangertagsync=RANGER_TAG_SYNC::0afe7a1968b07d4c3ff4ed8c2d809a32ffea706c66cd795ead9048e81cfaf034

admin=ADMIN::后面是SHA256算法加密后的密文

把密码修改为123456的方法如下：

1、生成密文

echo -n 123456 | sha256sum

2、替换ADMIN::后面的密文，可直接在原文件上替换，本文是复制一个新文件

cp users-credentials.properties users-credentials-2.properties
vim users-credentials-2.properties

admin=ADMIN::8d969eef6ecad3c29a3a629280e686cf0c3f5d5a86aff3ca12020c923adc6c92

3、修改atlas-application.properties中的身份验证
（如果密文是直接在users-credentials.properties上替换，则省略此步）

vim $ATLAS_HOME/conf/atlas-application.properties

atlas.authentication.method.file=true
atlas.authentication.method.file.filename=${sys:atlas.home}/conf/users-credentials-2.properties

4、重启Atlas

$ATLAS_HOME/bin/atlas_stop.py
$ATLAS_HOME/bin/atlas_start.py

12、附录

en🔉cn
atlasˈætləsn. 地图册；第一颈椎
hookhʊkn. 钩
backend'bæk,ɛndn. 后端
vertexˈvɜːrteksn. 顶点
synchronousˈsɪŋkrənəsadj. 同步的；同时的
embeddedɪmˈbedɪdadj. 嵌入（或插入、埋入）……之中的；v. 使嵌入
SHASecure Hash Algorithm安全散列算法
credentialkrəˈdenʃln. 资格；文凭；v. 给……提供证书

血缘展示样例

标签
#solr #maven #atlas #hive
Atlas集成外部组件—集成Hive、HBase、Kafka
m0_67392182的博客
04-09 974
Atlas只提供一个批量导入元数据到Atlas的工具，原理是通过kafka.utils.ZkUtils获取Topic的元数据信息并写入Atlas。很多人在刚接触这个行业的时候或者是在遇到瓶颈期的时候，总会遇到一些问题，比如学了一段时间感觉没有方向感，不知道该从那里入手去学习。注意：一定要进入atlas用户，因为Atlas的Linux管理账户是atlas，其他账户下可能会报没有权限的错误。Atlas没有提供Kafka Hook，所以不能实时采集Kafka的元数据，需要定期调度批量导入元数据的脚本。
apache atlas与hive、hbase、spark的集成
fan_bigdata的博客
03-03 2611
Atlas 的使用相对简单，其主要工作是同步各服务（主要是 Hive）的元数据，并构建元数据实体之间的关联关系，然后对所存储的元数据建立索引，最终未用户提供数据血缘查看及元数据检索等功能。Atlas 在安装之初，需手动执行一次元数据的全量导入，后续 Atlas 便会利用 Hive Hook 增量同步 Hive 的元数据。手动导入hbase的元数据，与spark任务相关联获取数据血缘关系。
数据治理三-Atlas与Hive数据集成，java面试架构设计
m0_57541068的博客
03-14 777
其实关于Kafka，能问的问题实在是太多了，扒了几天，最终筛选出44问：基础篇17问、进阶篇15问、高级篇12问，个个直戳痛点，不知道如果你不着急看答案，又能答出几个呢？若是对Kafka的知识还回忆不起来，不妨先看我手绘的知识总结脑图（xmind不能上传，文章里用的是图片版）进行整体架构的梳理梳理了知识，刷完了面试，如若你还想进一步的深入学习解读kafka以及源码，那么接下来的这份《手写“kafka”》将会是个不错的选择。Kafka入门为什么选择KafkaKafka的安装、管理和配置。
MateCloud雪花算法：分布式ID生成器原理与应用
最新发布
gitblog_00015的博客
07-10 834
在分布式系统中，如何生成全局唯一且有序的ID是开发者面临的常见挑战。MateCloud作为基于Spring Cloud Alibaba的微服务架构，整合了雪花算法（Snowflake）作为分布式ID生成方案，为多租户低代码平台提供高效可靠的ID生成服务。本文将深入解析MateCloud中雪花算法的实现原理、应用场景及最佳实践，帮助开发者快速掌握这一核心技术。 ## 雪花算法核心原理：64位ID的
Apache Atlas的部署
Sen的博客
07-01 1845
Apache Atlas 的部署 个人公众号 编译atlas 你可以下载官方给出的稳定2.0 的稳定版，也可以clone最新的项目编译，本文以clone最新的项目编译为例： git clone https://github.com/apache/atlas.git cd atlas #修改各组件版本和自己集群的各组件版本一致 vim pom.xml export MAVEN_OPTS="-Xms2g -Xmx4g" #该方式编译不会内嵌HBase和Solr（使用外部HBase和Solr） mvn clea
元数据管理-Atlas的介绍和使用(集成Hive、Solr、Kafka、Kerberos)
迷雾总会解
06-15 4104
概述介绍架构发展架构原理类型系统介绍类型hive_table类型介绍DataSet类型定义Asset类型定义Referenceable类型定义Process类型定义Entities(实体)Attributes(属性)安装安装环境准备安装Solr-7.7.3安装Atlas2.1.0Atlas配置Atlas集成HbaseAtlas集成SolrAtlas集成KafkaAtlas Server配置Kerberos相关配置Atlas集成HiveAtlas启动Atlas使用Hive元数据初次导入Hive元数据增量同步。
数据治理三-Atlas与Hive数据集成
b379685397的博客
02-04 2843
一、安装环境 JDK 1.8 二、安装Hadoop 1、下载hadoop http://mirror.bit.edu.cn/apache/hadoop/选择合适的版本 下载hadoop wgethttp://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz 执行 进行解压，为了方便使用吗，mv进行修改名称 tar -xzvfhadoop-3.3.0.tar.gz mvhado...
元数据管理Apache Atlas编译集成部署及测试
06-27 1212
虚拟机之前部署过（2.7.3版本），略！kafka_2.13-3.2.0.tgz下载地址，速度比较快，如果不行，只能去官网下载了。 查看topic命令 查看具体topic内容命令 🍊2.3、hive 自行官网下载，有积分的花两分快速下载此次主要是增加变量，其路径部署atlas时会涉及到 bin/hive 指定hbase 添加hooks（还需要部署MySQL哟，也可以不部署，采用内嵌模式-应该不影响采集吧，尝试的越多越感觉无知） conf/atlas-application.proper.
Atlas系列-Apache Atlas 独立部署和HA
数据新玩法
08-25 8740
用编译集成的hbase和sorl部署的apache atlas请参见之前的文章:Atlas系列-编译部署 此次介绍的是 集成以独立部署好的 kakfa，solr，hbase的部署方式 本次部署包含一下六部分： apache atlas 独立部署编译 solr集群部署，集成到apache atlas 集成已有HBase集群，集成已有kafka集群 apache atlas的HA hive h...
Apache Atlas系列 -- 部署
runzhliu大数据/容器日记
03-31 3673
Apache Atlas系列 – 部署 标签（空格分隔）： Atlas 文章目录Apache Atlas系列 -- 部署1 Overview2 Atlas 部署3 导入 Hive 元数据 1 Overview Apache Atlas 是什么？ Atlas is a scalable and extensible set of core foundational governance ser...
apache-atlas-2.0.0安装
luoyuan的博客
04-28 1446
一、前提条件 1.安装jdk1.8 2.安装maven3.1以上版本 二、资源下载 1.maven下载 apache-maven-3.6.3-bin.tar.gz 2.atlas下载 apache-atlas-2.0.0-sources.tar.gz 三、安装步骤 1.解压maven tar -zxvf apache-maven-3.6.3-bin.tar.gz 2.配置maven环境变量 v...
搭建Atlas2.2.0 集成CDH6.3.2 生产环境+kerberos
h952520296的博客
10-16 1314
首先确保环境的干净，如果之前有安装过清理掉相关残留确保安装atlas的服务器有足够的内存（至少16G），有必要的hadoop角色准备编译环境mvn3.8.8 必须3.8以上的版本 3.6无法编译java 1.8.0_181 跟你的CDH环境保持一致下载和解压缩源代码该项目的网站可以在这里找到查找并下载 Apache Atlas更改pom.xml在主pom（就是文件夹打开第一个）添加一个包含 maven 工件的 clouder 存储库然后修改对应的cdh组件版本然后修改一些jar包的版本。
元数据与数据治理|apache-atlas2.0.0 源码编译和安装部署(CHD版本)
程序员学习圈
05-02 2260
1.文档地址： 官网地址：https://atlas.apache.org/ 文档地址：https://atlas.apache.org/2.0.0/index.html 下载地址：https://www.apache.org/dyn/closer.cgi/atlas/2.0.0/apache-atlas-2.0.0-sources.tar.gz 2.A...
Apache Atlas 2.0 生产环境独立部署实战：从零搭建Hadoop生态集成
weixin_29038155的博客
03-09 162
本文详细介绍了Apache Atlas 2.0在生产环境中的独立部署实战，重点阐述了从嵌入式模式切换到独立部署的必要性，并提供了从零搭建Hadoop生态集成的完整步骤。内容包括版本规划、HBase、Solr、ZooKeeper等核心依赖服务的部署与配置，以及如何将Atlas与Hive、Sqoop等组件集成以实现元数据自动采集。文章旨在帮助读者构建一个稳定、高性能且易于维护的企业级数据治理平台。
Apache Atlas 2.0 生产环境部署实战：从零构建独立HBase/Solr集群
weixin_29089057的博客
03-03 437
本文详细介绍了Apache Atlas 2.0在生产环境中部署独立HBase和Solr集群的完整实战指南。针对嵌入式部署模式在生产环境下的不可靠与难扩展问题，文章重点阐述了采用独立集群部署的必要性，并提供了从版本兼容性规划、硬件资源配置、ZooKeeper/HBase/Solr集群搭建，到Atlas服务配置与集成的全流程步骤。通过解耦存储与计算，实现各组件独立扩展与高可用，为大规模元数据管理构建稳固基础。
避坑指南：在CentOS 7上独立部署Apache Atlas 2.0，搞定Hadoop 3.1.1、Hive 3.1.0和HBase 2.2.2的版本兼容
weixin_29070861的博客
03-22 165
本文详细介绍了在CentOS 7上独立部署Apache Atlas 2.0的实战指南，重点解决与Hadoop 3.1.1、Hive 3.1.0和HBase 2.2.2的版本兼容性问题。通过环境配置、编译优化、核心参数调优等步骤，帮助用户规避常见陷阱，实现稳定高效的元数据管理部署。
避坑指南：在CentOS 7上独立部署Apache Atlas 2.0，搞定Hadoop 3.1.1、Hive 3.1.0和HBase 2.2.2的版本兼容问题
weixin_28743405的博客
04-03 212
本文详细介绍了在CentOS 7上独立部署Apache Atlas 2.0时，如何解决Hadoop 3.1.1、Hive 3.1.0和HBase 2.2.2的版本兼容问题。通过修改源码依赖、优化配置和解决常见错误，帮助开发者顺利完成部署并提升系统性能。
Apache Atlas 2.0 内嵌HBase-Solr安装避坑指南（附完整配置流程）
gamma的博客
02-18 204
本文详细介绍了Apache Atlas 2.0内嵌HBase-Solr模式的安装与配置流程，提供从环境准备、源码编译到服务联调的完整指南。针对安装过程中常见的端口冲突、内存配置等关键问题，给出了具体解决方案和优化建议，帮助用户快速搭建稳定的元数据管理环境。
CDH6.3.2 集成 atlas2.1.0的各种问题
pp6563的博客
07-01 812
CDH6.3.2 集成 atlas2.10的各种问题1.java.lang.AbstractMethodError: javax.ws.rs.core.UriBuilder.uri(Ljava/lang/String;)Ljavax/ws/rs/core/UriBuilder 的问题解决办法删除掉javax.ws.rs-api-2.1.jarlinux下搜素 sudo find / -name javax.ws.rs-api*我的目录在/opt/module/atlas下面 /opt/module/atla
从售前到落地：我用Apache Atlas 2.0做数据治理的实战踩坑与配置心得
weixin_33734785的博客
04-04 589
本文分享了作者使用Apache Atlas 2.0进行数据治理的实战经验，从售前评估到落地部署的完整过程。详细介绍了Atlas的动态血缘追踪、混合架构支持和开放API体系等核心功能，以及在HBase和Solr部署中遇到的版本兼容性、Solr集合分片等关键问题的解决方案。通过实际案例展示了Atlas如何帮助客户解决复杂的数据治理挑战，最终实现业务价值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小基基o_O

您的鼓励是我创作的巨大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值