博客
关于我
apache Atlas 1.2.0 搭建以及hive的集成
阅读量:564 次
发布时间:2019-03-09

本文共 1578 字,大约阅读时间需要 5 分钟。

Apache Atlas 1.2.0 安装入门指南

1. 环境搭建与源码下载

1.1 下载镜像与解压

通过选择适合的镜像获取 Apache Atlas 1.2.0 源码包,并上传至您的 Linux环境下进行解压:

tar -zxvf apache-atlas-1.2.0-sources.tar.gz

解压后即可获得 Atlas 源码目录。

1.2 环境要求

  • Java 1.8:确保 Java 发行版为 1.8。
  • Maven 3.5以上:用于编译源码。
  • Node.js:节点包可能在构建过程中进行使用。

1.3 编译源码

进入 Atlas 源码目录,使用 Maven 进行编译:

mvn clean -DskipTests package -Pdist,embedded-hbase-solr

编译完成后,目标文件会出现在:

/export/servers/apache-atlas-sources-1.2.0/distro/target

2. 配置与环境设置

2.1 核心配置文件解析

修改 atlas-application.properties 配置文件,根据需求调整以下参数:

  • 存储后端配置
    atlas.graph.storage.backend=hbaseatlas.graph.storage.hbase.table=apache_atlas_janusatlas.graph.storage.hostname=localhost
  • HBase配置
    atlas.graph.storage.hbase.regions-per-server=1
  • 通知配置
    atlas.notification.embedded=true

2.2 集成Hive的配置

修改 hive-site.xml 添加 Atlas 插件:

hive.exec.post.hooks
org.apache.atlas.hive.hook.HiveHook

更新 hive-env.sh 文件,添加 HIVE_AUX_JARS_PATH:

export HIVE_AUX_JARS_PATH=/export/servers/apache-atlas-sources-1.2.0/distro/target/apache-atlas-1.2.0-server/apache-atlas-1.2.0/hook/hive

3. 启动服务

启动 Atlas 服务:

Renderer报错是因为缺少某些 Jackson 包,建议手动获取并部署:```bashscp -r hive root@node02:/export/servers/apache-atlas-sources-1.2.0/distro/target/apache-atlas-1.2.0-server/apache-atlas-1.2.0/hook/scp

重启 Hive 后,导入历史数据:

./import-hive.sh

验证服务状态,确保 HBase 和 Solr 正常运行。

Hive 集成详解

5.1 listener机制原理

Atlas通过监听 Hive 的 DDL、DML 事件,构建实体间的血缘关系。

5.2 plug-in开发与部署

修改 hive-site.xml,添加自定义 Hook 插件,确保路径正确。

5.3 数据导入与验证

输入默认账户密码,完成数据导入后,访问 Atlas WebUI 查看数据。

5.4 血缘关系可视化

通过 UI 查看实体间的血缘关系和操作历史,定位数据来源和流向。

通过以上步骤,您可以成功搭建并集成 Apache Atlas 1.2.0 与 Hive,实现元数据管理与数据资产价值提升。

转载地址:http://amvpz.baihongyu.com/

你可能感兴趣的文章
opencv9-膨胀和腐蚀
查看>>
OpenCV_ cv2.imshow()
查看>>
opencv——图像缩放1(resize)
查看>>
Opencv——模块介绍
查看>>
OpenCV与AI深度学习 | 2024年AI初学者需要掌握的热门技能有哪些?
查看>>
OpenCV与AI深度学习 | CIB-SE-YOLOv8: 优化的YOLOv8, 用于施工现场的安全设备实时检测 !
查看>>
OpenCV与AI深度学习 | OpenCV图像拼接--Stitching detailed使用与参数介绍
查看>>
OpenCV与AI深度学习 | OpenCV快速傅里叶变换(FFT)用于图像和视频流的模糊检测(建议收藏!)
查看>>
OpenCV与AI深度学习 | SAM2(Segment Anything Model 2)新一代分割一切大模型介绍与使用(步骤 + 代码)
查看>>
OpenCV与AI深度学习 | YOLO11介绍及五大任务推理演示(目标检测,图像分割,图像分类,姿态检测,带方向目标检测)
查看>>
OpenCV与AI深度学习 | YOLOv11来了:将重新定义AI的可能性
查看>>
OpenCV与AI深度学习 | YOLOv8重磅升级,新增旋转目标检测,又该学习了!
查看>>
OpenCV与AI深度学习 | 使用OpenCV轮廓检测提取图像前景
查看>>
OpenCV与AI深度学习 | 使用Python和OpenCV实现火焰检测(附源码)
查看>>
OpenCV与AI深度学习 | 使用PyTorch进行小样本学习的图像分类
查看>>
OpenCV与AI深度学习 | 使用YOLO11实现区域内目标跟踪
查看>>
OpenCV与AI深度学习 | 使用YOLOv8做目标检测、实例分割和图像分类(包含实例操作代码)
查看>>
OpenCV与AI深度学习 | 使用单相机对已知物体进行3D位置估计
查看>>
OpenCV与AI深度学习 | 初学者指南 -- 什么是迁移学习?
查看>>
OpenCV与AI深度学习 | 十分钟掌握Pytorch搭建神经网络的流程
查看>>