[数仓]十二、离线数仓(Atlas元数据管理)

news/2024/9/13 23:30:08/ 标签: Atlas

第1章 Atlas入门

1.1 Atlas概述

Apache Atlas为组织提供开放式元数据管理和治理功能,用以构建其数据资产目录,对这些资产进行分类和管理,并为数据分析师和数据治理团队提供围绕这些数据资产的协作功能。

Atlas的具体功能如下:

元数据分类

支持对元数据进行分类管理,例如个人信息,敏感信息等

元数据检索

可按照元数据类型、元数据分类进行检索,支持全文检索

血缘依赖

支持表到表和字段到字段之间的血缘依赖,便于进行问题回溯和影响分析等

1)表与表之间的血缘依赖

2)字段与字段之间的血缘依赖

1.2 Atlas架构原理

第2章 Atlas安装

1)Atlas官网地址:Apache Atlas – Data Governance and Metadata framework for Hadoop
2)文档查看地址:https://atlas.apache.org/2.1.0/index.html
3)下载地址:
        https://www.apache.org/dyn/closer.cgi/atlas/2.1.0/apache-atlas-2.1.0-sources.tar.gz

2.1 安装环境准备

        Atlas安装分为:集成自带的HBase + Solr;集成外部的HBase + Solr。通常企业开发中选择集成外部的HBase + Solr,方便项目整体进行集成操作。以下是Atlas所依赖的环境及集群规划。本文只包含Solr和Atlas的安装指南,其余所依赖服务的安装请参考前边章节。

服务名称

子服务

服务器

hadoop102

服务器

hadoop103

服务器

hadoop104

JDK

Zookeeper

QuorumPeerMain

Kafka

Kafka

HBase

HMaster

HRegionServer

Solr

Jar

Hive

Hive

Atlas


http://www.ppmy.cn/news/1475836.html

相关文章

DDD学习笔记七

将设计模式应用于模型设计 策略模式 策略模式着重解决以下类型的需求: ❑ 算法与多种变体需要不时替换。 ❑ 未来有新增的算法。 ❑ 一个类中某个行为有较多的分支,且需要时常维护。 ❑ 希望隐藏算法的逻辑或数据。 策略模式的建模步骤如下:…

C 语言 do while 语句

do while循环是 C 语言中的一种循环结构,它至少执行一次循环体内的代码,然后再根据条件判断是否继续执行。这与 while 循环不同,while循环在开始时就会检查条件,如果条件不成立,则循环体内的代码一次也不会执行。 下面…

聊聊自动驾驶中的LiDAR和Radar

LiDAR(光检测与测距)和Radar(无线电波检测与测距)是两种不同的遥感技术,它们在原理和应用上存在一些区别: 原理上的区别: LiDAR: 利用激光脉冲进行测距。通过测量激光从发射到反射…

在生产环境中部署Elasticsearch:最佳实践和故障排除技巧——安装篇(一)

#在生产环境中部署Elasticsearch:最佳实践和故障排除技巧——安装篇(一) 前言 关键字: 机器学习 人工智能 AI chatGPT 学习 实现 使用 搭建 深度 python 事件 远程 docker mysql安全 技术 部署 技术 自动化 代码 文章目录 - -…

uniapp 实现上传文件的功能

上传单个文件 <script setup>const handleUploadClick () > {console.log("上传文件")uni.chooseImage({success: (chooseImageRes) > {const tempFilePaths chooseImageRes.tempFilePaths;console.log("用户选择的图片&#xff1a;", temp…

数字化赋能,加油小程序让出行更便捷高效

在快节奏的现代生活中&#xff0c;每一次加油不仅是车辆续航的必要步骤&#xff0c;也成为了人们日常生活中不可或缺的一环。随着科技的飞速发展&#xff0c;传统加油模式正逐步向智能化、便捷化转型&#xff0c;其中&#xff0c;加油小程序作为这股浪潮中的佼佼者&#xff0c;…

FastAPI 学习之路(四十四)WebSockets

我们之前的分析都是基于http的请求&#xff0c;那么如果是websockets可以支持吗&#xff0c;答案是可以的&#xff0c;我们来看下是如何实现的。 from fastapi import WebSocket, FastAPI from fastapi.responses import HTMLResponseapp FastAPI()html """&…

WEB前端03-CSS3基础

CSS3基础 1.CSS基本概念 CSS是Cascading Style Sheets&#xff08;层叠样式表&#xff09;的缩写&#xff0c;它是一种对Web文档添加样式的简单机制&#xff0c;是一种表现HTML或XML等文件外观样式的计算机语言&#xff0c;是一种网页排版和布局设计的技术。 CSS的特点 纯C…

[Day 29] 區塊鏈與人工智能的聯動應用:理論、技術與實踐

區塊鏈的供應鏈管理應用 區塊鏈技術自2008年比特幣誕生以來&#xff0c;逐漸被廣泛應用於各種領域&#xff0c;其中供應鏈管理是其最有潛力的應用之一。區塊鏈的去中心化、不可篡改和透明性特點&#xff0c;使其在解決傳統供應鏈中的信息不對稱、數據篡改和信任問題方面具有顯…

C调用C++接口

C文件 #include <ctype.h> #include <sys/time.h> #include <sys/stat.h> #include <time.h> #include <stdio.h> #include <stdlib.h> #include <stdint.h> #include <stdbool.h> #include <unistd.h> #include <s…

Macbook pro插移动硬盘没反应,Macbook pro移动硬盘读不了怎么办 macbook插移动硬盘后无法使用

为了弥补Macbook pro硬盘容量的缺失&#xff0c;我们有时候会使用到外接硬盘或移动硬盘。一般来说&#xff0c;这些硬盘都是即插即用的&#xff0c;可能部分要安装插件。不过&#xff0c;在一些特殊情况下&#xff0c;也会遇到插硬盘没反应等问题。本文会给大家解答Macbook pro…

RustChinaConf 2024(Rust中国大会2024)号集令

自六月官宣以来&#xff0c;Rust中国大会2024受到了众多厂商的青睐。目前已经确定的重量级赞助商有&#xff1a; ICP&#xff08;互联网计算机&#xff09;非凸科技在线途游蚂蚁金服JetBrain GEAR Foundation INFINI Labs Greptime 等 其中钻石赞助仅剩少量名额 请有意向赞助大…

勒索防御第一关 亚信安全AE防毒墙全面升级 勒索检出率提升150%

亚信安全信舷AE高性能防毒墙完成能力升级&#xff0c;全面完善勒索边界“全生命周期”防御体系&#xff0c;筑造边界勒索防御第一关&#xff01; 勒索之殇&#xff0c;银狐当先 当前勒索病毒卷携着AI技术&#xff0c;融合“数字化”的运营模式&#xff0c;形成了肆虐全球的网…

Spring Boot 3.3 【二】Spring Boot自动配置机制深度解析

简单动作&#xff0c;深刻联结。在这技术海洋&#xff0c;我备好舟&#xff0c;等你扬帆。启航吧&#xff01; &#x1f31f;点击【关注】&#xff0c;解锁定期的技术惊喜&#xff0c;让灵感与知识的源泉不断涌动。 &#x1f44d;一个【点赞】&#xff0c;如同心照不宣的默契&a…

【数智化案例展】吉林省消防救援总队——基于大语言模型的119智慧助手

‍ 嘉诚信息案例 本项目案例由嘉诚信息投递并参与数据猿与上海大数据联盟联合推出的《2024中国数智化转型升级创新服务企业》榜单/奖项评选。 大数据产业创新服务媒体 ——聚焦数据 改变商业 随着信息时代的迅猛发展&#xff0c;消防人员正面临前所未有的知识爆炸挑战。为了高…

【数据结构】:时间和空间复杂度

目录 如何衡量一个代码的好坏 时间复杂度 概念 计算方法 实例计算 【实例1】 【实例2】 【实例3】 【实例4】&#xff1a;冒泡排序的时间复杂度 【实例5】&#xff1a;二分查找的时间复杂度 【实例6】&#xff1a;阶乘递归的时间复杂度 【实例7】&#xff1a;斐波那契…

防火墙双机热备和带宽管理

拓扑图 实验要求 1.对现有网络进行改造升级&#xff0c;将当个防火墙组网改成双机热备的组网形式&#xff0c;做负载分担模式&#xff0c;游客区和DMZ区走FW5&#xff0c;生产区和办公区的流量走FW4 2.办公区上网用户限制流量不超过100M&#xff0c;其中销售部人员在其基础上…

类和对象(2

*续上文中的运算符重载 4 重载运算符时,有前置和后置的,运算符重载的函数名都是operator, 无法很好区分 所以c规定,后置重载时,增加一个int形参 与前置做区分 5 重载<<和>>时需要重载为全局函数, 因为重载为成员函数时, this指针默认抢占了第一个形参位, 第一个形参…

python爬虫js逆向入门

js基础 在 JavaScript 逆向工程中&#xff0c;常常会遇到一些复杂的代码结构&#xff0c;这些代码可能包含各种函数定义、对象操作、异步调用等。 ### 1. 函数声明和调用function generateSignature(uri, params) { // 将 uri 和参数对象转换为字符串 var data uri ? Objec…

微信小程序,订阅消息

微信小程序&#xff0c;订阅消息&#xff0c;完整流程 1.选择需要的模版 2.前端调用订阅消息 注&#xff1a;tmplIds&#xff1a;模板ID模版id,这里也可以选多个 wx.requestSubscribeMessage({tmplIds: [7UezzOrfJg_NIYdE1p*******],success (res) { console.log(res);wx.g…