shell 实现对Hive表字段脱敏写入新表

embedded/2024/10/20 8:51:28/

数据安全管理,本shell 实现对hive源表敏感字段进行md5加密,然后写入新表;

read -p 交互输入:要脱敏的hive表、分区,示例: test_db.table_name 20240331

生成更新hive分区表的hql: insert overwrite table xxx

备注:仅供参考,可对本shell代码,做进一步修改调整,满足自己的需求。

#!/bin/bash
# 2024.04.19
read -p "请按示例格式输入要脱敏的hive表、分区,示例: test_db.table_name 20240331 ### " table etl_date#获取库名、表名,存入变量
dbname=`echo $table |awk -F. '{print $1}'`
tbl=`echo $table |awk -F. '{print $2}'`target_db=import_db#首先判断目标表是否存在
hdfs dfs -test -e /user/hive/warehouse/${target_db}.db/$tbl
if [ $? -eq 0 ] ;thenecho "${target_db}.$tbl 目标库已经存在...,请确认表结构是否与源表一致"else# 1、 在 ${target_db} like 建表
echo "1、 create table ${target_db}.$tbl like $table;"
beeline -e "create table ${target_db}.$tbl lik

http://www.ppmy.cn/embedded/8886.html

相关文章

爬虫采集:数据存储

目录 1.文本文件数据存储 2.json文件存储 2.1 对象和数组 2.2 json模块方法 3.表格文件存储 3.1 CSV写入 3.1.1 单行写入 3.1.2 多行写入 3.1.3 字典写入 3.2 CSV读取 3.2.1 读取为列表 3.2.2 读取为字典 3.2 EXCEL 写入 3.2.1 使用openpyxl 库 3.2.2 使用panda…

js将后端返回的blob请求下载

首先在请求里加上responseType: blob http({url: ,method: post,headers: {Content-Type: application/json},responseType: blob,data: saveObj })然后再返参里下载 http({url: ,method: post,headers: {Content-Type: application/json},responseType: blob,data: saveObj}…

聊聊路径规划算法(四)——滚动在线RRT算法和BUG算法

基本RRT算法更偏向于遍历所有自由空间直到获取可行路由性,这使得它不能够进行未知或动态环境条件中的机器人实时运动计划。利用滚动计划的思路可以将RRT算法加以完善,使之更具有实时规划能力。 滚动规划 机器人在不确定的或动态周围环境中行走时&#x…

Spring Boot 中整合 Redisson 实现分布式锁

添加 Redisson 依赖:在 pom.xml 文件中添加 Redisson 的依赖。 配置 Redis 连接信息:在 application.properties 或 application.yml 文件中配置 Redis 的连接信息。 使用 Redisson 实现分布式锁:在预减库存的地方使用 Redisson 提供的分布…

MySQL Explan执行计划详解

Explan执行计划 首先我们采用explan执行计划 执行一条sql,发现返回了12个列,下面会详细解释每一列 1、ID列 id列的值是代表了select语句执行顺序,是和select相关联的;id列的值大的会优先执行,如果id列为空最后执行&a…

PL_to_PS中断传输数据

PL_to_PS中断传输数据 实验功能:将PL端的数据存入BRAM,然后在PS端读出数据,用串口打印。通过中断来触发 参考文章: https://www.cnblogs.com/fhyfhy/p/11760986.html [ZYNQ_PS与PL通过BRAM交互(三:PSPL读…

Redis中的订阅发布和事务(一)

订阅发布 PUBSUB NUMSUB PUBSUB NUMSUB [channel-1 channel-2… channel-n]子命令接受任意多个频道作为输入参数,并返回这些频道的订阅者数量。 这个子命令是通过pubsub_channels字典中找到频道对应的订阅者链表,然后返回订阅者链表的长度来实现的(订阅…

【Hadoop大数据技术】——Azkaban工作流管理器(学习笔记)

📖 前言:在前面HDFS分布式文件系统中,我们使用Linux自带的Crontab(定时任务工具)来定时调度任务,但是当业务规模变大并且需要可视化监控任务执行的时候,Crontab就已经不能满足这些需求了。为此&…