银行ETL-监管报送

devtools/2024/10/19 2:19:02/

1104报表

1104报表主要包括:资产负债,表外业务、流动性风险、贷款质量、投向行业和地区、重点客户等。

1104报表分类

普通报表、机构特色类报表。

反洗钱

大额交易、可疑交易。标签分类:疑似犯罪、疑似毒品、疑似传销。

反洗钱—接口报表

在这里插入图片描述

数仓面试题

什么时候用星型模式?什么时候用雪花模型?

在数仓建设时比较适合使用星型模型构建底层数据Hive表,通过大量的冗余来提升查询效率。
雪花模型比较适合用在数据市集。

如果现在有一千张表从一个库到另外一个库的ODS层,你会怎么做?

利用消息队列做数据订阅发布。

说说数仓分层?

  • ODS层:原始数据层。存放原始数据。
  • DWD层:明细数据层。对ODS层数据进行清洗(去除空值、脏数据、超过极限范围的数据)。
  • DWS层:服务数据层。以DWD为基础,进行轻度汇总。
  • ADS层:数据应用层。为各种统计报表提供数据。

为什么要对数仓进行分层?

  • 把复杂问题简单化。
  • 减少重复开发。
  • 隔离原始数据。

说说你对数据仓库的理解?

数据仓库经历三个阶段:简单报表阶段、数据集市阶段、数据仓库阶段。

常见的缓慢变化维处理方式有那三种?

  • 直接覆盖:不记录历史数据,薪数据覆盖旧数据。
  • 新加一行数据(纵向扩展)。
  • 新加两个字段(横向扩展)。

如何控制数据质量?

  • 运用校验机制。
  • 数据内容的比对,抽样对比。
  • 复盘、每月做一次全量。

说一下你们数仓的数据处理流程?

按照数仓分层思想,分为ods贴源层、dw主题层、mid维表层、dm集市层、app应用层。
过程如下:

  1. 数据通过采集或同步落地基于HDFS存储的ods层。
  2. 主题抽取确认。
  3. 构建维表层数据,如时间、地区、产品类别等数据。
  4. 进行数据集市构建如统计结果、用户画像、TopN热门数据。
  5. 进行集市数据的输出到app进行BI可视化展示。

表分类?

  • 实体表:指业务对象。
  • 维度表。
  • 事务型事实表:一般指随着业务发生不断产生数据,特点是一旦发生不会再变化。
  • 周期型事实表:一般指随着业务发生不断产生变化(更新,新增)的数据。

同步策略有哪些?

  • 全量表:存储完整的数据。
  • 增量表:存储新增加的数据。
  • 新增及变化表:存储新增加的数据和变化的数据。
  • 拉链表:对新增及变化表做定期合并。

实体表(用户,商品,商家):每日全量。
维度表(订单状态,审批状态,商品分类):每日全量。
事务型实时表(交易流水,操作日志):数据量大且不变,每日增量表,每日创建一个分区存储。
周期型事实表(订单,请假等):用每日新增和变化表,制作一张拉链表。


http://www.ppmy.cn/devtools/33408.html

相关文章

2024年第七届大数据技术国际会议(ICBDT 2024)即将召开!

2024年第七届大数据技术国际会议(ICBDT 2024)将于2024年9月20-22日在中国杭州的浙江工商大学举行。数据驱动未来,技术引领潮流。从数据挖掘算法的优化,到数据处理速度的提升,再到数据安全与隐私保护的进步,…

AI终端设备的自动化分级

摘要: AI智体被定义为感知环境、做出决策和采取行动的人工实体。 受SAE(汽车工程师学会)自动驾驶6个级别的启发,AI智体也根据效用和强度进行分类,分为以下几个级别: L0——无AI,有工具&#xf…

【数据结构】链表专题2

前言 本篇博客继续探讨有关链表的专题,这片博客的题,提前打个预防针,有点意思哦,哈哈哈,话不多说,进入正文 💓 个人主页:小张同学zkf ⏩ 文章专栏:数据结构 若有问题 评论…

BL124网关支持Modbus转Ethernet/IP

Modbus网关BL120是一款专注于Modbus协议之间相互转换的通信设备。Modbus网关BL120支持多种下行采集协议,包括Modbus RTU和Modbus TCP,同时在上行转发协议方面同样支持Modbus RTU和Modbus TCP。Modbus网关为Modbus RTU和Modbus TCP协议的相互转换提供了稳…

element-ui的bug记录

1.先隐藏元素再显示元素时&#xff0c;导致校验不生效的做法 <el-form-itemlabel"时间长度"prop"timeLength"v-show"form.majorFlag":rules"[{ required: form.majorFlag ? true : false, message: 时间长度不能为空, trigger: blur }…

Unity之ShaderGraph入门简介与配置

前言 ShaderGraph是Unity的一个可视化着色器编辑工具,它允许开发者在不编写代码的情况下创建复杂的着色器效果。ShaderGraph提供了一个直观的图形界面,用户可以通过拖拽节点并连接它们来构建自定义的着色器。用户可以在ShaderGraph中使用各种节点,如数学运算、纹理采样、颜…

Golang | Leetcode Golang题解之第70题爬楼梯

题目&#xff1a; 题解&#xff1a; func climbStairs(n int) int {sqrt5 : math.Sqrt(5)pow1 : math.Pow((1sqrt5)/2, float64(n1))pow2 : math.Pow((1-sqrt5)/2, float64(n1))return int(math.Round((pow1 - pow2) / sqrt5)) }

第20天 多线程

多线程 cpu一次只能处理一条指令&#xff0c;所谓同时是因为人反应不过来 分为多个时间片段&#xff0c;尽可能平均分配给每一个线程 线程的创建 &#xff1a; 第1种方法&#xff1a;继承thread并重写run方法 psvm{ Thread t1 new MyThread1(); Thread t2 new MyThread2()…