一、数据清洗,你都清洗什么?或者说 ETL 你是怎么做的?
我在这个项目主要清洗的式日志数据,日志数据传过来的json格式
去除掉无用的字段,过滤掉json格式不正确的脏数据
过滤清洗掉日志中缺少关键字段的数据(如缺少用户名,设备型号,等)
过滤清洗掉日志中不符合时间段的记录(由于app上日志上报有延迟等)
对用户的特殊信息进行脱敏,身份证,手机号等
将简单的的数据标准化(用户传过来的数据,经清洗后写入表格)
将重复的数据去重等(如session分割)
二、hive 和 spark 如何关联,关联过程中容易出现什么问题?
如何在DataGrip上使用hive的数据源编写Spark代码_datagrip配置spark-CSDN博客
如何关联:
启动hive的HiveMetaStore服务(hive-server-manager.sh start metastore)
设置spark的日志级别
启动spark的链接服务(10000端口hive在用,可以将spark的端口更改为10001)
遇到的问题:
hive中的数据库和sparksql中的数据库不是同一个,spark指向了本地的而不是集群的hdfs
链接之后,创建库表,上传数据后去集群的mysql中查看dbs中看这个库指向的是hdfs还是本地
需要修改hive的配置文件,然后复制到sparkconf然后分发集群重启就行
三、hive 如何处理 json 数据?
两个方法:
1、将数据视为无结构的string,将传入的json数据看作一条数据然后在hive建表上传
然后使用get_json_object
函数
select get_json_object(line,'$.account') from test_json limit 10;
2、json格式进行映射(这需要jsonSerde的支持),创建表的时候加上ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.JsonSerDe',然后就可读json数据,load就行
hdfs上的数据,导入表中一次后,直接删除,或者叫做移动,所以下一次再导入会说没有这个文件。
3、json_tuple() 可以一次提取多个字段。
select json_tuple('{"action_time":1682219447,"monitor_id":"0001","camera_id":"1","car":"豫A12345","speed":34.5,"road_id":"01","area_id":"20"}','camera_id','road_id','area_id','speed') as (cameraid,roadid,areaid,speed);
四、你的这个 spark 离线数仓的项目的项目架构图,请简单描述一下
数据经flum的抽取,将各个埋点的日志数据传入hive(进行处理sparksql处理)作为ods层,然后对ods层的数据进行清洗脱敏等然后当作tmp临时表,然后将tmp表进行合并生成dwd公共数据明细层,然后以dwd为基础,按天进行轻度汇总,粒度是一行信息代表的行为,例如一天下单的次数,以dws数据层为基础,按主题进行汇总,一个项目可以分为很多的主题,进行汇总,例如某个用户从注册开始到现在下单次数等,ads为各种统计表提供数据。
其中要对整个流程进行调度,监控,权限管理。
五、编写完成的 spark 程序,如何运行?
1、在本地模式运行
编写好的Python代码直接在本地运行
2、在集群环境中运行
编写完成的pyspark程序,上传到虚拟机,要把依赖的文件也上传上去,我这里上传的地址在/home/spark-shell中,然后将jsonsed的依赖jars包拉进去,然后sumit提交spark任务,传入参数,就能运行,在正常的情况下,要把每一py程序写成一个shell脚本,然后任务调度器每天定时调度shell脚本传入日期数据
spark-submit \
--master yarn \
--deploy-mode client \
--conf "spark.pyspark.driver.python=/opt/installs/anaconda3/bin/python3" \
--conf "spark.pyspark.python=/opt/installs/anaconda3/bin/python3" \
--driver-memory 512m \
--executor-memory 512m \
--executor-cores 1 \
--num-executors 2 \
--queue default \
/home/spark-shell/AppLogWash.py $dt
六、spark 本地化运行,提示缺包怎么办?集群提示缺包怎么办?
spark本地化运行,提示缺包:
将所缺少的包导入到External libraries下的 site-packages\pyspark\jars下,重启服务
集群提示缺包 解决方案:
1、运行时,添加jar包依赖,需要使用如下方式:
--jars /opt/installs/hive/lib/hive-serde-3.1.2.jar,/opt/installs/hive/lib/hive-common-3.1.2.jar
2、将两个jar包,提交到hdfs上的spark的jars下:
hdfs dfs -put /opt/installs/hive/lib/hive-serde-3.1.2.jar /spark/jars
hdfs dfs -put /opt/installs/hive/lib/hive-common-3.1.2.jar /spark/jars
七、你这个项目中的 session 分割是什么?怎么做?为什么 要做这个呢?
分割的是用户在App的会话信息。因为APP的session往往持续时间比较长,不像浏览器那样,有固定的30分钟,所以对APP上的行为进行会话内的分析是不准确的 当一个行为发生时间相比较上一个行为的时间超过10分钟,则认为用户刚才将APP后台或者退出了,则从该行为开始属于一个新的会话。
怎么做?
先创建一张原始表,将分割前的数据导入进去。
创建一张表,存储session切割之后的结果。
创建一个类AppLogSessionSplit,通过sparksql完成session会话切割操作
每次开发,可以先使用hive 将sql编写正确,然后再在spark中粘贴。
为什么?
通过对用户的行为按照时间进行session会话的切割,可以对设备的行为按照会话级别粒度进行分析,例如一个用户在一次会话中从哪进入了产品,又从哪退出了产品,在一次会话中用户的停留时长,在一次会话中用户访问了多少个页面等