在数据仓库报表开发时，有的报表依赖的表多，虽然在海豚调度任务上是跑成功，但实际上没有跑出数据来。开发人员负责的任务和表越来越多，每天去手动检查费时费力，不去理睬默认是成功的，等到业务或产品发现问题时，又给人一种不专业不负责的感觉。

比较好的方式是用代码进行自动巡检，由于项目现在是用海豚调度器，为了统一及利用海豚调度器的失败通知，下面用海豚调度器来实现自动监测报表是否跑出数据来。

由于海豚调度器是分布式的，后面不但要监测mysql、还要监测hive或hbase，但pyspark可以方便来访问这些数据库，同时不用在不同机器额外安装软件。

1、编写查看mysql的包按日期或月份是否有数据的脚本

from pyspark.sql import SparkSession
from pyspark.sql.functions import col
import sys# 创建SparkSession
spark = SparkSession.builder \.appName("Database Query") \.getOrCreate()# 数据库连接信息
DB_HOST = 'your_db_host'
DB_PORT = 3306  # MySQL默认端口号
DB_NAME = 'your_db_name'
DB_USER = 'your_db_user'
DB_PASSWORD = 'your_db_password'# 检查的日期和月份
DATE_TO_CHECK = '2024-05-22'
MONTH_TO_CHECK = '202404'# 表名和相应的SQL查询语句
TABLE_QUERIES = {'test_measu