有时候在迁移过程中,源端字段可能被修改了,这些都存储在元数据库里,通常我们一般配置的hive元数据库都是mysql。所以我们最快的速度查出结果,就是在mysql里查。
然后对比2端表的md5就可以找到哪个表有问题了,再针对这下表结构有问题的,进行修改字段。
首先连接hive3.0版本的mysql
代码如下
SET SESSION group_concat_max_len = 1000000;select database_name,table_name,md5(column_names) from (SELECT d.NAME AS database_name,t.TBL_NAME AS table_name,GROUP_CONCAT(c.COLUMN_NAME ORDER BY c.INTEGER_IDX) AS column_names
FROM DBS d
JOIN TBLS t ON d.DB_ID = t.DB_ID
JOIN COLUMNS_V2 c ON t.TBL_ID = c.CD_ID
GROUP BY d.NAME, t.TBL_NAME )a