merge into
2024/9/23 6:29:50
Iceberg与SparkSQL写操作整合
前言
spark操作iceberg之前先要配置spark catalogs，详情参考Iceberg与Spark整合环境配置。
有些操作需要在spark3中开启iceberg sql扩展。
Iceberg使用Apache Spark的DataSourceV2 API来实现数据源和catalog。Spark DSv2是一个不断发展的API，在Spark版…
Iceberg与SparkSQL写操作整合
前言
spark操作iceberg之前先要配置spark catalogs，详情参考Iceberg与Spark整合环境配置。
有些操作需要在spark3中开启iceberg sql扩展。
Iceberg使用Apache Spark的DataSourceV2 API来实现数据源和catalog。Spark DSv2是一个不断发展的API，在Spark版…