Hudi 表支持多种查询引擎对比
Apache Hudi有两种主要的表类型，分别是Copy on Write（COW）表和Merge on Read（MOR）表。
-
Copy on Write（COW）表：
- 特点：
COW表在写入新数据时会创建一个全新的数据文件，保留历史版本的数据文件不变。每次写入都会生成新的数据文件，因此数据不会被覆盖，保证了数据的完整性和可追溯性。 - 使用场景：适用于需要保留完整历史数据版本的场景，如数据仓库、数据湖等，能够提供数据版本管理和数据回滚功能。
- 特点：
-
Merge on Read（MOR）表：
- 特点：
MOR表在写入新数据时会先将数据写入临时文件，然后通过Compaction过程将临时文件合并到基础数据文件中，更新数据文件并删除旧版本。这种方式可以减少写入时的开销，提高写入性能。 - 使用场景：适用于需要高性能写入和查询的场景，如实时数据分析、流式数据处理等，能够提供高效的数据写入和查询能力。
- 特点：
COW 表支持多种查询引擎对比
| 查询引擎 | 快照查询 | 增量查询 |
|---|---|---|
| Hive | Y | Y |
| Spark SQL | Y | Y |
| Flink SQL | Y | N |
| PrestoDB | Y | N |
| Trino | Y | N |
| AWS Athena | Y | N |
| BigQuery | Y | N |
| Impala | Y | N |
| Redshift Spectrum | Y | N |
| Doris | Y | N |
| StarRocks | Y | N |
| ClickHouse | Y | N |
MOR 表支持多种查询引擎对比
| 查询引擎 | 快照查询 | 增量查询 | 读优化查询 |
|---|---|---|---|
| Hive | Y | Y | Y |
| Spark SQL | Y | Y | Y |
| Spark Datasource | Y | Y | Y |
| Flink SQL | Y | Y | Y |
| PrestoDB | Y | N | Y |
| AWS Athena | Y | N | Y |
| Big Query | Y | N | Y |
| Trino | N | N | Y |
| Impala | N | N | Y |
| Redshift Spectrum | N | N | Y |
| Doris | N | N | N |
| StarRocks | Y | N | Y |
| ClickHouse | N | N | N |
通过选择合适的表类型，可以根据不同的需求和场景来平衡数据的一致性、可靠性以及性能需求，从而更好地利用 Apache Hudi 来管理和处理数据。
