20250120 Flink 中的 Rescaling 算子

通俗地说，Rescaling 就是 Flink 中对任务的并行度（Parallelism）进行调整的过程。简单来说，就是在任务运行时或重新部署时，改变 Flink 应用中算子的工作线程数量，使其能够更好地适应数据量的变化或资源的可用性。

类比：可以把 Flink 的 Rescaling 想象成一家工厂的生产线。如果工厂原本有 5 条生产线，但由于订单增加，需要增加到 10 条生产线，那么工厂就会对生产资源进行重新分配。类似地，Flink 的 Rescaling 就是调整流处理任务中“工人”的数量。

并行度（Parallelism）：
- Flink 的每个算子（Operator）都有并行度，表示多少个任务实例（Task）同时在处理数据。
- Rescaling 就是调整这些任务实例的数量。
分区重分布（Partition Redistribution）：
- Rescaling 的过程中，Flink 会对数据的分区进行重新分布，使数据能够均匀分配到新的并行任务中。
- 类比：如果工厂从 5 条生产线扩展到 10 条生产线，原来每条生产线上的工作（数据分区）需要重新分配到新的生产线。
状态迁移：
- 如果任务是有状态的（比如窗口累积），在 Rescaling 时需要将状态迁移到新的任务实例中。
- Flink 会通过 Checkpoint 和 Savepoint 来实现这一点，确保数据一致性。

现状：
- 假设你有一个 Flink 应用，当前的并行度是 4。每个并行任务处理部分数据。
增加并行度：
- 比如你将并行度从 4 增加到 8。
- Flink 会将之前 4 个任务中的数据重新分配到新的 8 个任务中。
状态迁移：
- Flink 会将每个任务的状态（如窗口累积的中间结果）迁移到新的任务实例中。
- 通过 Checkpoint 或 Savepoint 来保证状态一致性。
重新分区：
- 原来的数据分区可能需要被拆分或重新分布，以适应新的并行度。

场景：
- 你有一个工厂生产饼干，原来有 4 条生产线，每条生产线负责一部分任务。
- 随着订单量增加，工厂需要扩展到 8 条生产线。
Rescaling 的作用：
- 增加生产线数量（并行度）。
- 把原来 4 条生产线上的工作重新分配到 8 条生产线，保证工作量均衡。
- 把原来积累的半成品（状态）迁移到新的生产线上，确保不会丢失或重复处理。

场景：
- 假设有一个外卖配送团队，原来有 4 个配送员负责整个城市。
- 如果订单量增加，你需要增加到 8 个配送员。
Rescaling 的作用：
- 增加配送员数量（并行度）。
- 原来由 4 个配送员负责的区域，需要重新分配到 8 个配送员，让每个配送员的工作量均衡。
- 确保原来已经接单但未送达的外卖（状态）能够正确地交接到新的配送员。

通过 Savepoint 和重新提交作业

# 保存 Savepoint
flink savepoint <job-id> <savepoint-path># 使用新的并行度恢复
flink run -s <savepoint-path> -p <new-parallelism> <jar-file>