作业帮Flink计算资源节省30%的扩缩容与跨池调度实践
作业帮针对 Flink 实时作业固定并行度难以适配负载波动的问题,引入 Flink Kubernetes Operator 内置 Autoscaler,按 JobVertex 结合持续输入、积压与处理能力计算目标并行度,并采用原地扩缩复用 JM/TM 进程。团队回补社区修复,解决缩容后空闲 Slot 分散导致 TM 无法回收的问题,并通过并行度上下界和缩容步长控制扩缩震荡。集群层面引入 Crane 水位控制与任务级 Descheduler 疏解热点,高峰时按名单将作业分流至 Serverless 或离线 K8s 集群,低峰经内存预检后回迁。据其披露,接入 Autoscaler 的作业节省约 30% 计算资源,热点节点 CPU 竞争有所缓解。