产品派
返回

作业帮通过 Flink 自动扩缩容节省 30% 计算资源

后端InfoQ 中文站2026/11/16 19:01:19
AI 导读

作业帮大数据团队针对实时作业负载波动,构建了从作业内自动扩缩容到集群间弹性调度的资源管理方案,最终使 Flink 计算资源节省约 30%。方案同时处理状态恢复、资源回收、节点热点和高峰资源借用等问题。

实时流量和瓶颈位置并不固定,按峰值设置并行度会造成低峰资源闲置,按日常负载设置又可能引发积压和延迟。作业运行在 K8s 上时,即使 Pod 数量均匀分布,数据倾斜也可能造成节点热点。为此,团队引入 Serverless 节点和离线 K8s 集群作为弹性缓冲,并在高峰过后将任务和 Pod 回迁,归还借用资源。

固定并行度难以应对积压。所需能力不仅取决于当前输入速率,还要考虑已有 lag 以及期望的追平时间。增加 TaskManager Pod 并不一定有效,因为真正决定处理能力的是各个 JobVertex 的并行度;统一扩容还可能让非瓶颈环节浪费资源,因此需要按 JobVertex 分别计算目标值。

团队采用 Flink Kubernetes Operator 内置 Autoscaler,而不是仅依赖 K8s HPA。Autoscaler 根据实际 JobGraph 和运行指标工作,能够识别 Chaining 后合并的 JobVertex,并从 Source 端估算持续输入与积压追赶速率,再沿拓扑传播,结合 output ratio、busy time 和各顶点处理能力计算目标并行度。目标容量还会计入目标利用率、积压追赶以及扩缩恢复期间新增数据等因素,结果经过扩缩幅度、配置边界和 Max Parallelism 限制后执行。

平台将 Autoscaler 接入作业生命周期:提交时开启计算和指标采集,作业进入 Running 后再依据实际 Vertex ID 写入排除项并开启扩缩。需要固定并行度的算子通过名称规则识别;配置更新失败时保留未完成状态并持续重试。扩缩采用 in-place 方式,复用现有 JobManager、TaskManager 进程和 Pod,再由 Adaptive Scheduler 按资源要求重建执行图;有状态任务优先从最近可用 checkpoint 恢复,扩容时按需申请 TaskManager,缩容后则等待多余实例满足回收条件。

在 Flink 1.19.1 的实践中,团队发现并行度从 6 降至 4 后,剩余 Subtask 可能仍分散在 3 个 TaskManager Pod 中,导致空闲 Pod 无法释放。针对这一问题,团队回补 FLINK-33977 的最少 TaskManager 策略,并在 Application 模式启用,使调度器在缩容时优先选择空闲 Slot 较多的实例,尽量集中任务、释放完整空闲的 Pod。

Flink实时计算Kubernetes自动扩缩容资源调度

本文基于公开渠道信息整理,内容可能存在不准确或遗漏之处,不代表本站立场,如内容涉及侵权或错误,请联系我们处理。

阅读原文