Netflix重构工作流引擎Conductor：单流程支持3万任务且延迟降低40%

为满足持续扩大的业务需求，Netflix 对其核心分布式工作流编排引擎 Conductor 展开了深度重构。该系统目前承载着 150 个内部应用程序中定义的约 20 万个工作流，每月的工作流执行总量达到约 4.2 亿次。

本次架构升级打破了系统原有的容量边界，将单个工作流所能承载的任务规模从以往的约 2500 个大幅跃升至 30000 个，同时将 p99 级别的工作流评估延迟降低了约 40%，大幅改善了高并发下的执行性能。

在演进历程中，Conductor 经历了多次底层组件更迭：执行数据逐步迁移至 Cassandra，大型输入输出转存至 Amazon S3，并由 Kafka 实现执行路径与索引操作的解耦，分别交由 Elasticsearch 负责检索、Iceberg 负责冷归档。而在 4.0 版本中，团队重点攻克了评估瓶颈。早期引擎在评估时需将完整工作流状态整体载入内存，导致大工作流占用堆内存过高且定义加载缓慢。新架构把元数据与任务和用户数据彻底分离，评估器仅借助轻量蓝图按需拉取下一次决策必需的任务数据，大幅缩减了内存开销与执行延迟。

此外，新版将待处理任务状态与终态任务状态进行分库存储，并在应用层以终态优先原则消除锁竞争，将评估任务交由专用队列进行异步处理，使峰值期曾达数千次的锁重试降至接近零。Conductor 4.0 还集成了原生并发控制、动态线程调度以及类型安全的 Java Workflow SDK，并已在广告创意摄取等场景中投产。随着直播和游戏业务的铺开，其任务量预计还将迎来数倍增长；因转向内部定制演进，官方此前已停止更新原公开仓库，转由社区维护独立分支。