Airbnb将推荐嵌入更新延迟降至10至30秒
Airbnb为开源特征平台Chronon增加推送模式(Push Mode)和近实时(NRT)模型转换能力,使房客产生搜索、浏览等行为后,序列推荐所使用的嵌入向量通常能在10至30秒内完成更新,整体延迟从接近两天压缩到不到一分钟。相关改动带来离线NDCG提升1.67%,在线A/B测试中的未取消订单量增加约0.33%。
这套能力建立在基于JourneyFormer的序列推荐系统之上。该系统使用Transformer编码器处理房客的预订、评论和浏览历史,过去以每日批处理方式生成嵌入,并将结果写入低延迟存储。搜索排序时,系统会取出嵌入并结合实时查询,但批处理完成后的新行为必须等到下一轮任务才能生效,加上数据处理时间,实际滞后接近两天。
为改善数据新鲜度,Chronon的推送模式会在流式处理完成特征值提交后主动通知下游,避免轮询或等待定时任务;近实时模型转换则允许已部署模型直接在流式流水线中运行。Airbnb继续使用与线上系统相同的Transformer序列编码器,不必为流处理场景另行开发一套推理逻辑。
新的流水线会收集搜索、房源浏览等事件,并将其与房客已有的短期及长期序列数据合并。特征状态更新后,系统随即触发模型推理,生成的嵌入写入与批处理共用的低延迟存储。这样一来,在线排序流程基本无需调整,但检索到的用户表示能够更及时地反映最新行为。
Airbnb基础设施高级软件工程师Pengyu Hou表示,近实时模型转换弥合了事件驱动数据处理与模型推理之间的衔接空白,使Chronon可以在流式处理路径中直接调用已经部署的模型。该设计体现了特征服务的一种思路:在底层特征变化时更新预测,而不是等到每次用户请求到来后再计算。
类似方案也出现在其他开源特征平台中。例如,Feast提供缓存预测架构,由特征更新触发推理,以更高的写入量和流水线复杂度换取更低的服务延迟。Chronon则把流计算与模型转换整合进特征平台,重点维持离线计算和在线推理之间的一致性,并加强统一管理与可观测性。
Airbnb已将推送模式和近实时模型转换贡献回公共Chronon代码库。该平台同时支持批处理与流式计算,并提供在线特征服务,目标是让训练阶段使用的特征处理逻辑与生产环境中的推理保持一致。
本文基于公开渠道信息整理,内容可能存在不准确或遗漏之处,不代表本站立场,如内容涉及侵权或错误,请联系我们处理。
阅读原文