产品派
返回

OmniMem-Lens上线:长视频问答召回最高提升45.7%

AI量子位2026/11/4 10:49:02
AI 导读

长视频对智能体的难点不只是内容多,还在于固定时间切片会打碎事件因果,并让关键细节淹没在无关画面中。只看画面时,静止镜头里的议题变化可能被漏掉;只听语音时,无台词的场景切换又难以识别。为此,openJiuwen AgentMemory 0.2.0上线了OmniMem-Lens多模态记忆能力。

OmniMem-Lens同时分析视觉与听觉:视觉流捕捉画面变化,ASR语音流识别话题转换,依据两类证据在真实事件边界切分视频,让智能体能够按事件存储和调用,而不是机械地每分钟保存一段。其目标是减少证据碎片化和噪声干扰,使长视频理解更接近人的记忆方式。

系统还建立了三层记忆结构:L1保存事件大纲,L2记录更具体的文本化信息,L0保留原始视频帧,既支持整体理解,也方便回溯细节。L1与L2均可文本化、向量化,能够接入主流向量数据库,现有RAG或Agent技术栈基本无需改造。

视频记忆整理在离线阶段完成,在线提问时先将Query与L1、L2进行语义匹配,只有需要视觉核验时才调取L0帧内容。团队使用Qwen3-VL-8B在Video-MME-L、LVbench和EgoLife-QA上测试,召回精度分别提升8%、6.4%和45.7%,其中EgoLife-QA覆盖高密度日常生活事件,最能体现事件切分的价值。

在响应速度方面,LVbench中直接让Qwen3-VL-8B处理视频需要34.5秒,OmniMem-Lens仅需1.72秒,在线时延降低约97%,速度提升约20倍。其优势在于先查已经整理好的轻量文本索引,而不是每次提问都重新遍历数小时视频。

例如,动画片中“女生离开—男生目送—幻想她变成蝴蝶”的完整事件发生在第14分20秒至第16分50秒,固定一分钟切片会将其拆散,导致系统误把幻想当成现实。OmniMem-Lens可保留完整因果关系。对于画面连续40分钟不变、但会议依次讨论架构、性能压测和排期的场景,ASR则能识别话题转换,避免关键QPS数字被噪声掩盖。

该能力已在AgentMemory 0.2.0发布,WorkSwarm也计划接入,用于记忆日常对话中的视频内容。项目地址为https://gitcode.com/openJiuwen/agent-memory/。

多模态记忆智能体长视频理解RAG

本文基于公开渠道信息整理,内容可能存在不准确或遗漏之处,不代表本站立场,如内容涉及侵权或错误,请联系我们处理。

阅读原文