产品派
返回

谷歌发布EmbeddingGemma 2统一五种模态嵌入

AIInfoQ 中文站2026/10/30 18:01:22
AI 导读

谷歌推出了开放权重多模态嵌入模型 EmbeddingGemma 2。该模型基于 Gemma 4 构建,采用 Apache 2.0 许可证,重点优化语义搜索、检索增强生成(RAG)、分类和聚类等场景,并针对手机、笔记本电脑等消费级设备进行低延迟部署设计。

EmbeddingGemma 2 可用于在文档、屏幕截图和录音中查找与查询相关的内容,也支持通过自然语言搜索源代码,或根据文字描述检索视频。其核心能力是把文本、代码、图像、视频和音频映射到统一的768维嵌入空间,使不同媒体之间能够直接基于语义相似度进行比较,开发者无需分别维护互不兼容的向量空间。

模型支持按应用需求加载不同编码器,参数规模从仅处理文本和代码的2.7亿参数版本,到覆盖完整多模态能力的7.4亿参数版本。谷歌称,EmbeddingGemma 2 在代码搜索和技术内容检索方面明显优于上一代,适合用于本地代码库索引和智能体代码搜索,目前已在 Hugging Face 提供下载。

EmbeddingGemma 2 还支持套娃表示学习(MRL),允许将768维向量截断为更短的长度,以减少存储和计算开销。以 bfloat16 保存100万个768维向量约需1.5GB内存,截断至128维后约需250MB,仅为原来的六分之一。代价是检索质量会下降:128维时,文本任务大约保留90%的效果,而图像、视频和语音检索约保留75%。因此,谷歌建议仅在存储空间或搜索速度确有要求时采用截断方案。

社区反馈认为,共享语义空间同时容纳图像和音频是该模型最具吸引力的能力,但纯文本任务的提升幅度相对有限。使用时还需注意任务前缀:索引文档应采用“title: none | text: ”,误用查询前缀可能导致召回率明显下降。若使用MRL,应先截断向量,再对较短向量执行L2归一化;如果先对768维向量归一化后再截断,最终范数将不正确。

上一代 EmbeddingGemma 于前一年发布,主要面向离线和隐私敏感场景,例如本地搜索个人文件、配合 Gemma 3n 构建移动端RAG流程,以及开发特定领域聊天机器人。新版本在此基础上扩展了跨模态检索能力,并继续强调端侧运行和数据本地处理。

多模态模型向量嵌入语义检索RAG端侧AI

本文基于公开渠道信息整理,内容可能存在不准确或遗漏之处,不代表本站立场,如内容涉及侵权或错误,请联系我们处理。

阅读原文