LeCun论文称1.09亿参数JEPA对齐效果超72B模型

66岁的Yann LeCun与布朗大学助理教授Randall Balestriero于10月29日发布37页论文，研究JEPA能否让独立训练的文本、视觉模型形成可对齐的世界表征。论文并非否定扩大模型规模，而是考察训练目标和样本关系对理解世界的影响。

研究以“柏拉图表征假说”为基础：不同模态虽然分别使用像素或Token描述现实，但模型内部可能逐渐形成相似的统计结构。作者建立数学框架指出，在合适的正样本关系下，不同JEPA模型学到的表示空间可仅相差一个旋转变换。

论文区分Good Views与Bad Views。前者是同一场景的不同照片或不同文字描述，能帮助模型提取共享信息；后者包括文本前后缀、遮挡片段等，可能使模型过多学习单一模态细节。实验显示，采用Good Views训练的1.09亿参数文本JEPA，跨模态对齐得分为0.184，高于Qwen2.5-72B的0.154，也超过Llama-3-70B，参数量约小660倍。

这一“超过”仅针对表征对齐指标，不代表JEPA在推理、编程或问答能力上胜过大型语言模型。训练效率实验中，JEPA用约2160万样本达到下一Token预测模型使用9亿样本取得的相近对齐水平，按样本数计算提升约42倍，按实际读取Token数计算约14倍。

研究还展示了应用潜力：通过线性变换连接分别训练的视觉编码器和文本模型，图像描述系统在COCO上取得0.838的CIDEr；无需成对图文数据拟合变换时，在ImageNet-100上获得64%的Top-5准确率。

LeCun长期认为，仅预测下一个Token不足以构建理解物理世界、保持记忆并进行规划的智能系统。JEPA关注抽象表征空间中的预测。2025年11月他宣布离开Meta筹建新公司，2026年3月其AMI Labs完成约10亿美元融资，核心方向正是世界模型。

LeCun出生于1960年7月8日，曾任Meta首席AI科学家，是卷积神经网络先驱，并与Geoffrey Hinton、Yoshua Bengio共同获2018年图灵奖。Balestriero则研究自监督学习、深度网络理论和表征学习，曾在Meta FAIR与LeCun合作，后任布朗大学计算机科学助理教授。

论文发布后，“1.09亿参数击败720亿参数”引发讨论，并登上Hugging Face热门论文榜。作者强调，相关结论只说明合理的视图构造可能显著提升跨模态表征学习效率，尚不能据此证明JEPA能够取代主流大语言模型。