英伟达发布Alpamayo 2 Edge端到端自动驾驶模型

英伟达发布了端到端自动驾驶模型 Alpamayo 2 Edge。该模型由约 2.45B 参数的视觉语言模型骨干和约 0.2B 参数的动作专家组成，可运行在车规级 DRIVE AGX Thor 芯片上，目标是让车辆理解道路、交通关系与潜在风险，并直接生成驾驶动作。

与输入图像、直接输出轨迹的传统端到端模型不同，Alpamayo 2 Edge要求生成 Chain-of-Causation（CoC）因果链，说明采取某个动作的原因。为适应车载算力和实时响应限制，系统引入 Adaptive Reasoning：常规场景输出 NOMINAL，减少语言模型生成的推理 Token；复杂交互场景才展开完整推理。NOMINAL 不会关闭视觉网络或动作计算，模型也没有公开的独立风险分类器。

训练数据以车辆轨迹中的 Meta-Action 变化为锚点，定位关键帧后由 VLM 生成场景因素与驾驶动作的因果解释，并检查其是否有画面依据、是否符合实际轨迹。英伟达使用 Alpamayo 2 Super 自动标注，再离线蒸馏 Edge 模型，数据规模约为 115,000 小时多摄像头视频和 370 万条 CoC 标注；这种方法避免逐帧产生重复解释，但自动标注仍可能带来教师模型偏差。

完成场景理解后，约 0.2B 参数的 Diffusion Action Expert 负责生成连续控制量，VLM 骨干则提供语义、导航条件和 CoC 推理。每轮输入包含 6 路摄像头、22 帧图像：前向广角与长焦覆盖过去 2 秒至当前时刻，侧向和后向画面覆盖过去 1 秒至当前时刻；同时接收按 0.1 秒间隔记录的 20 个历史 Ego Pose。

Ego Pose 经时间和坐标统一后，可帮助模型结合自身运动判断其他交通参与者的相对变化。动作专家输出加速度和曲率，并通过 Unicycle Model 积分生成轨迹；最终给出未来 6.4 秒内的 64 个 Waypoints，每 0.1 秒一个，包含 XYZ 位置和 3×3 旋转矩阵，同时区分后轴行驶路径与车身朝向。

连续动作采用 Flow Matching 训练，公开配置默认进行 10 步 Euler 积分。训练时，VLM 接收未来轨迹 Token 和 CoT 文本监督，动作专家接收加速度、曲率监督；通过 Detach 隔离梯度，动作损失不会反向更新 VLM，从而分别优化语义理解与运动生成，但也需要额外机制检查上游理解偏差。

为评估推理质量，英伟达引入 AlpaJudge，提供依赖参考解释的 RB 版本和无需参考解释的 RF 版本。RF 综合动作匹配、安全性、场景依据、要素完整性及因果一致性评分，其中动作与安全性占 60%，其余占 40%。它还用于筛选训练数据，使精选数据中的中间分数样本占比从 27% 提高到 81%，但未来 Meta-Action 的使用意味着 RF 主要服务于离线评估和训练。

后训练阶段会综合推理质量、轨迹误差和驾驶舒适度计算奖励，并保留轨迹约束。基于 Alpamayo 2 Super 的实验显示，采用 AlpaJudge 奖励后，模型评分提升 10.2%、人工评价提升 11.4%；基线奖励虽使模型评分提升 13.4%，人工评价却仅提升 1.8%，显示自动评分可能与人工判断存在偏差。由于 AlpaJudge无法完整评估连续驾驶后果，模型还会接入 AlpaGym 和 AlpaSim开展闭环强化学习。