复旦贾萧松：自动驾驶瓶颈不只在模型架构

贾萧松早期研究车辆与行人轨迹预测，但他认为该任务夹在感知和决策之间，容易受到上下游限制：上游可能丢失行人手势、刹车灯等信息，下游也未必能有效利用多种预测结果。基于导师严骏驰和李弘扬的建议，他转向端到端自动驾驶。端到端的核心价值，是让感知、预测和决策围绕最终驾驶目标共同优化，减少模块间的信息损失和目标错位。

他表示，2021年前后端到端仍不是行业主流，但深度学习在视觉等领域已显示出端到端趋势。团队随后探索了TCP等方案，发现融合轨迹预测与车辆控制两个分支后性能较好。中间任务未必真正带来可解释性，却能为自动驾驶提供重要监督信号，因为海量图像、点云通常只对应很少的驾驶轨迹。即使采用端到端决策，出于安全、保险和监管考虑，仍需通过规则或类似“Harness”的外部机制约束不可接受行为。

在ThinkTwice等研究中，团队曾使用接近无限的仿真数据、100TB硬盘和大量算力训练更大模型，但驾驶能力没有从“还不错”跃升到“完美”，这使贾萧松意识到瓶颈不只是模型规模或数据质量，也在于模仿学习的目标。模仿学习容易让模型利用“前车动就跟着动”等相关性，难以稳定学会红灯停、绿灯行；面对同一场景的多种合理操作，均方误差还可能得到不合理的平均动作，同时模型很少见过犯错后的纠正过程。

因此，他在DriveAdapter中尝试把已有强化学习规划器接入视觉感知模块，经过专门设计后取得效果，并将其视为早期的两阶段端到端训练。强化学习能够通过试错优化实际决策，但从零训练收敛慢、成本高，在CARLA的几十类场景中尚且困难，面对真实世界数百乃至数千种场景更难。贾萧松倾向于“先模仿、再强化”：模仿学习帮助模型快速从零达到较高基础能力，强化学习再通过反馈提升剩余部分；DriveAdapter也因此获得ICCV 2023口头报告。

贾萧松认为，模仿学习与强化学习并非互相替代，而是分别承担基础学习和能力突破的任务。真正开放的问题，是如何让强化学习规模化，使通用模型在大量任务上持续提升，这与大模型领域的在线策略蒸馏等研究方向存在相似之处。

2023年，他进一步将世界模型引入自动驾驶强化学习，目标是降低真实车辆和传统仿真中的试错成本。强化学习可能需要在单个场景尝试数千甚至数万次，真实车辆无法承受这种风险；即使在CARLA中，一张显卡通常也只能同时运行两三个环境。受DeepMind DreamerV3在《我的世界》中通过强化学习挖到钻石的成果启发，他开始思考如何把相关方法用于更复杂、更具实际价值的自动驾驶任务。