彭思达从三维视觉研究转向具身智能

多机位拍摄结合三维重建，可以让观众在舞蹈表演结束后自由切换视角，甚至观看现实中没有架设过的机位。韩国SM娱乐创始人李秀满今年10月展示了4D Gaussian Splatting（4DGS），该技术已用于女团A2O LITE《NEON》的相关内容。

彭思达在浙江大学攻读博士期间，师从周晓巍，在CAD&CG国家重点实验室ZJU3DV团队研究动态三维人体重建。他参与的Neural Body入选CVPR 2021最佳论文候选，4K4D将动态场景渲染推进至4K实时水平，FreeTimeGS则进一步提升了画质与落地能力。相关技术后来被创业公司4DV.ai采用，并出现在影视内容中。

2023年博士毕业后，彭思达留在浙大软件学院任“百人计划”研究员，研究对象从人体转向街道。他与理想汽车合作自动驾驶仿真，Street Gaussians被用于相关系统。约两年后，随着自动驾驶仿真逐渐收敛，他又将方向转向机器人导航。

在他看来，具身智能不应由视觉单独主导。SuperNav负责决定目标、记忆信息和规划路径，ScaleNav则负责具体执行，相当于导航系统的“大脑”和“小脑”。他更倾向于通用多模态大模型结合Agent的方案，而不是让一个端到端模型直接输出动作。

彭思达认为，直接微调VLM预测动作可能损害模型原有的识别能力，而且3B或4B模型的空间推理能力有限。较大的30B或100B模型通常需要部署在服务器，通信延迟难以满足机器人高频交互需求；实际操作理想上要达到约50Hz，因此行动模块更适合交给本地小模型。感知、推理和上下文理解可由VLM完成，空间记忆可借助SLAM构建，再由VLM理解。

彭思达于2020年3月接触NeRF，并在导师与华为的合作项目中开始研究动态人体。体积视频过去常需128个摄像机，华为希望将数量降至4个；Neural Body正是为稀疏视角重建而做。团队随后围绕采集、重建、渲染和部署优化，提升训练速度与60 FPS实时渲染能力，并将模型压缩到约一两百MB，以适配VR设备。

这些研究最终促成4DV.ai成立，但彭思达认为体积视频主要服务影视和VR，市场范围有限，因此转向想象空间更大的自动驾驶。他还指出，文本更适合承载思考、推理和规划；视觉只是动作智能的重要输入，真正关键的是从动作轨迹中学习因果关系。在具身领域，动作模态而非视觉模态才是核心。