大模型加速进入终端，百万级量产落地路径将于上海分享

大模型应用正在从云端问答、推理和代码生成，进一步进入汽车、手机、可穿戴设备、智能家居及物联网终端。2026年10月22日至24日举行的上海站软件开发大会上，阶跃星辰AI终端解决方案架构师袁俊杰将分享相关实践。终端模型不仅要具备理解场景和执行任务的能力，还要满足低延迟、高稳定与大规模交付要求，模型压缩、混合部署、OTA迭代和数据闭环将成为量产关键。

袁俊杰曾参与多个大模型的早期商业化工作，目前聚焦汽车及终端场景，主导相关模型从零落地至100万数量级。他提出的Realtime Voice Agent框架，尝试解决传统ASR、NLU、DM、TTS级联架构带来的延迟累积、语义断层和无法打断等问题，通过端到端流式多模态处理，将语音理解、意图识别、动作执行和语音输出的链路延迟控制在200毫秒以内。框架还支持流式打断、动态修正、语音与视觉及传感器融合，并可通过任务拆解、工具调用、车控接口、导航、健康监测和智能家居协议完成跨终端任务，同时管理短期对话、长期偏好及跨设备记忆。

分享还将讨论端云协同和实际落地难题：端侧模型受芯片内存、存储和算力限制，尺寸、推理性能及响应速度仍不足，复杂任务需要云端增强，因此可采用轻量模型处理高频离线功能、云端模型负责复杂推理的离线优先架构，并结合断网续连、差分隐私和联邦学习。汽车场景将探索座舱与智驾融合、自然语言控制和动态HMI；手机及IoT设备则面向屏幕理解、跨应用操作、日程管理和离线隐私保护。实践中，脱敏数据回流与用户反馈可将迭代周期由月级压缩至周级，自动评测覆盖90%的基础场景，专家评测聚焦10%的长尾问题，同时还需平衡跨设备体验一致性、物理世界理解和记忆同步隐私。大会将设置20个专题论坛，汇聚100余位专家及100多个实践案例，覆盖Agent、AI基础设施、SRE、具身智能等方向。