NVIDIA把全双工语音模型的工具调用拆成前后端

露露躲着榴莲 · 2026-09-20T01:44:30.000Z

NVIDIA这篇研究把全双工语音模型的工具调用拆开处理：前端先发出委托 token，把流式转录交给文本后端 LLM，再用轻量的 prefill-and-repeat 接回结果，最后交给流式 TTS 说出来。干净条件下，商用双工语音模型只能完成 31%～51% 的客服任务，文本模式的 GPT-5 能到 85%。新架构的工具调用召回率做到 92.0%～97.2%，拒绝无关调用的准确率为 81.2%，轮流说话、ASR 词错率和语音理解都维持在原有水平。看下来，损失更多卡在语音链路。

讨论话题

发现产品榜单精选讨论