Together AI 把 2026 年 6 到 7 月那段 serverless 推理服务的提示词泄露事件说清楚了。 现在能确认的内容不多,核心就是服务里的提示词出现了泄露。 具体影响范围和后续处理,单看这份通报还看不全,先留意后面的更新…
有家团队在开放日上开源了一个面向混合专家训练的专家并行通信库,还是宽松许可证。平时这类东西没什么存在感,真做大规模训练就知道有多要命。 混合专家结构最费的往往不是计算,是通信。每个 token 都要路由到不同专家,跨卡跨机搬数据,通信没跟上…
官方把自家新模型的效率账拆开了:部署之后,让它去优化自己的运行环境,重写生产环境里的显卡内核,服务成本少了两成。推测解码那块也改了改,token 生成效率提了一成五以上。它还自己设计、跑了几百组架构实验,硬件出故障、训练不稳时也会介入。 单…