有家团队在开放日上开源了一个面向混合专家训练的专家并行通信库,还是宽松许可证。平时这类东西没什么存在感,真做大规模训练就知道有多要命。 混合专家结构最费的往往不是计算,是通信。每个 token 都要路由到不同专家,跨卡跨机搬数据,通信没跟上…
我平时跟 AI 对需求,最烦的就是来回改图。Mermaid、Graphviz 的布局全交给算法,出来经常丑得没法看。用 Draw.io 手动拖,又太耗时间,AI 也插不上手。想要的其实就是一种能定义结构、又能自己调关键元素位置的语言。 Re…
官方把自家新模型的效率账拆开了:部署之后,让它去优化自己的运行环境,重写生产环境里的显卡内核,服务成本少了两成。推测解码那块也改了改,token 生成效率提了一成五以上。它还自己设计、跑了几百组架构实验,硬件出故障、训练不稳时也会介入。 单…