有家团队在开放日上开源了一个面向混合专家训练的专家并行通信库,还是宽松许可证。平时这类东西没什么存在感,真做大规模训练就知道有多要命。 混合专家结构最费的往往不是计算,是通信。每个 token 都要路由到不同专家,跨卡跨机搬数据,通信没跟上…
OpenAI 说,他们和 AMD 用不到五个月,就做出了相当于之前一年左右的进展。AMD 工程师维护了好几年的 RTL,模型跑几遍可能就改得面目全非了。 以后会不会变成 AI 自己设计芯片,再用这些芯片训练下一代 AI,接着继续设计下一代芯…
看到有人在 Lean 里推进黎曼猜想的形式化证明,突然有点恍惚:这道题真要被啃下来,NP 问题是不是也就剩时间了?当然中间还隔着一大截,先别急着给人类发永生证书。