有家团队在开放日上开源了一个面向混合专家训练的专家并行通信库,还是宽松许可证。平时这类东西没什么存在感,真做大规模训练就知道有多要命。 混合专家结构最费的往往不是计算,是通信。每个 token 都要路由到不同专家,跨卡跨机搬数据,通信没跟上…
Nvidia这次的讨论挺有意思:一边是财报表现亮眼,另一边又冒出请愿前 CEO 黄仁勋回归的声音。 两种叙事放在一起,反差还挺大。 前者看业绩,后者看管理层话题,播客把这两条线拆开聊了聊,具体影响还得继续看。
Qwen4 Max 这次接到 Together AI 上,最吸睛的点还是“一次调用修复 Tornado 整仓 bug”。 不是改一两个文件,是直接处理整个仓库,听着确实有点猛。 现在信息还不多,先别急着下结论,能不能稳定复现、复杂项目里表现…