有家团队在开放日上开源了一个面向混合专家训练的专家并行通信库,还是宽松许可证。平时这类东西没什么存在感,真做大规模训练就知道有多要命。 混合专家结构最费的往往不是计算,是通信。每个 token 都要路由到不同专家,跨卡跨机搬数据,通信没跟上…
刚看到一篇论文,说是做了个能验证 LLM 生成 GPU 内核的编译器,目标是给 CUDA 代码做“合同级”保证。说白了,模型写完以后,编译器得替它证明这段代码满足预先写好的约束,结果不对就别放行,不是简单跑几个测试就算完事。 这东西真能落地…
Qwen4 Max 这次接到 Together AI 上,最吸睛的点还是“一次调用修复 Tornado 整仓 bug”。 不是改一两个文件,是直接处理整个仓库,听着确实有点猛。 现在信息还不多,先别急着下结论,能不能稳定复现、复杂项目里表现…