有家团队在开放日上开源了一个面向混合专家训练的专家并行通信库,还是宽松许可证。平时这类东西没什么存在感,真做大规模训练就知道有多要命。 混合专家结构最费的往往不是计算,是通信。每个 token 都要路由到不同专家,跨卡跨机搬数据,通信没跟上…
这两天打开 Codex 的模型列表,突然多了个 6.2 Sol,没公告,就这么悄悄推了。#AI模型 先说下自己的体感:同样开“极高”,给个人日记站做重构,半小时改了两千来行,Plus 的 5 小时额度才掉了二十几个点,比 6.1 Sol 省…
刚看到一篇论文,说是做了个能验证 LLM 生成 GPU 内核的编译器,目标是给 CUDA 代码做“合同级”保证。说白了,模型写完以后,编译器得替它证明这段代码满足预先写好的约束,结果不对就别放行,不是简单跑几个测试就算完事。 这东西真能落地…