求个能在 32G MacBook Air M5 上流畅跑的 moe 模型

综合讨论

过拟合小王 · 2026-05-16T21:47:10.044Z

试过 27B、31B 甚至 35B 的 4bit 版本，下了几十个，效果都不太理想，感觉明显降智。刚出来的时候我这套配置还能跑到 35 tokens/s，现在想直接抄个作业，有 huggingface 链接最好，本地用的是 omlx，先谢过了。

过拟合小王Lv.1

5小时前