最近折腾了一下 strata，机器是 64GB DDR5 6000 内存，加 RTX PRO 5000 48GB，跑 Qwen3.8-Flash-Next 的 IQ3_XXS 量化。把几个默认参数改掉后，prefill 大约 4500t/s，decode 180t/s，同时挂 5 个会话也还能用。

我实际比较有感觉的是 conversation-cache-mib。Harness 会频繁唤起 sub agent，切会话时如果每次都重新 prefill，时间浪费得挺明显。开了 --conversation-cache-mib 后，历史对话会放到 RAM 里，切换快不少，monitor 面板也能看到缓存了几个会话、用了多少 RAM。这个功能目前不支持多显卡。

显存占不满的话，--expert-cache 别直接用 auto，可以手动设一个值，让更多专家进显存。不过手动填的是下限，得自己一点点试，别一上来就把显存塞满。

如果想开 conversation-cache，但 RAM 不够，可以试试 --resident-experts。默认情况下，专家会在内存和 SSD 保留全量，vRAM 再放一部分高命中专家，RAM 和 vRAM 之间会有重复，比较浪费内存。开低内存模式后，RAM 和 vRAM 分别加载不同专家，能省下不少 RAM。代价是 vRAM 没命中时，要先把显存里的专家回写到 RAM，再从 RAM 读新的进来。

我这张 48GB 的 RTX PRO 5000，专家命中率一直在 99% 左右，回写并没有明显拖慢，省下来的 RAM 反而更实在。

并发用 parallel: X，最多 8 个。IQ3_XXS、上下文 262k 时，我实测每增加一个并发会话大约吃 5.2GB 显存。

我现在用的参数大概是下面这套：

"args": [

"--pack", "C:\\work\\Strata-data\\packs\\iq3_xxs"

"--native", "C:\\work\\Strata-data\\models\\IQ3_XXS\\Qwen3.8-Flash-Next-GSQ-RCO-IQ3_XXS-00001-of-00002.gguf"

"--ple-gguf", "C:\\work\\Strata-data\\models\\IQ3_XXS\\Qwen3.8-Flash-Next-GSQ-RCO-IQ3_XXS-00002-of-00002.gguf"

"--expert-profile", "C:\\work\\Strata\\data\\expert-profile.bin"

"--resident-experts"

"--expert-cache", "19000"

"--prefill", "auto"

"--spec", "4"

"--mtp", "C:\\work\\Strata-data\\mtp\\rt"

"--max-context", "262144"

"--kv", "k8v4"

"--vision"

"--vram-reserve-mib", "3400"

"--pcie-frac", "0.00"

"--spec-min-p", "0.70"

"--conversation-cache-mib", "27648"

"--conversation-cache-slots", "9"

"--conversation-cache-min-free-mib", "8192"

"--prompt-cache-every", "8192"

]