KV Cache独立存储产品出现，专用SSD规格仍未统一

随着大模型推理规模扩大，KV Cache已从临时数据逐渐变成需要单独管理的资源。华为推出OceanStor M900，英伟达也发布CMX Context Memory Storage，均尝试对推理过程中产生、后续可能复用的KV Cache进行分层保存，在请求再次命中时减少重复计算。业内认为，即使命中率已达到90%，继续提升至95%仍有价值，因为需要重新计算的数据比例会从10%降至5%，对应算力开销减少一半。

但提高命中率也意味着要保存更多历史缓存，尤其是覆盖长尾数据时，容量需求可能快速增加。不同应用的缓存生命周期差异明显，消费类业务可能在几分钟或一两个小时后清理数据，企业应用则可能需要保留数天甚至数周，因此跨请求保存KV Cache的价值也并不相同。是否值得存储，首先取决于节省的计算成本能否覆盖存储成本。

存储介质的选择同样不能简单按容量一比一替换。若DRAM价格低且供应充足，将缓存全部放在DRAM中性能最好，但现实是DRAM价格高、供应也紧张。业内估算，DRAM与SSD的替代关系更接近一比多，在部分方案中可能达到1比5甚至1比10；按相同容量计算，DRAM与企业级SSD的成本差距还可能达到数十倍。企业虽然可以用SSD承接更多缓存，却必须同时权衡容量、性能和采购规模。

目前多数推理场景还没有发展到必须采购独立KV存储设备才能运行。企业通常会先用满服务器内已有的DRAM、内存池和本地SSD，再逐步引入外部存储。M900和CMX的出现，说明原本主要发生在服务器内部的KV分层，正向独立共享存储层扩展。

不过，专门承载KV Cache的SSD尚未形成统一品类。市场已经开始讨论面向AI推理优化的产品，但客户目前采购的仍以三星、闪迪、美光等厂商的普通企业级SSD为主。一个重要原因是负载特征尚未稳定：有方案最初要求约3 DWPD，后来提高到9 DWPD，未来甚至可能在5和12之间变化。DWPD代表SSD每天可承受的整盘写入次数，缓存保存时间越短、更新越频繁，对耐久度的要求就越高；若保存数周，容量反而会成为主要指标。

由于业务生命周期可能从分钟、小时延伸到天和周，SSD所需容量、耐久度与性能仍难预先统一。北美已有客户因AI推理和KV Cache增加SSD采购，中国市场也出现加单，但整体仍以训练和常规推理需求为主。业内预计，形成较统一的产品共识还需6至12个月，标准确定后，开发、验证和优化可能再耗时约一年。KV Cache有望成为企业级SSD的重要增量市场，但当前仍处于方案并行探索阶段；在缓存外置后，HBM和DRAM负载是否真正下降，以及数据搬运带来的额外成本，也仍需进一步评估。