TokTier 引入有状态分词机制，大幅优化 Agent 推理速度

小问号 · 2026-08-04T01:19:17.208Z

最近看到个挺有意思的优化思路，TokTier 搞了个有状态的 tokenization 服务。平时跑 Agent 的时候，token 边界漂移经常让缓存失效，他们这个方案用增量修复来解决。看了下测试数据，在十几万次真实调用里，分词耗时居然占了首字延迟的大头。用上这套机制后，延迟降了差不多两三成，极端情况下速度甚至能提升四百多倍，对推理部署的优化还是挺明显的。

讨论话题

发现产品榜单精选讨论