Google 和 KAIST 提出 Declarative Attention：让模型自己决定看哪段上下文

产品经理阿鬼 · 2026-09-05T01:00:19.000Z

Google 和 KAIST 这篇论文挺有意思：Declarative Attention 不再让模型每个 token 都重读整段上下文，而是让模型自己声明要关注哪一部分，推理引擎只读取必要片段，省掉大块 KV cache 读取，也不用先跑外置打分器。 15 个长上下文任务里，Gemma-4-31B 的注意力开销降了 52.0%，Qwen-3.6-27B 降了 31.1%，准确率则有小幅回落。