HCA / CSA 在干什么

把“很长的历史 token”变成更少的可读对象：HCA 做粗摘要，CSA 做稀疏检索，sliding window 保留近处细节。

完整历史 token HCA 重压缩 CSA 轻压缩 近处窗口 被检索命中的块

同一段长上下文，三种看法

普通 attention什么都不压缩
最准，也最贵历史越长，KV cache 和读取带宽越大。1M token 时成本不可接受。
HCAHeavily Compressed Attention
全局摘要大块压缩后再看全局。成本低，但远处细节损失更大。
CSACompressed Sparse Attention
远程检索先轻压缩建索引，只看相关块。比 HCA 精细，但实现更复杂。
HCA：便宜地看全局

把很长历史按大比例压缩，适合保留整体语义和远程轮廓。

seq_len -> seq_len / 128
CSA：有选择地看细节

先轻压缩，再通过索引选 top-k 相关块，适合长文档和代码里的远程引用。

compress + sparse top-k
Sliding window：保近处原文

最近 token 不压缩，避免局部语法、格式、短程依赖被压坏。

recent tokens stay dense

DeepSeek V4 Pro 的层顺序

紫色 HCA 和蓝色 CSA 交替出现，最后一层是 sliding window。直觉上：多数层交替做“全局摘要”和“远程检索”，末尾保留局部细节。

L031 HCA · 29 CSA · 1 sliding windowL60