AbstractKVLinC提出了一种缓解KV cache量化中attention误差的框架。通过结合两种关键技术：1) Hadamard旋转以降低value量化误差，2) 轻量级线性校正适配器显式补偿量化key引入的误差。该方法在LLaMA、Qwen2.5和Qwen3模型家族上进行评估，实现了相比Flash Attention基线高达2.55倍的推理加速，同时保持模型性能。设计了定制化attention kernel以最大化效率收益。
Key Contributions
Hadamard旋转优化Value量化: 对value cache应用Hadamard变换，均匀化数据分布以降低量化误差
线性校正适配器: 引入轻量级线性校正模块显式补偿量化key带来的误差
Key-Value分治策略: 针对key和value的不同特性采用不同的量化和误差缓解策略
定制Attention Kern...
VecInfer: 基于向量量化的2-bit KV Cache高效LLM推理
AbstractVecInfer针对LLM推理中的KV Cache内存瓶颈问题，提出了一种基于向量量化的激进压缩方案。通过smooth和Hadamard变换抑制key cache中的outlier，实现了对数据分布的全面覆盖。仅使用2-bit量化即可达到与全精度相当的性能，并设计了优化的CUDA kernel最小化内存访问开销。在Llama-3.1-8B模型上，大batch场景下self-attention计算获得2.7倍加速，单batch端到端延迟在196k序列长度下降低8.3倍。
Key Contributions
Outlier抑制的向量量化: 通过smooth和Hadamard变换抑制key cache outliers，实现更有效的2-bit向量量化
2-bit极限压缩: 在仅2-bit量化的情况下实现与全精度相当的性能，8倍内存压缩比
优化CUDA kernel: 定制化...