#llm-inference

跨模型 KV 缓存传输很快，却出人意料地依赖模型对

NVIDIA 研究人员报告，一种 KV 缓存映射带来 25 倍的组件级加速，而其他几个模型对却损失了目标模型的大部分任务准确率。