上下文工程这个系列写到今天，该收尾了。前几篇我一直在算账：KV Cache 那篇算显存账，提示缓存+压缩那篇算钱账，Lost in the Middle 那篇算准确率账。三本账算完，我却发现账是分开记的——缓存开关在配置里，压缩阈值在代码深处，检索条数在另一个函数里。真被问到“一...
神棍
1个月前 (09-06) 220℃ 0评论
0喜欢
提示缓存 + 上下文压缩：同一段前缀，怎么做到只算一次钱？
上篇我把 KV Cache 那笔账拆完了——GQA、KV 量化、PagedAttention 三层优化轮下来，显存这块心里总算有底。但账单还没看完：打开 API 消费记录，最扎眼的反而不是显存，是输入 token。同一个...
神棍
2个月前 (08-31) 228℃ 0评论
0喜欢
