上下文工程这个系列写到今天，该收尾了。前几篇我一直在算账：KV Cache 那篇算显存账，提示缓存+压缩那篇算钱账，Lost in the Middle 那篇算准确率账。三本账算完，我却发现账是分开记的——缓存开关在配置里，压缩阈值在代码深处，检索条数在另一个函数里。真被问到“一...
神棍
2天前 21℃ 0评论
0喜欢
最近在写上下文工程这个系列，前两篇我把两本账算完了：KV Cache 那篇讲的是显存账——长上下文的显存到底烧在哪；提示缓存 + 上下文压缩那篇讲的是钱的账——让同一段前缀只算一次钱。今天算第三笔，也是最容易被忽略的一笔：准确率的账。
起因是有读者在后台问我：”我把公...
神棍
5天前 45℃ 0评论
0喜欢
提示缓存 + 上下文压缩：同一段前缀，怎么做到只算一次钱？
上篇我把 KV Cache 那笔账拆完了——GQA、KV 量化、PagedAttention 三层优化轮下来，显存这块心里总算有底。但账单还没看完：打开 API 消费记录，最扎眼的反而不是显存，是输入 token。同一个...
神棍
1周前 (08-31) 67℃ 0评论
0喜欢
上篇我把”上下文很贵”拆成了三笔账：账单上的 token 钱、显存里的空间、还有模型”记不住中间内容”的效果损耗。今天拆第二笔——显存到底被谁吃掉了。答案基本是同一个：KV Cache。
起因是我前阵子给朋友部署一个 Llama 3...
神棍
2周前 (08-28) 82℃ 0评论
0喜欢
上一篇我把整个 Agent 系列串成了一个生产级项目，结尾也预告了接下来的方向：上下文工程。本来想歇两天，结果项目跑起来之后，我去翻账单、盯显存监控，越看越睡不着：API 账单的大头几乎全在输入 token 上；显存监控里 KV Cache 吃掉的显存比模型权重还多；更扎心的是，...
神棍
2周前 (08-25) 91℃ 0评论
0喜欢
从今年五月写《从零学大模型》到现在，这个系列已经更了十几篇：微调、RAG、部署、Function Calling、Agent 编排、安全、监控……每一篇都是我当时踩坑后总结的实操。但说实话，一直有个问题压在我心里：这些技能我都是”单点验证”的——微调是在 ...
神棍
2周前 (08-22) 103℃ 0评论
0喜欢
写在前面的实话
上篇写完 Agent 红队测试，我松了口气，但紧接着又冒出个新问题：测试是”体检”，一年做一次；攻击却是”心梗”，随时可能来。Garak、Promptfoo 跑出来的报告再漂亮，也只是某个时间点的快照——prompt...
神棍
3周前 (08-19) 130℃ 0评论
0喜欢
上篇我写了 Agent 安全方案——工具调用权限怎么管控、prompt 注入怎么防、数据隔离怎么做。搭好之后我盯着那套方案看了半天，脑子里冒出一个问题：我到底怎么知道它真的有用？
安全方案这东西有个尴尬的地方——没出事的时候看不出效果，出事了就知道哪里没防住。但等到真出事了才暴露...
神棍
1个月前 (07-26) 262℃ 0评论
1喜欢
场景——踩坑开端
上篇写完多 Agent 协作之后，我在自己的 demo 系统上跑了一个简单场景：主 Agent 调用搜索 Agent 查资料，搜索 Agent 再去抓网页内容。跑了几天，发现了一个让我后背发凉的事——搜索 Agent 抓到一个网页，网页里藏着一行小字：̶...
神棍
2个月前 (07-23) 232℃ 0评论
0喜欢
上篇写 Agent 可观测性的时候，我提到过一句话：调试多个 Agent 协作比单个 Agent 难了一个数量级。当时不是随便说的——我手头刚好在重构一个多 Agent 系统，三个 Agent 各管一摊：一个负责搜索、一个负责分析、一个负责生成。结果呢？A 刚处理完的数据被 B ...
神棍
2个月前 (07-20) 262℃ 0评论
0喜欢
