上篇（多模态系列开篇）我盘了三件事：图片进 API 有自己的选型、自己的计价、自己的归宿。结尾我说要拿真实截图库做一次实测，把“图转文”（路线 A）和 ColPali（路线 B）拉出来比一轮召回。
真动手才发现有个坑：评测口径没定死，比出来的就是感觉不是数据。所以这篇先打地基——...
神棍
1个月前 (09-12) 215℃ 0评论
0喜欢
上篇（上下文工程收官）我留了个尾巴：文本 token 的三本账算完了，发现还有一类输入没算进去——图片。当时我凭感觉写下“一张截图可能比几千字还贵”，结果这周把 DeepSeek 官方 Vision 文档翻完，发现这话得修正：图片确实按像素折算 token，但官方给单张图设了封顶...
神棍
1个月前 (09-09) 307℃ 0评论
0喜欢
上下文工程这个系列写到今天，该收尾了。前几篇我一直在算账：KV Cache 那篇算显存账，提示缓存+压缩那篇算钱账，Lost in the Middle 那篇算准确率账。三本账算完，我却发现账是分开记的——缓存开关在配置里，压缩阈值在代码深处，检索条数在另一个函数里。真被问到“一...
神棍
1个月前 (09-06) 220℃ 0评论
0喜欢
最近在写上下文工程这个系列，前两篇我把两本账算完了：KV Cache 那篇讲的是显存账——长上下文的显存到底烧在哪；提示缓存 + 上下文压缩那篇讲的是钱的账——让同一段前缀只算一次钱。今天算第三笔，也是最容易被忽略的一笔：准确率的账。
起因是有读者在后台问我：”我把公...
神棍
1个月前 (09-03) 260℃ 0评论
0喜欢
提示缓存 + 上下文压缩：同一段前缀，怎么做到只算一次钱？
上篇我把 KV Cache 那笔账拆完了——GQA、KV 量化、PagedAttention 三层优化轮下来，显存这块心里总算有底。但账单还没看完：打开 API 消费记录，最扎眼的反而不是显存，是输入 token。同一个...
神棍
2个月前 (08-31) 228℃ 0评论
0喜欢
上篇我把”上下文很贵”拆成了三笔账：账单上的 token 钱、显存里的空间、还有模型”记不住中间内容”的效果损耗。今天拆第二笔——显存到底被谁吃掉了。答案基本是同一个：KV Cache。
起因是我前阵子给朋友部署一个 Llama 3...
神棍
2个月前 (08-28) 356℃ 0评论
0喜欢
上一篇我把整个 Agent 系列串成了一个生产级项目，结尾也预告了接下来的方向：上下文工程。本来想歇两天，结果项目跑起来之后，我去翻账单、盯显存监控，越看越睡不着：API 账单的大头几乎全在输入 token 上；显存监控里 KV Cache 吃掉的显存比模型权重还多；更扎心的是，...
神棍
2个月前 (08-25) 222℃ 0评论
0喜欢
从今年五月写《从零学大模型》到现在，这个系列已经更了十几篇：微调、RAG、部署、Function Calling、Agent 编排、安全、监控……每一篇都是我当时踩坑后总结的实操。但说实话，一直有个问题压在我心里：这些技能我都是”单点验证”的——微调是在 ...
神棍
2个月前 (08-22) 204℃ 0评论
0喜欢
写在前面的实话
上篇写完 Agent 红队测试，我松了口气，但紧接着又冒出个新问题：测试是”体检”，一年做一次；攻击却是”心梗”，随时可能来。Garak、Promptfoo 跑出来的报告再漂亮，也只是某个时间点的快照——prompt...
神棍
2个月前 (08-19) 259℃ 0评论
0喜欢
上篇我写了 Agent 安全方案——工具调用权限怎么管控、prompt 注入怎么防、数据隔离怎么做。搭好之后我盯着那套方案看了半天，脑子里冒出一个问题：我到底怎么知道它真的有用？
安全方案这东西有个尴尬的地方——没出事的时候看不出效果，出事了就知道哪里没防住。但等到真出事了才暴露...
神棍
3个月前 (07-26) 396℃ 0评论
1喜欢
