从(一)那句”图片是上下文里漏算的一笔账”起头,到(十)把路由和结构通道接成一条端到端链路,这个多模态 RAG 系列我断断续续写了十来篇。这篇不跑新实验,干两件事:把散在各篇里的关键数字、能直接抄的代码、踩过的坑收成一张落地清单;再复盘一遍——哪些结论是稳的,哪些只是我这套语料上的巧合。
结果先摆出来:路由 + 结构通道端到端跑 121 题,总分 85.1%;把出题阶段那 45 道废表剔掉,剩 76 题总分 97.4%,坐标题从 52.2% 拉回 100%。
一、全系列的骨架数字
| 篇目 | 结论 | 数字 |
|---|---|---|
| (一) | 图片的选型、计价、归宿 | 单图封顶、三种传图姿势 |
| (二) | 先定评测口径 | 封顶 1024 token;$0.15/1M |
| (三) | CER 位置敏感 | Recall@5 0.95 |
| (四) | 转写损耗在检索层为 0 | R@5 0.5041;坐标题 0 |
| (五) | 坐标走下标不走模型 | 13.0% → 52.2% |
| (六) | 表头是表的身份证 | 0.8026 → 0.8553 |
| (七) | 先拼接再加权 | 正文单列 R@5 0.3444 |
| (八) | 功劳在分词器,不在加权 | top-10 0.5702 → 0.8070 |
| (九) | 砍单字词才捞回分数 | 预分词 0.6404、砍单字 0.8246 |
| (十) | 融合抬分,抬不动没线索的题 | R@1 0.7018 / R@10 0.8246 |
二、能直接抄的代码
1. 出题和入库前的”表格体检”
全系列性价比最高的一条。45 道废题修不掉一个检索器,一条规则就能把它们挡在出题阶段:列数 ≥ 2、行数 ≥ 3、表头不重复、没有整列全空。
def usable_table(head, rows):
if len(head) < 2 or len(rows) < 3:
return False
if len(set(head)) != len(head): # 表头重复
return False
for c in range(len(head)): # 整列全空
if all((r[c] or "").strip() == "" for r in rows):
return False
return True
2. 图转文的 prompt:一次要两块
我要的不是一段描述,而是能进检索的文本:一句摘要给向量检索,一份全文转写给关键词检索。detail 默认 low,图片只能放进 user 消息。
OCR_PROMPT = (
"你是文档转写器。请只输出两部分:\n"
"1) SUMMARY: 一句话说清这页在讲什么,控制在 80 字内,用于向量检索;\n"
"2) TEXT: 逐行转写页面上的全部文字,保留标题、列表、表格的层级。"
"不要解释,不要补充原文没有的内容。"
)
3. 表级索引:表头 + 行文本
一张表当一个文档。只塞行文本会掉 14.5 个点——"5"、"1.00"这类值在几百张表里到处都是、idf 趋零,能区分的全在表头。
def tdoc(t, mode="full"):
head = " | ".join(t["head"]) # 表头
body = " ".join(" ".join(r) for r in t["rows"]) # 全部行文本
if mode == "head": return head
if mode == "rows": return body
return head + " " + body
4. 坐标题先认出来,别进 BM25
"第 X 行第 Y 列"在检索层没有信号。正确做法是路由:一条正则认出来,121 题里 23 道坐标题全命中、98 道非坐标题零误报。
import re
COORD = re.compile(r"第\s*(\d+)\s*行[^第]*?第\s*(\d+)\s*列")
m = COORD.search("这个表格去掉表头后,第 2 行、第 7 列的单元格内容是什么?")
print(m.group(1), m.group(2)) # 2 7
5. 同源索引融合:RRF
两路 BM25 量纲不同,RRF 只看名次。Cormack 原文建议 K=60,那是给异质检索器的;我这两路同源,K 取 1~10 更好,一过 40,R@10 就掉回 0.8158。
import collections
def rrf(lists, K=1):
score = collections.defaultdict(float)
for L in lists:
for rank, doc in enumerate(L): # rank 从 0 开始
score[doc] += 1.0 / (K + rank + 1)
return [d for d, _ in sorted(score.items(), key=lambda x: -x[1])]
三、质检线:按版式分开
转写质量用 CER,但它位置敏感——图表页阅读顺序一变,CER 就报 0.3508,那张图的字符和数值其实一个没丢。所以我的质检线不搞一刀切:
- 文档、日志:CER ≤ 0.02 直接入库,0.02~0.05 抽检一页,超过 0.05 整页重跑;
- 表格:CER ≤ 0.02 且字符集合召回 ≥ 0.99;
- 图表:不看 CER,看数值集合召回 ≥ 0.99,再人工抽检 10%。
评测只有三个指标:Recall@k / MRR / nDCG@k,两条路线共用同一套问题、同一个 k、同一套 gold;命中按"页"不按"片段";结果存 JSON。CER 是路线 A 的内部质检线,不能跟召回率直接比,量纲不是一回事。
四、我修正过、推翻过的几处
- 一张图的 token 封顶,我先写了 384,对文档改回 1024(缩放对齐约 1300×1300,按 1 汉字 ≈ 0.6 token,顶格一张 ≈ 1700 汉字),差了一倍多。
- "转写损耗为 0"只在检索层成立;到抽取层再考,普通转写比零误差上界低 7.7 个点。
- 我给"结构依赖型查询"定的切换判据被 247 页真实数据拆穿:掉的 30 个点里,跟"文本路线 vs 视觉路线"有关的不到 6 个点,大头是坐标式提问本身造成的。
五、哪些结论稳,哪些只是巧合
稳的:
- 坐标题在检索层无信号。unicode61、jieba 去单字、RRF、trigram 四种配置全在 0~0.1 打转——它要的是换通道,不是调检索。
- 表头是表的身份证:去掉表头只留行文本,干净子集从 0.8421 掉到 0.6974。
- 确定性查询从模型手里拿走:值→列名这类答案就在 (header, value) 索引里,全局直答 13/13。能交给程序或下标的,我就不交给模型。
- 转写本身不贵:十万页全量转写十几美元,省钱不该是切 ColPali 的理由,成本差在显卡和运维那侧。
- FTS5 的坑是文档写死的:k1=1.2、b=0.75 改不了;内置 IDF 没有那个"+1",df 过半的词直接压到 1e-6;权重传 0 不等于"只看这一列",要用
{col} : ...列过滤。
可能只是巧合:
- unicode61 赢,很大程度是 OCR 转写恰好保留了换行、把中文断开了。抹掉全部空白再跑,页面 top-10 从 0.8070 崩到 0.3421——它赢的是"我的数据碰巧带分隔符",不是懂中文。
- jieba 预分词的负收益,是在"题面来自表头、句子里塞满虚词"这批题上得到的,换成自由提问结论可能反过来。
- 那些数字都来自同一套 247 页语料、114 道题,而这些题只出自 27 个页面,聚簇严重、样本量小,我只当量级参考,不当精确值。
- headers 字段用的是 DOM 表头,题目又正好从表头生成,等于把查询目标建进了索引,会高估纯语义检索的收益。
- ColPali 我一次都没实测——机器是 aarch64、纯 CPU、没 GPU,权重都下不来。所有 ViDoRe 分数都是照抄官方榜单,只能当量级参考。"路线 B 比路线 A 高多少",我给不出答案,这是最大的缺口。
六、一句话收口
多模态 RAG 这一路,真正值钱的不是哪个模型、哪套参数,而是三件事:数据先体检(废表挡在出题阶段)、结构进结构库(坐标走下标)、检索干不了的事别硬塞给它(换通道、没表就澄清)。
下期预告:多模态这条线先收在这。下一篇起新系列,把这一路攒下的评测脚本、表格通道和路由收成一个能跑的最小项目——从"一堆截图"到带澄清能力的问答原型,代码和口径全部整理出来。想一起折腾的,下篇见。
参考文献
- (十)路由 + 结构通道端到端(121 题 85.1%、清题源 97.4%):https://www.fedte.cc/p/849.html
- (九)RRF 融合(R@1 0.7018 / R@10 0.8246):https://www.fedte.cc/p/848.html
- (八)四字段真实语料回归(0.5702 → 0.8070):https://www.fedte.cc/p/846.html
- (五)把检索从页下沉到表(0.8421 / 0.6974):https://www.fedte.cc/p/844.html
- (四)结构化表格入库(坐标题 13.0% → 52.2%):https://www.fedte.cc/p/843.html
- DeepSeek API Docs:Vision(缩放规则、1024 token 封顶、detail、传图限制):https://api-docs.deepseek.com/guides/vision
- DeepSeek API Docs:Models and Pricing(deepseek-flash off-peak 单价):https://api-docs.deepseek.com/quick_start/pricing
- SQLite FTS5 官方文档(bm25()、k1/b、列权重、列过滤、tokenize=、fts5vocab):https://www.sqlite.org/fts5.html
- SQLite FTS5:unicode61 分词器(CJK 按字母类别成 token):https://www.sqlite.org/fts5.html#unicode61_tokenizer
- Robertson, Zaragoza:BM25 and Beyond(k1/b 与 IDF 依据):https://www.staff.city.ac.uk/~sbrp622/papers/foundations_bm25_review.pdf
- Cormack et al.:Reciprocal Rank Fusion(RRF 出处,K=60):https://plg.uwaterloo.ca/~gvcormac/cormacksigir09-rrf.pdf
- jieba 中文分词(前缀词典 + DAG + 动态规划):https://github.com/fxsjy/jieba
- MDN:HTMLTableRowElement.cells(包含被 CSS 隐藏的列):https://developer.mozilla.org/en-US/docs/Web/API/HTMLTableRowElement/cells
- Faysse et al.:ColPali(arXiv:2407.01449;路线 B,未实测):https://arxiv.org/abs/2407.01449
转载请注明:Falost的小窝 » 多模态 RAG 收官:把(一)到(十)的关键数字、能抄的代码和踩过的坑,收成一张落地清单