• 欢迎关注我的微信公众号“ Falost ” 右边扫描关注 --->>

多模态 RAG 收官:把(一)到(十)的关键数字、能抄的代码和踩过的坑,收成一张落地清单

AI / 大模型 神棍 132℃ 0评论

从(一)那句”图片是上下文里漏算的一笔账”起头,到(十)把路由和结构通道接成一条端到端链路,这个多模态 RAG 系列我断断续续写了十来篇。这篇不跑新实验,干两件事:把散在各篇里的关键数字、能直接抄的代码、踩过的坑收成一张落地清单;再复盘一遍——哪些结论是稳的,哪些只是我这套语料上的巧合。

结果先摆出来:路由 + 结构通道端到端跑 121 题,总分 85.1%;把出题阶段那 45 道废表剔掉,剩 76 题总分 97.4%,坐标题从 52.2% 拉回 100%。

一、全系列的骨架数字

篇目 结论 数字
(一) 图片的选型、计价、归宿 单图封顶、三种传图姿势
(二) 先定评测口径 封顶 1024 token;$0.15/1M
(三) CER 位置敏感 Recall@5 0.95
(四) 转写损耗在检索层为 0 R@5 0.5041;坐标题 0
(五) 坐标走下标不走模型 13.0% → 52.2%
(六) 表头是表的身份证 0.8026 → 0.8553
(七) 先拼接再加权 正文单列 R@5 0.3444
(八) 功劳在分词器,不在加权 top-10 0.5702 → 0.8070
(九) 砍单字词才捞回分数 预分词 0.6404、砍单字 0.8246
(十) 融合抬分,抬不动没线索的题 R@1 0.7018 / R@10 0.8246

二、能直接抄的代码

1. 出题和入库前的”表格体检”

全系列性价比最高的一条。45 道废题修不掉一个检索器,一条规则就能把它们挡在出题阶段:列数 ≥ 2、行数 ≥ 3、表头不重复、没有整列全空。

def usable_table(head, rows):
    if len(head) < 2 or len(rows) < 3:
        return False
    if len(set(head)) != len(head):        # 表头重复
        return False
    for c in range(len(head)):             # 整列全空
        if all((r[c] or "").strip() == "" for r in rows):
            return False
    return True

2. 图转文的 prompt:一次要两块

我要的不是一段描述,而是能进检索的文本:一句摘要给向量检索,一份全文转写给关键词检索。detail 默认 low,图片只能放进 user 消息。

OCR_PROMPT = (
    "你是文档转写器。请只输出两部分:\n"
    "1) SUMMARY: 一句话说清这页在讲什么,控制在 80 字内,用于向量检索;\n"
    "2) TEXT: 逐行转写页面上的全部文字,保留标题、列表、表格的层级。"
    "不要解释,不要补充原文没有的内容。"
)

3. 表级索引:表头 + 行文本

一张表当一个文档。只塞行文本会掉 14.5 个点——"5"、"1.00"这类值在几百张表里到处都是、idf 趋零,能区分的全在表头。

def tdoc(t, mode="full"):
    head = " | ".join(t["head"])                       # 表头
    body = " ".join(" ".join(r) for r in t["rows"])    # 全部行文本
    if mode == "head": return head
    if mode == "rows": return body
    return head + " " + body

4. 坐标题先认出来,别进 BM25

"第 X 行第 Y 列"在检索层没有信号。正确做法是路由:一条正则认出来,121 题里 23 道坐标题全命中、98 道非坐标题零误报。

import re
COORD = re.compile(r"第\s*(\d+)\s*行[^第]*?第\s*(\d+)\s*列")
m = COORD.search("这个表格去掉表头后,第 2 行、第 7 列的单元格内容是什么?")
print(m.group(1), m.group(2))   # 2 7

5. 同源索引融合:RRF

两路 BM25 量纲不同,RRF 只看名次。Cormack 原文建议 K=60,那是给异质检索器的;我这两路同源,K 取 1~10 更好,一过 40,R@10 就掉回 0.8158。

import collections
def rrf(lists, K=1):
    score = collections.defaultdict(float)
    for L in lists:
        for rank, doc in enumerate(L):     # rank 从 0 开始
            score[doc] += 1.0 / (K + rank + 1)
    return [d for d, _ in sorted(score.items(), key=lambda x: -x[1])]

三、质检线:按版式分开

转写质量用 CER,但它位置敏感——图表页阅读顺序一变,CER 就报 0.3508,那张图的字符和数值其实一个没丢。所以我的质检线不搞一刀切:

  • 文档、日志:CER ≤ 0.02 直接入库,0.02~0.05 抽检一页,超过 0.05 整页重跑;
  • 表格:CER ≤ 0.02 且字符集合召回 ≥ 0.99;
  • 图表:不看 CER,看数值集合召回 ≥ 0.99,再人工抽检 10%。

评测只有三个指标:Recall@k / MRR / nDCG@k,两条路线共用同一套问题、同一个 k、同一套 gold;命中按"页"不按"片段";结果存 JSON。CER 是路线 A 的内部质检线,不能跟召回率直接比,量纲不是一回事。

四、我修正过、推翻过的几处

  1. 一张图的 token 封顶,我先写了 384,对文档改回 1024(缩放对齐约 1300×1300,按 1 汉字 ≈ 0.6 token,顶格一张 ≈ 1700 汉字),差了一倍多。
  2. "转写损耗为 0"只在检索层成立;到抽取层再考,普通转写比零误差上界低 7.7 个点。
  3. 我给"结构依赖型查询"定的切换判据被 247 页真实数据拆穿:掉的 30 个点里,跟"文本路线 vs 视觉路线"有关的不到 6 个点,大头是坐标式提问本身造成的。

五、哪些结论稳,哪些只是巧合

稳的:

  • 坐标题在检索层无信号。unicode61、jieba 去单字、RRF、trigram 四种配置全在 0~0.1 打转——它要的是换通道,不是调检索。
  • 表头是表的身份证:去掉表头只留行文本,干净子集从 0.8421 掉到 0.6974。
  • 确定性查询从模型手里拿走:值→列名这类答案就在 (header, value) 索引里,全局直答 13/13。能交给程序或下标的,我就不交给模型。
  • 转写本身不贵:十万页全量转写十几美元,省钱不该是切 ColPali 的理由,成本差在显卡和运维那侧。
  • FTS5 的坑是文档写死的:k1=1.2、b=0.75 改不了;内置 IDF 没有那个"+1",df 过半的词直接压到 1e-6;权重传 0 不等于"只看这一列",要用 {col} : ... 列过滤。

可能只是巧合:

  • unicode61 赢,很大程度是 OCR 转写恰好保留了换行、把中文断开了。抹掉全部空白再跑,页面 top-10 从 0.8070 崩到 0.3421——它赢的是"我的数据碰巧带分隔符",不是懂中文。
  • jieba 预分词的负收益,是在"题面来自表头、句子里塞满虚词"这批题上得到的,换成自由提问结论可能反过来。
  • 那些数字都来自同一套 247 页语料、114 道题,而这些题只出自 27 个页面,聚簇严重、样本量小,我只当量级参考,不当精确值。
  • headers 字段用的是 DOM 表头,题目又正好从表头生成,等于把查询目标建进了索引,会高估纯语义检索的收益。
  • ColPali 我一次都没实测——机器是 aarch64、纯 CPU、没 GPU,权重都下不来。所有 ViDoRe 分数都是照抄官方榜单,只能当量级参考。"路线 B 比路线 A 高多少",我给不出答案,这是最大的缺口。

六、一句话收口

多模态 RAG 这一路,真正值钱的不是哪个模型、哪套参数,而是三件事:数据先体检(废表挡在出题阶段)、结构进结构库(坐标走下标)、检索干不了的事别硬塞给它(换通道、没表就澄清)。

下期预告:多模态这条线先收在这。下一篇起新系列,把这一路攒下的评测脚本、表格通道和路由收成一个能跑的最小项目——从"一堆截图"到带澄清能力的问答原型,代码和口径全部整理出来。想一起折腾的,下篇见。

参考文献

  • (十)路由 + 结构通道端到端(121 题 85.1%、清题源 97.4%):https://www.fedte.cc/p/849.html
  • (九)RRF 融合(R@1 0.7018 / R@10 0.8246):https://www.fedte.cc/p/848.html
  • (八)四字段真实语料回归(0.5702 → 0.8070):https://www.fedte.cc/p/846.html
  • (五)把检索从页下沉到表(0.8421 / 0.6974):https://www.fedte.cc/p/844.html
  • (四)结构化表格入库(坐标题 13.0% → 52.2%):https://www.fedte.cc/p/843.html
  • DeepSeek API Docs:Vision(缩放规则、1024 token 封顶、detail、传图限制):https://api-docs.deepseek.com/guides/vision
  • DeepSeek API Docs:Models and Pricing(deepseek-flash off-peak 单价):https://api-docs.deepseek.com/quick_start/pricing
  • SQLite FTS5 官方文档(bm25()、k1/b、列权重、列过滤、tokenize=、fts5vocab):https://www.sqlite.org/fts5.html
  • SQLite FTS5:unicode61 分词器(CJK 按字母类别成 token):https://www.sqlite.org/fts5.html#unicode61_tokenizer
  • Robertson, Zaragoza:BM25 and Beyond(k1/b 与 IDF 依据):https://www.staff.city.ac.uk/~sbrp622/papers/foundations_bm25_review.pdf
  • Cormack et al.:Reciprocal Rank Fusion(RRF 出处,K=60):https://plg.uwaterloo.ca/~gvcormac/cormacksigir09-rrf.pdf
  • jieba 中文分词(前缀词典 + DAG + 动态规划):https://github.com/fxsjy/jieba
  • MDN:HTMLTableRowElement.cells(包含被 CSS 隐藏的列):https://developer.mozilla.org/en-US/docs/Web/API/HTMLTableRowElement/cells
  • Faysse et al.:ColPali(arXiv:2407.01449;路线 B,未实测):https://arxiv.org/abs/2407.01449

转载请注明:Falost的小窝 » 多模态 RAG 收官:把(一)到(十)的关键数字、能抄的代码和踩过的坑,收成一张落地清单

如果你觉得这篇文章不错或者对你有帮助,想请我喝一杯咖啡,可以打赏
喜欢 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址