前言在PDF財(cái)報(bào)、技術(shù)手冊(cè)這類富文檔場(chǎng)景文檔內(nèi)部包含大量圖片、圖表、表格。傳統(tǒng)RAG直接對(duì)原文切塊向量化會(huì)出現(xiàn)圖表信息丟失、檢索召回不準(zhǔn)、表格結(jié)構(gòu)被切片破壞等問題。本文講解Multi?Vector多向量多模態(tài)RAG完整鏈路對(duì)比傳統(tǒng)Chunk RAG的差異、優(yōu)缺點(diǎn)與工程風(fēng)險(xiǎn)給出選型建議。1 傳統(tǒng)RAG原文Chunk直接向量化工作流程多格式文檔 → 文本解析 → 按固定長(zhǎng)度切分原文Chunk → Chunk文本向量化存入向量庫(kù)用戶Query → 向量檢索匹配Chunk → 將命中Chunk送入LLM生成答案核心特點(diǎn)向量庫(kù)存儲(chǔ)的就是文檔原文切片檢索拿到切片直接用于回答。圖片圖表直接丟棄僅保留文本。優(yōu)缺點(diǎn)維度傳統(tǒng)Chunk RAG向量庫(kù)存儲(chǔ)原文切片Chunk素材存儲(chǔ)向量庫(kù)直接保存切片文本無(wú)獨(dú)立原始素材存儲(chǔ)圖片/圖表處理丟棄圖片圖表僅靠OCR結(jié)構(gòu)丟失檢索依據(jù)原文片段原始語(yǔ)義輸入LLM內(nèi)容檢索命中的Chunk片段優(yōu)勢(shì)實(shí)現(xiàn)簡(jiǎn)單無(wú)需額外調(diào)用大模型做摘要不存在摘要失真劣勢(shì)長(zhǎng)Chunk噪聲大檢索容易跑偏短Chunk語(yǔ)義不完整圖片圖表無(wú)法檢索表格容易被切壞切片邊界割裂上下文典型痛點(diǎn)財(cái)報(bào)里一張營(yíng)收趨勢(shì)圖傳統(tǒng)RAG直接丟棄圖片。用戶詢問營(yíng)收相關(guān)問題完全無(wú)法召回該圖表對(duì)應(yīng)的信息。2 Multi?Vector多向量多模態(tài)RAG架構(gòu)整體分為兩大階段文檔入庫(kù)預(yù)處理階段、用戶查詢檢索生成階段。2.1 入庫(kù)預(yù)處理Ingest多格式文檔輸入經(jīng)過Layout解析器LlamaParse / Docling做版面解析拆分成三大分支文本分支、表格分支、圖片分支。兩路存儲(chǔ)分離DocStore原始素材庫(kù)完整保存原文、原始表格、原始圖片保證素材100%保真不做壓縮修改。向量索引不存儲(chǔ)原始素材。存儲(chǔ)的是提煉后的語(yǔ)義載體文本摘要、圖片MLLM描述文本、表格結(jié)構(gòu)化文本。文本分支原文存入DocStore生成文本摘要摘要向量化寫入向量索引。圖片分支原圖存入DocStore調(diào)用MLLM生成圖片描述文本描述向量化寫入向量索引。表格分支原始表格存入DocStore輸出表格結(jié)構(gòu)化文本結(jié)構(gòu)化文本向量化寫入向量索引。核心設(shè)計(jì)思想向量索引只負(fù)責(zé)檢索召回真實(shí)完整原始素材統(tǒng)一放在DocStore通過ID關(guān)聯(lián)。檢索匹配摘要回答回源原始素材。2.2 查詢檢索階段用戶輸入Query執(zhí)行多向量檢索查詢向量索引命中的對(duì)象是摘要/圖片描述/表格結(jié)構(gòu)化文本。根據(jù)命中結(jié)果的ID回源DocStore拉取完整原始素材原文、原圖、原始表格。將原始素材交付給多模態(tài)LLM完成綜合生成輸出最終答案。??架構(gòu)紅線絕對(duì)不能直接拿向量索引返回的摘要給LLM生成答案。摘要只是檢索的索引卡片存在信息壓縮甚至失真生成必須使用DocStore原始素材。優(yōu)缺點(diǎn)維度Multi?Vector多向量RAG向量庫(kù)存儲(chǔ)文本摘要、圖片MLLM描述、表格結(jié)構(gòu)化文本壓縮語(yǔ)義原始素材存儲(chǔ)獨(dú)立DocStore保存完整原始素材向量庫(kù)只負(fù)責(zé)檢索圖片/圖表處理圖片通過MLLM描述參與檢索原圖回傳給多模態(tài)LLM表格保留原始結(jié)構(gòu)檢索依據(jù)提煉后的摘要語(yǔ)義輸入LLM內(nèi)容DocStore拉取的完整原始素材優(yōu)勢(shì)摘要語(yǔ)義聚焦召回質(zhì)量高圖片圖表可以參與檢索表格不會(huì)被切片破壞原始素材與檢索索引解耦一份源數(shù)據(jù)可生成多路檢索向量劣勢(shì)預(yù)處理階段大量調(diào)用MLLMToken開銷大、耗時(shí)高存在摘要漂移風(fēng)險(xiǎn)需要維護(hù)向量索引DocStore兩套存儲(chǔ)ID關(guān)聯(lián)邏輯復(fù)雜3 核心工程風(fēng)險(xiǎn)點(diǎn)3.1 摘要漂移向量索引中存儲(chǔ)的是大模型生成的摘要。如果摘要理解文檔出錯(cuò)會(huì)檢索召回不匹配的素材。雖然最終生成使用原始素材多模態(tài)LLM有機(jī)會(huì)修正摘要錯(cuò)誤但最壞情況摘要錯(cuò)誤導(dǎo)致檢索拿到完全無(wú)關(guān)的原始素材答案必然錯(cuò)誤。3.2 禁止摘要直接作答摘要經(jīng)過壓縮丟失大量細(xì)節(jié)。業(yè)務(wù)代碼必須嚴(yán)格實(shí)現(xiàn)回源邏輯禁止把命中摘要直接送入LLM。3.3 ID關(guān)聯(lián)一致性向量索引每一條向量記錄都必須綁定DocStore對(duì)應(yīng)的素材唯一ID。入庫(kù)、更新、刪除文檔時(shí)向量索引與DocStore數(shù)據(jù)要同步維護(hù)避免出現(xiàn)ID失效、找不到原始素材。4 技術(shù)選型建議純文本、短文檔場(chǎng)景優(yōu)先傳統(tǒng)Chunk RAG。開發(fā)成本低足夠滿足業(yè)務(wù)需求。PDF報(bào)告、財(cái)報(bào)、技術(shù)手冊(cè)、大量圖表截圖場(chǎng)景選擇Multi?Vector多向量多模態(tài)RAG也就是本文流程圖這套鏈路。5 通俗類比總結(jié)傳統(tǒng)RAG把一本書撕成碎片碎片存入數(shù)據(jù)庫(kù)查詢搜到碎片直接拿碎片回答用戶。Multi?Vector多向量RAG為書中每段文字、每張圖表寫一張索引卡片摘要/描述卡片存入數(shù)據(jù)庫(kù)完整書籍保存在DocStore查詢匹配卡片編號(hào)再取出完整書頁(yè)交給大模型閱讀作答。結(jié)語(yǔ)多向量架構(gòu)解決了傳統(tǒng)RAG處理富媒體文檔的短板但并非銀彈。它以更高預(yù)處理成本換取檢索質(zhì)量提升工程落地要重點(diǎn)把控摘要質(zhì)量、ID關(guān)聯(lián)、回源邏輯這幾個(gè)關(guān)鍵點(diǎn)。