上一篇我们把 GraphRAG 拆了个底朝天搞清楚了知识图谱怎么接进检索链路、多跳推理为什么准确率能翻倍。这篇我们换一个维度——不聊图谱了聊「图片」。真实业务的文档里有多少内容是纯文字的不多。一份技术报告里大量是架构图一份财务 PDF 里最关键的是那张趋势表格一份产品文档里全是截图和流程图。你用纯文本 RAG 去做检索模型看到的是 OCR 识别后的乱码或者直接就是空——图片根本没进知识库。结果就是用户问「第三页那个流程图怎么理解」系统返回一大堆不相关的文字段落或者直接说「没找到相关信息」。这坑把太多人坑过了。这篇我们从三种主流方案入手把多模态 RAG 的实现路径一次讲透图片怎么入库、表格怎么处理、复杂 PDF 怎么解析以及什么场景用哪种方案。01 纯文本 RAG 的视觉盲区信息不处理就丢失先把问题说清楚再谈方案。当你用UnstructuredLoader或PDFLoader加载一份 PDF 时底层是这样处理内容的文字内容直接提取为文本成功表格则交给 OCR 识别结构往往被破坏图片要么直接丢弃要么保存为图片文件但没有任何处理——对检索系统来说等于不存在。丢失的不是装饰往往是核心信息架构图里的系统组件关系、财务表格里的季度增长数字、操作手册里的界面截图。我有个客户搭了个内部知识库工程师反映检索总是答非所问。排查发现核心系统架构知识全存在 PPT 的图里文本提取拿到的是「架构设计详见图2」这种废话。解法有三条路先看一眼对比方案核心思路精度成本适用场景多模态嵌入CLIP图文映射到同一向量空间~60%低图像相似搜索图生文摘要CaptionVLM 先把图片转为文字描述再做文本检索~90%中-高文档精准问答ColPali 视觉检索整页 PDF 直接作为图片索引零 OCR最高中复杂排版文档下面逐个拆。02 方案一CLIP 多模态嵌入——图文统一向量空间CLIP 是 OpenAI 2021 年发布的对比学习模型核心能力是把文字和图片映射到同一个高维向量空间语义相近的文字和图片在空间里距离相近。用文字问它能找到语义最匹配的图片。TypeScript 实现LangChain ChromaDB OpenCLIPimportChromafromlangchain/community/vectorstores/chromaimportOpenCLIPEmbeddingsfromlangchain/community/embeddings/openclipimportChatOpenAIfromlangchain/openaiimportasfromfsimportasfrompath// 1. 初始化多模态向量库constnewOpenCLIPEmbeddingsconstawaitChromafromExistingCollectioncollectionNamemultimodal_docs// 2. 图片和文字都写入同一向量库constreaddirSync./docs/imagesfilter(f) endsWith.pngendsWith.jpgmap(f) join./docs/imagesawaitaddImages// 图片用 URI 写入awaitaddDocumentspageContentQ3 企业级销售推动了 15% 的营收增长metadatatypetext// 3. 文字查询检索最匹配的图片constasRetrieverk3constawaitinvokeQ3 营收增长趋势// 4. 把检索到的图片送给 VLM 回答constnewChatOpenAImodelgpt-4oforconstofifmetadatatypeimageconstreadFileSyncmetadatauribase64constawaitinvokeroleusercontenttypetexttext分析这张图表总结核心趋势typeimage_urlimage_urlurldata:image/png;base64,${imageBase64}consolelogcontentCLIP 的短板在哪它给每张图生成的是一个全局向量——一张图里同时有文字、表格、折线图压缩成一个向量之后细节全没了。你问「表格第三行的数字」它可能找到一张完全不相关但视觉相似的图。精度 ~60% 的根源就在这里全局向量必然丢细节细粒度查询答不上来。03 方案二图生文摘要——让 VLM 先把图「翻译」成文字这个方案的逻辑更直接图片本身不入向量库让 VLMGPT-4o / Claude先把图片「翻译」成详细的文字描述再把文字描述入库做检索。检索时用文字找文字找到匹配摘要后再取回原始图片送给 VLM 作答。为什么精度能到 90%Caption 是模型读懂图片后的文字描述包含了图中所有关键信息数字、趋势、结构关系。文本检索本来就精度高配合高质量 Caption效果自然好。TypeScript 实现MultiVectorRetriever 方案importMultiVectorRetrieverfromlangchain/retrievers/multi_vectorimportInMemoryStorefromlangchain/core/storesimportOpenAIEmbeddingsChatOpenAIfromlangchain/openaiimportChromafromlangchain/community/vectorstores/chromaimportDocumentfromlangchain/core/documentsimportasfromuuidimportasfromfsconstnewChatOpenAImodelgpt-4oconstnewOpenAIEmbeddings// Step 1: 用 GPT-4o 生成图片摘要CaptionasyncfunctiongenerateImageCaptionimagePath: stringPromisestringconstreadFileSyncbase64constawaitinvokeroleusercontenttypetexttext请详细描述这张图片图片类型流程图/表格/折线图等、主要数据或结论、关键元素之间的关系。100-200字尽可能具体。typeimage_urlimage_urlurldata:image/png;base64,${imageBase64}returncontentasstring// Step 2: 批量生成摘要const./docs/arch_diagram.png./docs/q3_revenue.pngconstawaitPromiseallmap// Step 3: 建立 MultiVectorRetriever摘要入向量库原图路径入 docStoreconstawaitChromafromDocumentscollectionNameimage_captionsconstnewInMemoryStoreconstnewMultiVectorRetrievervectorstorebyteStoreidKeydoc_idconstmap() uuidv4constmap(caption, i) newDocumentpageContentmetadatadoc_idawaitvectorstoreaddDocumentsawaitbyteStoremsetmap(id, i) newTextEncoderencode// Step 4: 查询时返回的是原始图片路径不是摘要constawaitinvoke系统架构里的核心组件是什么// 拿到图片路径传给 VLM 作答成本是真实痛点。给 1000 张图批量生成 CaptionGPT-4o 的费用可能是 20-50 美元视图片复杂度。图片多的知识库入库成本不小。而且 Caption 质量直接决定检索上限——「这是一张图片包含一些数字」这种摘要等于没写。04 方案三ColPali 视觉检索——把整页 PDF 当图片索引前两种方案都有一个共同前提你得先把 PDF 里的图片提取出来。但真实 PDF 排版复杂度超出想象多栏排版文字和图交错、扫描版 PDF 根本没文字层、表格边界模糊 OCR 识别后乱成一锅粥、公式化学结构式纯文本提取全废。ColPaliPaliGemma 视觉后期交互的思路是不提取直接把整页 PDF 当图片索引。传统方案走PDF → OCR/解析 → 文本块 → 向量化 → 检索OCR 错误率 5-15%表格结构常常被破坏。ColPali 走PDF → 渲染为页面图片 → 视觉 Transformer 编码 → 多向量索引 → 检索保留原始排版零 OCR 误差。它用 Late Interaction 机制类似 ColBERT把查询的每个 Token 向量与文档页面的每个视觉 Patch 逐一比对不是整页压缩成一个全局向量精度显著高于 CLIP。TypeScript 集成 ColPali 服务importChatOpenAIfromlangchain/openaiimportasfromfs// ColPali 服务封装本地或云端部署需 GPU 16GBasyncfunctionindexPdfWithColPalipdfPath: stringPromisestring// 1. 把每页 PDF 渲染为图片用 pdf2pic / pdfjs 等库constpageImagesstring// base64 编码的页面图片数组// 2. 调用 ColPali 服务批量建索引constawaitfetchhttp://localhost:8000/indexmethodPOSTheadersContent-Typeapplication/jsonbodyJSONstringifyimagescollection_idmy_docsconstawaitjsonreturnasyncfunctionqueryWithColPaliquery: stringPromisestring// 3. 文字查询返回最相关的页面图片constawaitfetchhttp://localhost:8000/searchmethodPOSTheadersContent-Typeapplication/jsonbodyJSONstringifycollection_idmy_docstop_k3constawaitjson// base64 图片数组// 4. 把相关页面图片送给 VLM 作答constnewChatOpenAImodelgpt-4oconstawaitinvokeroleusercontenttypetexttextmap(img: string) typeimage_urlimage_urlurldata:image/png;base64,${img}returncontentasstringawaitindexPdfWithColPali./technical_report.pdfconstawaitqueryWithColPali第三章架构图里的核心模块有哪些ColPali 的现实限制需要运行 PaliGemma 模型至少 16GB 显存个人项目不一定划算。Vespa、Milvus 已开始原生支持 ColPali 索引未来部署门槛会降低。05 表格的特殊处理结构信息不能丢表格是最容易被忽视又最重要的内容类型。纯文本提取之后季度 Q1 Q2 Q3 Q4 / 营收 120 145 178 203 / 增长 - 20.8% 22.8% 14.0%这样一行行数字的行列关系完全丢失VLM 根本读不懂。策略一用 unstructured 提取 HTML 表格首选importUnstructuredLoaderfromlangchain/community/document_loaders/fs/unstructuredconstnewUnstructuredLoader./financial_report.pdfstrategyhi_res// 高精度模式extractImageBlockTypesTable// 专门提取表格inferTableStructuretrue// 推断表格结构outputFormatapplication/jsonconstawaitload// 表格元素有 type: Table 标记pageContent 是保留行列结构的 HTMLconstfilterd metadatatypeTable// 单独入库加上 source_page、table_index 等元数据检索时按类型过滤策略二扫描版表格截图直接送 VLMasyncfunctionextractTableFromImageimagePath: stringPromisestringconstnewChatOpenAImodelgpt-4oconstreadFileSyncbase64constawaitinvokeroleusercontenttypetexttext把这张表格以 Markdown 格式输出保留完整的行列结构和所有数值。typeimage_urlimage_urlurldata:image/png;base64,${imageBase64}returncontentasstring表格处理的核心原则不要和正文文字混在同一个 chunk 里入库。表格单独切分加结构化元数据检索时按表格类型过滤精度更高。06 完整多模态 RAG 管道统一处理文字/表格/图片把上面的方案拼在一起就是一个生产级的文档入库管道。核心设计原则摘要用于检索原始内容用于回答。向量库存摘要检索精度高docStore 存原始图片路径和原始表格内容回答质量高。importUnstructuredLoaderfromlangchain/community/document_loaders/fs/unstructuredimportOpenAIEmbeddingsChatOpenAIfromlangchain/openaiimportChromafromlangchain/community/vectorstores/chromaimportMultiVectorRetrieverfromlangchain/retrievers/multi_vectorimportInMemoryStorefromlangchain/core/storesimportDocumentfromlangchain/core/documentsimportasfromuuidimportasfromfsasyncfunctionbuildMultimodalKBpdfPath: stringconstnewChatOpenAImodelgpt-4oconstnewOpenAIEmbeddings// Step 1: unstructured 提取所有内容类型constnewUnstructuredLoaderstrategyhi_resextractImageBlockTypesImageTableinferTableStructuretrueconstawaitload// Step 2: 按类型分别处理生成摘要, 原始内容对constpairsArraysummarystringrawstringtypestringforconstofifmetadatatypeImageconstmetadataimage_pathasstringconstreadFileSyncbase64constawaitinvokeroleusercontenttypetexttext详细描述这张图片类型、主要内容、关键数据或结论100-200字。typeimage_urlimage_urlurldata:image/png;base64,${imageBase64}pushsummarycontentasstringrawtypeimageelseifmetadatatypeTablepushsummarypageContentrawpageContenttypetableelsepushsummarypageContentrawpageContenttypetext// Step 3: 摘要入向量库原始内容入 docStoreconstnewChromacollectionNamemultimodal_kbconstnewInMemoryStoreconstnewMultiVectorRetrievervectorstorebyteStoreidKeydoc_idconstmap() uuidv4constmap(p, i) newDocumentpageContentsummarymetadatadoc_idtypetypeawaitvectorstoreaddDocumentsawaitbyteStoremsetmap(id, i) newTextEncoderencodeJSONstringifytypetyperawrawreturn查询时根据检索到的内容类型分别处理图片取路径后 base64 送 VLM文字和表格直接作为文本上下文全部打包给 VLM 一次性回答。07 常见坑这些问题让多模态 RAG 上线后一塌糊涂坑 1把 base64 图片存进向量库元数据一张 PNG 图 base64 之后轻松 500KB 到 2MB存进 ChromaDB 元数据里几百张图之后性能直线下降还可能触发存储限制。正确做法图片存磁盘或对象存储OSS/S3元数据里只存路径或 URL。坑 2Caption 质量太差「这是一张图片包含一些数字和图表」这种摘要没有任何用处。Caption 必须包含图片类型、具体数值、趋势描述、关键结论。Prompt 工程直接决定你的检索天花板。坑 3图片分辨率压缩过度很多人为了省 Token 把图片压缩到 200×200结果图里的数字全模糊了GPT-4o 也看不清。合理做法下采样到 1024×768清晰度和 Token 消耗取平衡点。坑 4扫描版 PDF 直接用文本解析扫描版 PDF 本质是一张图没有文字层PDFLoader 加载得到空文档。必须先跑 OCRunstructured 高精度模式或者直接用 ColPali。坑 5三种内容用同一检索策略表格适合精确检索BM25图片 Caption 适合语义检索向量长文档适合混合检索。混在同一个 collection 里用同一个参数精度被平均拉低。坑 6Caption 批量生成没有限速一次性给 GPT-4o 发 200 张图触发 Rate Limit任务挂掉。Caption 生成要批次控制每批 10-20 张 重试机制触发 Rate Limit任务挂掉。Caption 生成要批次控制每批 10-20 张 重试机制asyncfunctionbatchGenerateCaptionsimagePaths: string[], batchSize 10, delayMs 1000Promisestringconstcaptionsstringforlet0lengthconstsliceconstawaitPromiseallmapp generateImageCaptionWithRetry3pushiflengthawaitnewPromiseresolve setTimeoutreturn总结多模态 RAG 的核心矛盾是你的文档有多少信息在图里而不是在文字里。搞清楚这个选方案就有方向了CLIP 多模态嵌入实现简单、成本低但全局向量丢细节精度约 60%适合图片相似搜索不适合精准文档问答图生文摘要Caption MultiVectorRetriever精度最高~90%检索走文字、回答走原图代价是入库成本高图片多时费用可观ColPali 视觉检索整页 PDF 当图片索引零 OCR 误差复杂排版文档首选但需要 GPU 部署16GB 显存起步表格必须单独处理用unstructured保留 HTML 结构或截图给 VLM 提取绝对不要和正文混在同一个 chunk 里2026年AI行业最大的机会毫无疑问就在应用层字节跳动已有7个团队全速布局Agent大模型岗位暴增69%年薪破百万腾讯、京东、百度开放招聘技术岗80%与AI相关……如今超过60%的企业都在推进AI产品落地而真正能交付项目的大模型应用开发工程师****却极度稀缺落地AI应用绝对不是写几个prompt调几个API就能搞定的企业真正需要的是能搞定这三项核心能力的人✅RAG融入外部信息修正模型输出给模型装靠谱大脑✅Agent智能体让AI自主干活通过工具调用Tools环境交互多步推理完成复杂任务。比如做智能客服等等……✅微调针对特定任务优化让模型适配业务目前脉脉上有超过1000家企业发布大模型相关岗位人工智能岗平均月薪7.8w实习生日薪高达4000远超其他行业收入水平技术的稀缺性才是你「值钱」的关键具备AI能力的程序员比传统开发高出不止一截有的人早就转行AI方向拿到百万年薪AI浪潮正在重构程序员的核心竞争力现在入场仍是最佳时机我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】⭐️从大模型微调到AI Agent智能体搭建剖析AI技术的应用场景用实战经验落地AI技术。从GPT到最火的开源模型让你从容面对AI技术革新大模型微调掌握主流大模型如DeepSeek、Qwen等的微调技术针对特定场景优化模型性能。学习如何利用领域数据如制造、医药、金融等进行模型定制提升任务准确性和效率。RAG应用开发深入理解检索增强生成Retrieval-Augmented Generation, RAG技术构建高效的知识检索与生成系统。应用于垂类场景如法律文档分析、医疗诊断辅助、金融报告生成等实现精准信息提取与内容生成。AI Agent智能体搭建学习如何设计和开发AI Agent实现多任务协同、自主决策和复杂问题解决。构建垂类场景下的智能助手如制造业中的设备故障诊断Agent、金融领域的投资分析Agent等。如果你也有以下诉求快速链接产品/业务团队参与前沿项目构建技术壁垒从竞争者中脱颖而出避开35岁裁员危险期顺利拿下高薪岗迭代技术水平延长未来20年的新职业发展……那这节课你一定要来听因为留给普通程序员的时间真的不多了立即扫码即可免费预约「AI技术原理 实战应用 职业发展」「大模型应用开发实战公开课」还有靠谱的内推机会直聘权益完课后赠送大模型应用案例集、AI商业落地白皮书