给 DeepSeek 安上眼睛这件事很多人在问DeepSeek 不是纯文本模型吗能不能让它直接“看”图答案是官方原生能力暂时不支持但实际场景里我们可以用“伪多模态”方案让 DeepSeek 具备识图、读表、看截图、分析界面、批量处理图片的能力。这次我们直接拆解方案用 OCR / 视觉语言模型做“眼睛”把图片转成结构化文本再把文本交给 DeepSeek 推理。这条路的好处是门槛低、不改模型、能跑批量、能接 API普通开发者的电脑也能跑起来。这个方案最核心的三个特点第一DeepSeek 本体不做任何改动只是它的输入从“纯文本”变成“图片解析后的文本”第二本地识图层是可替换的你可以用轻量 OCR也可以用更强的开源视觉语言模型按需选第三整体可以封装成 Web 服务批量图片目录丢进去自动生成分析报告方便接到自己的工具链里。这篇文章会带你过一遍架构选择、环境准备、本地启动、单图识别、批量识别、API 封装、资源占用观察和常见问题排查。不管你是想给 DeepSeek 做一个“识图聊天机器人”还是想让它批量分析截图和文档这套流程都能直接参考。所有代码给出通用模板实际部署时按自己的模型路径、API Key 和端口调整即可。1. 核心能力速览先给一张规格速览看完先判断这个方案适不适合你。能力项说明项目类型伪多模态识图方案给纯文本大模型外挂视觉解析层核心思路图片 → OCR/视觉语言模型 → 文本 → DeepSeek 推理是否修改 DeepSeek不改模型不改权重只用文本对话能力识图方式本地 OCR、开源视觉语言模型、云端视觉 API 三类可选DeepSeek 接入官方开放平台 API 或本地 Ollama/vLLM 部署均可启动方式Python 脚本启动 / FastAPI 服务启动 / WebUI 封装支持 API可以封装成/analyze、/recognize、/chat等接口支持批量任务支持按目录遍历图片输出 JSON/Markdown 报告显存需求取决于视觉层OCR 可纯 CPUVLM 本地推理建议 8G 以上显存操作系统Windows / Linux / macOS 均可依赖 CUDA 时优先 Linux适合场景截图分析、表格识别、文档解析、图片批量问答、自动化测试辅助这里要特别注意DeepSeek 本身是否“支持识图”要看官方模型版本和接口文档。如果你的目的是让 DeepSeek 原生支持像素输入那目前社区常用的做法就是“伪多模态”。它能覆盖很多实际需求但不等于真正的多模态大模型。复杂图表、细粒度物体检测、空间关系判断这类任务仍然建议直接用原生多模态模型。2. 适用场景与使用边界伪多模态的思路适合什么场景可以这样理解DeepSeek 擅长的是“理解文本之后的推理”图片解析层负责“把视觉信息翻译成 DeepSeek 能理解的语言”。合理的分工是OCR 负责读字视觉模型负责描述场景DeepSeek 负责归纳、总结、判断、回答。适合的场景包括图片里的文字识别与总结截图、合同扫描件、PPT 翻拍照先 OCR 再让 DeepSeek 总结要点。界面截图分析软件界面、报错弹窗、浏览器页面识别文案后让 DeepSeek 判断问题原因。表格和票据处理OCR 输出带坐标的文本再结合规则或 DeepSeek 整理成结构化记录。批量图片审核一批图片统一走“识别 → 分类 → 输出报告”的流程。自动化测试辅助把测试截图喂给模型让模型判断页面是否符合预期文案。不适合的场景也要说清楚需要精确判断图像内容、物体位置、像素级细节时OCR 加文本推理不够建议直接用原生视觉语言模型。图片包含大量复杂图表、曲线、坐标轴时简化的解析流程会丢失信息。完全离线且硬件很弱的环境本地 VLM 推理体验会比较差建议 API 方案。安全边界方面识图涉及三类问题必须注意一是图片版权不要未经授权批量解析他人作品二是肖像权和隐私包含人脸、身份证、聊天记录、业务数据的图片处理前要确认授权三是模型输出可能不稳定涉及医学影像、法律文件、金融票据等关键场景时人要复核结果。商用前还要确认所用 OCR 模型和视觉模型的许可证。3. 整体架构给 DeepSeek 装“眼睛”伪多模态的架构不复杂重点是理解数据流。整体可以拆成四层图片输入层支持单张图片、图片 URL、批量目录。视觉解析层OCR 模型提取文字或视觉语言模型生成图片描述输出为文本。组装层把“图片解析文本”和用户问题组装成 Prompt。推理层调用 DeepSeek 的文本对话接口返回答案。用一个简单流程图描述图片文件/URL ↓ 视觉解析层PaddleOCR / Tesseract / Qwen-VL / MiniCPM-V 等 ↓ 结构化文本文字、表格、简要描述 ↓ 组装 Prompt图片信息 用户问题 ↓ DeepSeek API 或本地模型 ↓ 返回分析结果为什么叫“伪多模态”因为 DeepSeek 看到的不是图片而是别人替它“看”出来的文字。这个方案的本质是信息压缩把一张高信息密度的图片压缩成文本摘要。所以解析层越强最终回答越准。如果你本地有 GPU视觉解析层可以选用开源视觉语言模型比如社区常用的 Qwen-VL 系列、MiniCPM-V 系列。这类模型可以直接输入图片输出图片描述或回答图片相关问题。如果你只有 CPU或者希望更快更省资源就选 OCR 路线Tesseract、PaddleOCR 都能在 CPU 上运行。从我的实践建议看最稳的组合是本地 OCR DeepSeek API适合文字类任务GPU 机器则可以再加一个开源 VLM用于文字很少但场景复杂的图片比如“描述这张截图的界面结构”。两条路线可以同时存在都抽象成同一个函数接口方便切换。4. 环境准备与前置条件开始动手前先把环境检查一遍。下面这份清单不一定每一项都需要取决于你选的视觉解析层。检查项说明操作系统Windows 10/11、Ubuntu 20.04、macOS 12 均可Python建议 3.10 或 3.11DeepSeek API Key在 DeepSeek 开放平台获取或本地部署 DeepSeek 模型网络能访问 DeepSeek API国内网络一般可直接调用OCR 引擎Tesseract 或 PaddleOCR二选一视觉语言模型可选Qwen-VL、MiniCPM-V 等需要模型文件GPU本地跑 VLM 建议 8G 以上显存纯 OCR 可以不依赖 GPU磁盘空间OCR 约几百 MBVLM 模型约 5-20G根据模型大小预留Python 环境建议用虚拟环境避免依赖冲突python -m venv deepseek-vision source deepseek-vision/bin/activate # Windows: deepseek-vision\Scripts\activate pip install --upgrade pip基础依赖安装pip install openai requests pillow python-dotenv如果你选择 PaddleOCR需要额外安装pip install paddlepaddle paddleocr如果你选择 TesseractWindows 用户需要单独安装 Tesseract 程序Linux 用户可以这样装sudo apt install tesseract-ocr tesseract-ocr-chi-sim视觉语言模型方案如果需要本地推理建议安装对应框架例如pip install transformers torch torchvision这一节不需要全部装。先想清楚自己的路线CPU 文字识别选 OCRGPU 场景理解选 VLM两者结合也可以。别一开始就追求全功能否则依赖冲突和加载时间会劝退你。5. 安装部署与启动方式推荐目录结构这样组织deepseek-vision/ ├── .env ├── main.py ├── api_server.py ├── batch_analyze.py ├── models/ │ └── ocr_engine.py └── inputs/ ├── test1.png └── test2.jpg.env文件保存密钥避免把 Key 写死在代码里DEEPSEEK_API_KEYsk-xxxxxxxx DEEPSEEK_BASE_URLhttps://api.deepseek.com DEEPSEEK_MODELdeepseek-chat # OCR 选择paddle / tesseract / vlm VISION_ENGINEpaddle INPUT_DIR./inputs OUTPUT_DIR./outputs先写一个视觉解析层的封装。这个模块的作用是“不管底层用什么对外只提供一个函数图片路径进来文本描述出去”。# models/ocr_engine.py import os def extract_text_from_image(image_path: str, engine: str paddle) - str: if engine paddle: from paddleocr import PaddleOCR ocr PaddleOCR(use_angle_clsTrue, langch, show_logFalse) result ocr.ocr(image_path, clsTrue) lines [] for page in result or []: for line in page or []: lines.append(line[1][0]) return \n.join(lines) elif engine tesseract: import pytesseract from PIL import Image text pytesseract.image_to_string(Image.open(image_path), langchi_simeng) return text.strip() else: raise ValueError(fUnknown vision engine: {engine})PaddleOCR 首次运行会自动下载模型网络慢时容易失败失败后重新执行即可模型会断点缓存。接下来写 DeepSeek 接入层。使用 OpenAI SDK 兼容接口因为 DeepSeek 的接口风格和 OpenAI 类似。具体请求地址和模型名以 DeepSeek 官方开放平台文档为准。# deepseek_client.py import os from openai import OpenAI from dotenv import load_dotenv load_dotenv() client OpenAI( api_keyos.getenv(DEEPSEEK_API_KEY), base_urlos.getenv(DEEPSEEK_BASE_URL), ) def ask_deepseek(prompt: str, system: str ): messages [] if system: messages.append({role: system, content: system}) messages.append({role: user, content: prompt}) response client.chat.completions.create( modelos.getenv(DEEPSEEK_MODEL), messagesmessages, temperature0.3, ) return response.choices[0].message.content从models/ocr_engine.py到deepseek_client.py数据链路已经通了。现在写一个主流程脚本图片先进 OCR 引擎输出文字再组装成 Prompt发送给 DeepSeek。# main.py import sys from models.ocr_engine import extract_text_from_image from deepseek_client import ask_deepseek def analyze_image(image_path: str, question: str) - str: ocr_text extract_text_from_image(image_path, enginepaddle) prompt f下面是一张图片识别出的文字内容 --- {ocr_text} --- 用户问题{question} 如果文字内容与问题无关请如实说明如果文字内容不完整请基于已有信息回答。 return ask_deepseek(prompt) if __name__ __main__: image sys.argv[1] question sys.argv[2] if len(sys.argv) 2 else 请总结这张图片里的关键信息 print(analyze_image(image, question))启动命令python main.py inputs/test1.png 这张截图里有哪些按钮这段流程就是最简单的“伪多模态识图”。第一次跑会下载 OCR 模型耐心等一会儿。看到 DeepSeek 返回结构化答案说明整条链路已经通了。6. 功能测试与效果验证部署完成后不要急着上批量任务先按下面的顺序做功能验证。6.1 单张图片识图测试测试目的确认 OCR 文字提取和 DeepSeek 推理链路正常。准备一张测试图最好是包含标题、正文、按钮文案的软件截图。运行python main.py inputs/screenshot.png 这个界面是做什么用的判断标准OCR 能正确输出图片中的主要文字。DeepSeek 能根据 OCR 文字回答界面功能。整个过程没有报错耗时在可接受范围内。常见失败PaddleOCR 下载模型超时重试即可。OCR 输出乱码检查图片清晰度和字体。DeepSeek 返回空结果检查 API Key 和网络。6.2 OCR 质量对比测试同一张图片分别用 PaddleOCR 和 Tesseract 跑一次观察输出差异。python main.py # 默认 paddle临时切换引擎也可以直接改.env里的VISION_ENGINEtesseract。中文场景下 PaddleOCR 通常比 Tesseract 好英文和数字场景两者都可以。如果图片是扫描件、有倾斜角度PaddleOCR 自带的方向分类器能减少乱码。6.3 多轮对话识图测试伪多模态不一定要做成“一次问答”你可以把 OCR 文本保存下来在后续多轮对话中反复使用。# chat_with_image.py from models.ocr_engine import extract_text_from_image from deepseek_client import ask_deepseek image_text extract_text_from_image(inputs/report.png, enginepaddle) history [{role: system, content: 你是文档分析助手基于用户上传图片的OCR结果回答。}] history.append({role: user, content: f图片内容如下\n{image_text}\n\n请先概括主要内容。}) while True: user_input input(你) if user_input in (exit, quit): break history.append({role: user, content: user_input}) response ask_deepseek(, systemhistory[0][content]) print(AI, response) history.append({role: assistant, content: response})这个脚本的关键点图片信息只注入一次后续对话基于图片文本展开。这样可以减少 API 请求里的重复文本量也方便做长对话。6.4 视觉语言模型替换测试如果你有 GPU并且希望识图能力更接近“真多模态”把ocr_engine.py里的逻辑换成 VLM。示例代码框架如下模型名和加载方式以你选用的 VLM 项目文档为准# models/vlm_engine.py from transformers import pipeline def extract_text_from_image(image_path: str, engine: str vlm) - str: if engine vlm: pipe pipeline(image-to-text, modelyour-vlm-model-path) result pipe(image_path) return result[0][generated_text] raise ValueError(unknown engine)不要照抄模型名你需要先下载对应的 VLM 权重再替换成实际路径。VLM 方案更适合“图片里没有多少文字、主要靠场景理解”的任务比如描述一张产品照片的场景、判断截图布局、分析图表大致趋势。7. 接口 API 与批量任务脚本能跑通之后下一步就是封装成服务。这里用 FastAPI 做一个极简接口上传图片服务端做 OCR再调用 DeepSeek返回结果。# api_server.py import uvicorn from fastapi import FastAPI, UploadFile, File, Form from models.ocr_engine import extract_text_from_image from deepseek_client import ask_deepseek app FastAPI() app.post(/analyze) async def analyze( file: UploadFile File(...), question: str Form(请总结这张图片里的关键信息) ): temp_path ftemp/{file.filename} with open(temp_path, wb) as f: f.write(await file.read()) ocr_text extract_text_from_image(temp_path, enginepaddle) prompt f图片OCR内容\n{ocr_text}\n\n用户问题{question} answer ask_deepseek(prompt) return { filename: file.filename, ocr_text: ocr_text, answer: answer } if __name__ __main__: uvicorn.run(app, host127.0.0.1, port8000)启动服务python api_server.py然后用 curl 测试接口curl -X POST http://127.0.0.1:8000/analyze \ -F fileinputs/test1.png \ -F question这张图里有哪些按钮返回示例{ filename: test1.png, ocr_text: 登录 注册 忘记密码, answer: 图片中出现的按钮有登录、注册、忘记密码。 }如果你不想写前端页面直接用这个接口就能把“DeepSeek 识图”能力接到自己的业务系统里。比如写一个 Python 批量脚本遍历图片目录自动分析每张图并把结果保存为 JSON。# batch_analyze.py import os import json from models.ocr_engine import extract_text_from_image from deepseek_client import ask_deepseek input_dir inputs output_dir outputs results [] for filename in sorted(os.listdir(input_dir)): if not filename.lower().endswith((.png, .jpg, .jpeg)): continue path os.path.join(input_dir, filename) ocr_text extract_text_from_image(path, enginepaddle) answer ask_deepseek(f图片内容\n{ocr_text}\n\n请总结关键信息。) results.append({ filename: filename, ocr_text: ocr_text, answer: answer }) print(f[done] {filename}) os.makedirs(output_dir, exist_okTrue) with open(os.path.join(output_dir, results.json), w, encodingutf-8) as f: json.dump(results, f, ensure_asciiFalse, indent2)批量任务要注意几个点一是 DeepSeek API 有频率限制批量量大时要加休眠或限速二是 OCR 失败不能中断整个任务要捕获异常并记录三是输出要区分成功和失败方便重跑。给批量脚本加一个简单的失败重试import time def analyze_with_retry(path, question, retries3): for i in range(retries): try: return extract_text_from_image(path, enginepaddle) except Exception as e: print(fretry {i1}: {e}) time.sleep(2) raise RuntimeError(ffailed: {path})8. 资源占用与性能观察伪多模态方案里资源占用主要看视觉解析层DeepSeek 如果是 API 调用本地几乎不占显存。PaddleOCR 在 CPU 上可以运行单张截图通常几秒内出结果。如果批量处理几百张图建议观察内存占用避免一次加载太多图片。PaddleOCR 首次初始化会加载模型耗时较长之后的单张推理会快很多。VLM 本地推理的资源占用受模型大小影响比较大。以常见的 4B、7B 级别视觉语言模型为例加载到显存通常在 6G 到 12G 之间具体以模型文件说明和本机实际占用为准。显存不够时可以尝试量化版本、降低输入分辨率、减小 batch size。怎么观察资源占用Linux 下用nvidia-smi -l 1实时看显存Windows 下可以用任务管理器的 GPU 栏或者用命令nvidia-smi --query-gpuutilization.gpu,memory.used --formatcsv -l 1如果你的整个流程是“API 调用”模式瓶颈通常在网络延迟和 OCR 处理时间而不是显存。批量任务建议先把所有图片 OCR 成文本缓存下来再批量调 DeepSeek这样即使 DeepSeek 接口临时出问题也不用重新识别图片。其他能降低占用和成本的手段OCR 结果去重、去空行减少发送给大模型的 token 量。图片先压缩或缩放再送 OCR识别速度更快。批量任务使用并发时控制同时请求数避免触发 API 限流。.env里的模型名、接口地址集中管理换模型时只改配置。9. 常见问题与排查方法问题现象可能原因排查方式解决方案启动后 OCR 报错 / 下载模型失败PaddleOCR 首次下载模型网络不稳定查看报错日志确认卡在下载阶段重试手动下载模型放入缓存目录换 Tesseract 临时替代中文识别乱码语言参数没设中文图片文字倾斜检查langch查看原图清晰度改用 PaddleOCR先做图片旋转矫正DeepSeek 接口调用失败API Key 无效、网络不通、余额不足用独立请求测试接口查看返回状态码检查.env配置确认官方接口文档返回内容为空Prompt 太长被截断模型输出为空查看完整响应对象缩减 OCR 文本调整max_tokens批量任务中途卡住某张图 OCR 失败API 限流加日志打印当前文件名捕获异常加失败重试加休眠VLM 本地加载 OOM显存不足观察nvidia-smi换量化模型调低分辨率改用 API 版视觉模型端口被占用8000 端口已有服务lsof -i:8000或任务管理器查端口换端口启动--port 8001排查问题时最有效的办法是把“图片解析”和“大模型调用”分开测试。先单独跑 OCR确认输出文本对不对再单独调 DeepSeek确认接口通不通。两段都通组合在一起才可能稳。10. 最佳实践与使用建议第一先小规模跑通再上批量。第一次测试不要直接丢几百张图先放 3 到 5 张不同类型图片确认输出效果符合预期再扩展。第二视觉解析结果一定要缓存。伪多模态的核心成本在 OCR 和 VLM 推理DeepSeek 的 Token 成本也需要控制。建议把所有图片的解析文本存成临时文件调试 Prompt 时不需要反复识别图片。第三把输出格式做成结构化。不要只让 DeepSeek 返回自由文本尽量让它在固定格式下输出例如 JSONprompt f 请基于图片OCR内容回答。 要求只返回JSON格式包含 summary、keywords、risk 三个字段。 图片内容 {ocr_text} 第四接口服务安全边界要控制。FastAPI 服务如果部署到公网需要加鉴权比如简单的 Token 校验。不要把本地的.env文件提交到代码仓库。第五明确合规边界。OCR 识别可能涉及聊天记录、身份证、合同、票据等敏感信息内部测试尽量用脱敏数据。涉及人脸、品牌 Logo、版权图片时必须确认授权。不要用该方案批量提取他人付费内容或隐私数据。第六保持模块可替换。把 OCR、VLM、DeepSeek 客户端拆成独立模块方便以后换更好的视觉模型或换推理服务。你今天用 PaddleOCR 跑通明天想换 Qwen-VL只需要改ocr_engine.py一个文件。第七关注模型许可证。开源的 OCR 和 VLM 模型各自的商用授权不一样商用前查一下对应模型的 License 和官方文档。11. 总结与下一步给 DeepSeek 安上眼睛本质上不是把 DeepSeek 变成多模态模型而是用外部解析层补上视觉输入缺失的短板。这个方案最值得尝试的地方在于它完全不需要重新训练模型本地环境要求也不高CPU 机器也能跑 OCR 识别GPU 机器可以直接换成 VLM 方案并且整个流程可以封装成接口、批量任务甚至接入自动化工具。动起手来时建议先做三件事第一准备一张带文字信息的截图第二跑通python main.py第三把results.json输出格式改成你业务需要的结构化字段。只要这三步完成你就能明显感受到“伪多模态”在真实项目里的可用性了。最容易踩的坑也先提醒OCR 输出质量决定了最终回答质量批量任务必须做失败重试API 限流和 Token 成本要在设计里提前考虑。把这些基础打好后面再扩展视觉模型、多轮对话、自动定时任务就会顺手很多。