1. 什么是 LLaVALLaVALarge Language and Vision Assistant是一个开源的多模态大语言模型由威斯康星大学麦迪逊分校、微软研究院和哥伦比亚大学的研究人员联合开发。它能够同时理解和处理文本与图像信息实现视觉问答、图像描述、视觉推理等多种任务。LLaVA 的核心思想是将视觉编码器如 CLIP与大型语言模型如 Vicuna、LLaMA进行连接通过一个简单的投影层将图像特征映射到语言模型的词嵌入空间从而让语言模型“看懂”图片。2. LLaVA 的核心架构LLaVA 的架构主要包含三个部分视觉编码器通常使用 CLIP 的视觉编码器ViT-L/14提取图像特征。投影层一个简单的线性层或多层感知机MLP将图像特征投影到语言模型的词嵌入空间。大语言模型负责理解和生成文本接收拼接后的图像特征和文本指令。训练过程分为两个阶段特征对齐预训练使用图像-文本对数据训练投影层让语言模型学会将视觉特征与文本概念关联。指令微调使用高质量的视觉指令数据进一步微调整个模型提升其遵循指令和对话的能力。3. 快速上手使用 LLaVA 进行推理以下是一个使用 LLaVA 官方代码库进行图像问答的简单示例。环境准备# 克隆 LLaVA 仓库 git clone https://github.com/haotian-liu/LLaVA.git cd LLaVA 创建 conda 环境可选 conda create -n llava python3.10 -y conda activate llava 安装依赖 pip install --upgrade pip pip install -e .运行推理import torch from llava.model.builder import load_pretrained_model from llava.mm_utils import get_model_name_from_path, process_images, tokenizer_image_token from llava.constants import IMAGE_TOKEN_INDEX, DEFAULT_IMAGE_TOKEN, DEFAULT_IM_START_TOKEN, DEFAULT_IM_END_TOKEN from PIL import Image import requests from io import BytesIO 加载模型和处理器 model_path liuhaotian/llava-v1.6-vicuna-7b tokenizer, model, image_processor, context_len load_pretrained_model( model_pathmodel_path, model_baseNone, model_nameget_model_name_from_path(model_path), load_8bitFalse, # 根据 GPU 内存调整 load_4bitFalse ) 准备图像和问题 image_url https://llava-vl.github.io/static/images/view.jpg response requests.get(image_url) image Image.open(BytesIO(response.content)).convert(RGB) question Describe this image in detail. 处理输入 image_tensor process_images([image], image_processor, model.config)[0] prompt DEFAULT_IMAGE_TOKEN \n question input_ids tokenizer_image_token(prompt, tokenizer, IMAGE_TOKEN_INDEX, return_tensorspt).unsqueeze(0).cuda() 生成回答 with torch.inference_mode(): output_ids model.generate( input_ids, imagesimage_tensor.unsqueeze(0).half().cuda(), do_sampleTrue, temperature0.2, max_new_tokens512, use_cacheTrue ) 解码输出 answer tokenizer.batch_decode(output_ids, skip_special_tokensTrue)[0] print(answer)4. 应用场景与优势视觉问答回答关于图像内容的开放式问题。图像描述为图像生成详细、准确的文字描述。视觉推理基于图像内容进行逻辑推理和常识判断。文档理解识别和解释图表、截图、文档图片中的信息。优势开源免费、模型尺寸适中7B/13B、易于部署和微调、社区活跃。5. 总结与展望LLaVA 为多模态 AI 应用提供了一个强大且易用的基础模型。随着版本的迭代如 LLaVA-1.5, LLaVA-1.6其在基准测试和实际应用中的表现不断提升。开发者可以基于 LLaVA 快速构建自己的视觉对话应用或在其基础上进行领域微调探索更广阔的多模态可能性。