多模态AIAgent开发实践 邓立国、周驰岷、邓淇等 清华大学出版社【行情 报价 价格 评测】-京东《多模态AI Agent开发实践》1~6章试读-CSDN博客本章案例基于qwen-vl-plus大模型实现“图片文本”跨模态交互工业巡检图像分析严格遵循指定依赖与.env文件API调用规范可直接运行衔接前5章的图片加载方法实现多模态基础推理。【示例6.1】本示例加载工业巡检图片通过qwen-vl-plus分析图片中设备是否存在异常输出详细分析结果。实现代码如下#多模态大模型基础案例qwen-vl-plus工业图像异常分析#依赖langchain0.3.25 langgraph1.0.5 langchain-core1.2.7 langchain-community0.4.1 python-dotenvfrom dotenv import load_dotenvimport osimport base64load_dotenv()#官方正确必须用ChatTongyifrom langchain_community.chat_models import ChatTongyifrom langchain_core.messages import HumanMessagedef image_to_base64(image_path):with open(image_path, rb) as f:return base64.b64encode(f.read()).decode(utf-8)def main():# 1.初始化qwen-vl-plus多模态模型llm ChatTongyi(model_nameqwen-vl-plus,api_keyos.getenv(QWEN_API_KEY),temperature0.1,max_tokens1024)# 2.加载图片image_path industrial_test.jpgtry:img_b64 image_to_base64(image_path)print(f✅图片加载成功{image_path})except:print(f图片不存在{image_path})return# 关键修复官方标准格式messages [HumanMessage(content[{text: 请分析这幅工业巡检图片完成以下任务1.描述图片中的核心设备与场景2.检查是否存在泄漏、破损、异常磨损、变形等异常3.给出明确结论正常/异常详细说明。 },{image: fdata:image/jpeg;base64,{img_b64}}])]# 3.调用模型print(\n正在使用 qwen-vl-plus分析图片...)response llm.invoke(messages)# 4.输出结果print(\n *60)print(qwen-vl-plus 多模态图像分析结果)print(*60)print(response.content)print(*60)if __name__ __main__:main()运行输出✅图片加载成功industrial_test.jpg正在使用qwen-vl-plus分析图片...qwen-vl-plus 多模态图像分析结果[{text: ### 1.描述图片中的核心设备与场景\n\n这幅图片展示了一个工业巡检的场景位于一个大型工厂或化工厂内部。场景的核心设备包括\n\n- **管道系统**画面中布满了大量的金属管道这些管道纵横交错连接着各种设备和机器。管道的颜色主要是银色和白色部分管道上可能有保温层。\n- **电机和泵组**前景中可以看到几台大型电机和泵组它们安装在混凝土基座上用于驱动流体或其他介质的输送。电机外壳为蓝色表面光滑。\n- **阀门和仪表**管道上安装了多个阀门和仪表用于控制流体的流动和监测压力、温度等参数。\n- **支撑结构**整个场景由金属支架和立柱支撑确保管道和设备的稳定安装。\n\n两名穿着蓝色工作服、戴着安全帽的工作人员正在巡检他们手持文件夹似乎在记录或核对设备的运行情况。\n\n### 2.检查是否存在泄漏、破损、异常磨损、变形等异常\n\n通过对图片的仔细观察可以进行以下检查\n\n- **泄漏**从图片中未发现明显的泄漏迹象。管道和设备表面没有可见的液体滴落或气泡也没有明显的锈迹或湿痕。\n- **破损**所有设备和管道的外观看起来完好无损没有明显的裂纹、断裂或其他破损现象。\n- **异常磨损**电机和泵组的外壳没有明显的磨损痕迹表面光滑且无刮擦。管道和阀门也没有显示出异常的磨损或腐蚀。\n- **变形**管道和设备的形状保持正常没有明显的弯曲、扭曲或其他变形现象。\n- **其他异常**从图片中未发现明显的异常现象如过热导致的变色、振动引起的松动等。\n\n### 3.结论\n\n**结论正常**\n\n**详细说明**\n\n根据对图片的分析该工业巡检场景中的设备和环境均处于正常状态。管道、电机、泵组及其他相关设备没有发现泄漏、破损、异常磨损或变形等异常现象。两名工作人员正在进行常规的巡检工作他们的行为符合标准的操作流程。整体来看该场景的设备运行状态良好没有明显的安全隐患或故障迹象。\n\n如果需要进一步确认建议进行更详细的现场检查包括使用专业仪器检测设备的运行参数如温度、压力、振动等以确保设备的长期稳定运行。}]案例说明本案例衔接前5章的图片加载方法通过.env文件管理API密钥调用qwen-vl-plus实现跨模态推理输出图片分析结果直观体现多模态大模型的核心能力同时适配指定依赖版本为第7章LangChain集成奠定实操基础。运行后可根据图片实际内容得到设备状态的详细分析。若图片存在管道泄漏、设备破损等异常则会明确标注异常位置与表现。