VetClaw面向畜禽疾病筛查的端云多模态智能体系统arXiv原文链接https://arxiv.org/html/2607.26042v1摘要本文提出VetClaw——一套基于端云架构的畜禽早期疾病筛查多模态智能体系统。边缘侧搭载摄像头采集动物影像搭配养殖户录入的病症文本上传至云端视觉语言模型VLM完成零样本疾病分类。系统将智能体交互与工作流编排解耦OpenClaw负责边缘设备的任务调度、工具调用、用户交互与消息通知LangGraph实现带状态筛查流程管控包含输入校验、图像预处理、模型调用、安全规则校验、条件分支路由、异常容错与结构化日志全链路能力。相较于传统静态图像分类方案VetClaw具备工具调用、流程管理、异常降级、疑难病例人工升级能力。实验结果表明仅依靠图像输入的零样本识别效果存在明显瓶颈影像病症文本的多模态融合输入可大幅提升分类精度。本系统将单一静态预测模型升级为具备安全约束、故障自愈、流程可追溯的端到端智能筛查平台。1 引言动物生物安全核心目标是阻断传染性疫病在养殖群体内扩散皮肤病是疫病爆发最典型的临床表征之一。人工智能在兽医诊疗领域已拥有大量落地案例但动物无法自主口述症状不同物种、生理结构、行为模式会造成病症表现差异极大给自动诊断带来巨大挑战。生成式多模态AI可融合影像、文字、养殖行为多维度观测证据模拟兽医综合查体、病历、检测报告的诊断逻辑智能体技术进一步突破静态单次预测局限实现自适应推理、工具调用、长流程协同、个性化决策。本文基于OpenClawLangGraph搭建VetClaw畜禽筛查智能流水线采用两套公开畜禽疾病数据集完成零样本评测。硬件采用树莓派边缘设备搭配摄像头采集动物图像上传云端VLM完成自动化疾病初筛。2 相关基础技术与研究现状2.1 OpenClaw开源自主智能体框架提供大模型、外部脚本、定时任务、通信通道的统一交互接口负责边缘侧用户交互与任务调度。2.2 LangGraph基于图结构的有状态智能体工作流框架以节点条件边描述完整业务流程。每个节点执行独立操作输入校验、模型调用、安全判定、日志存储等可根据运行状态动态分支、重试、终止流程。2.3 多模态人工智能可同时处理文本、图像、音频、视频异构数据的AI体系视觉语言模型VLM是典型代表同时具备图像理解与文本推理生成能力。2.4 国内外相关研究现有兽医AI研究分为三大方向纯NLP系统VetTag基于临床病历自动生成兽医诊断编码医疗多智能体面向人类诊疗的问题检测、LLM对话诊断框架无畜禽场景适配物联网养殖监测基于体温、运动传感器做健康预警缺少多模态图像智能体流程。现有方案缺失端云智能体编排、图文融合推理、安全规则校验、异常病例升级一体化能力VetClaw填补该空白。2.5 本文三大核心贡献提出基于OpenClawLangGraph的端云协同智能体VetClaw树莓派边缘设备采集影像云端VLM完成畜禽疾病筛查采用两套公开兽医数据集在纯图像、纯文本、图文多模态三种输入范式下评测两款主流VLM零样本分类性能验证病症文本对VLM推理的增益同时指出纯文本引导会存在标签泄露、输出不可控风险提出规则化校验约束方案。图1 VetClaw树莓派畜禽皮肤病预测端云整体架构分层架构边缘部署层 → 中间件OpenClaw → 云端推理层3 VetClaw系统整体架构系统分为边缘部署层、云端推理层两大模块分工完全隔离3.1 边缘层树莓派硬件硬件8GB内存树莓派 Camera Module 3摄像头系统Python3.12核心组件OpenClaw边缘主智能体定时触发采集、接收用户病症文本、启动LangGraph工作流、下发筛查通知轻量本地LLM仅做指令解析不执行疾病分类LangGraph工作流引擎全流程状态管控包含图像校验、预处理、API封装、模型请求、安全判定、日志存储、异常分支摄像头采集脚本、本地文件存储模块。3.2 云端推理层硬件Intel Xeon A100 80GB 240GB内存组件FastAPI服务接口接收边缘上传图像、病症文本参数校验Ollama托管双视觉大模型Qwen3-VL-32B、InternVL3-38B持久化日志数据库存储全量请求、预测结果。3.3 完整业务工作流OpenClaw定时任务触发调用Python摄像头脚本拍摄动物图像本地时间戳存储用户可选录入皮肤、行为等病症描述文本启动LangGraph有状态流程校验图像清晰度、尺寸、格式分两条分支仅图像输入 / 图像病症多模态输入图像预处理后上传谷歌云盘生成访问链接封装进API请求FastAPI转发图文至云端VLM返回结构化疾病预测结果LangGraph安全规则校验低置信、冲突证据、紧急病症、接口报错自动触发重拍/重试/人工升级过滤专业诊断话术仅输出初筛预警禁止给出最终诊疗结论全流程结构化日志写入云端OpenClaw推送筛查通知至用户。架构设计核心优势VLM仅作为推理工具无权控制流程走向所有重试、升级、输出过滤逻辑由LangGraph规则管控流程可追溯、可审计边缘仅轻量采集调度重VLM推理全部上云适配低算力嵌入式设备。4 数据集与软硬件环境4.1 评测数据集两套公开畜禽图像数据集全部用于零样本测试Pet Disease Images1736张图像22类动物疾病Dogs Skin Disease443张犬类皮肤病图像4个病症类别。4.2 边缘硬件与工具栈设备CanaKit树莓派8GB128GB存储Camera Module 3运行环境Python3.12边缘智能OpenClaw调度、LangGraph编排图像/请求流程图像存储拍摄原图上传谷歌云端盘。4.3 云端推理环境模型Qwen3-VL-32B、InternVL3-38B部署方案Ollama托管 FastAPI封装REST接口三类评测输入范式纯图像、仅病症文本、图文融合多模态评测约束Prompt剔除文件夹名称、文件名、疾病标签杜绝标签泄露干扰零样本效果。4.4 评测指标准确率Acc、精确率Prec、召回Rec、宏F1分数。数据集模型输入模式Acc(%)PrecRecF1犬皮肤病数据集Qwen3-VL-32B纯图像33.260.510.310.31犬皮肤病数据集Qwen3-VL-32B仅文本69.000.600.750.64犬皮肤病数据集Qwen3-VL-32B图文融合72.170.850.780.69犬皮肤病数据集InternVL3-38B纯图像31.900.410.350.31犬皮肤病数据集InternVL3-38B仅文本100.001.001.001.00犬皮肤病数据集InternVL3-38B图文融合94.340.940.950.94宠物综合疾病集Qwen3-VL-32B纯图像48.410.640.480.47宠物综合疾病集Qwen3-VL-32B仅文本86.900.790.860.82宠物综合疾病集Qwen3-VL-32B图文融合84.020.900.830.80宠物综合疾病集InternVL3-38B纯图像52.220.620.49宠物综合疾病集InternVL3-38B仅文本86.040.790.860.81宠物综合疾病集InternVL3-38B图文融合88.110.930.880.865 系统实现与性能评测5.1 工作流初始化流程OpenClaw定时触发筛查任务调用摄像头拍摄动物图像图像本地校验清晰度、尺寸、模糊度不合格直接重拍存在病症文本则拼接为多模态输入LangGraph封装请求上传图像至谷歌云盘获取引用链接HTTP请求发送至云端FastAPI调用VLM推理返回结果进入安全校验节点置信度低、冲突、急症自动升级人工复核输出仅为初筛预警严禁生成临床确诊结论全链路时间戳、图像ID、预测结果、校验状态写入云端日志推送通知给养殖户附带原图链接便于兽医复核。5.2 图像预处理链路LangGraph内置图像校验节点校验维度文件存在性、分辨率、文件大小、模糊程度、亮度、图片格式不达标直接进入重拍分支。图像不直接二进制传输上传云端后仅传递文件URL降低网络传输负载。单次完整执行样例日志阶段字段数值图像采集硬件Camera Module 3图像采集时间戳2026-06-03图像采集状态成功图像采集文件大小296 KB采集耗时2820.47 ms云端上传存储位置Google Drive云端上传文件ID20260603_125355.jpg上传状态成功上传耗时1977.86 msVLM推理模型Qwen3-VL-32B预测结果猫牙科疾病推理耗时925.3 ms5.3 VLM零样本性能分析纯图像输入两类模型效果均极差犬皮肤病数据集F1仅0.31左右仅病症文本输入基线大幅提升InternVL3在犬数据集文本输入下达到100%准确率图文融合输入综合表现最优兼顾视觉特征与文字病症上下文精确率显著提升仅依赖图像无法完成可靠筛查多模态融合是畜牧AI核心优化方向。5.4 请求与响应处理规范LangGraph输出标准化JSON请求图像云链接、病症文本、采集时间FastAPI校验字段完整性转发至Ollama VLMVLM返回结构化预测、置信度、支撑依据返回数据回流LangGraph做规则校验校验输出是否符合预设格式判定置信度、证据冲突、紧急病症生成安全初筛通知记录全链路日志OpenClaw推送消息至养殖终端。系统可统计端到端总耗时、分段延迟区分采集、上传、云端推理各阶段开销用于后续性能优化。6 研究局限性评测仅使用两套中小型公开畜禽数据集样本多样性不足全部采用零样本Prompt推理未针对畜牧数据微调模型临床精准度存在上限预测结果高度依赖Prompt措辞、病症描述完整性摄像头固定拍摄角度无法捕捉运动动物多角度病灶真实兽医诊疗还包含血常规、行为、音频等多类数据本系统仅覆盖图像文本未开展专业兽医人工盲测验证筛查可靠性。7 结论本文搭建VetClaw端云多模态智能体系统基于OpenClaw做边缘调度、LangGraph管控完整疾病筛查工作流树莓派嵌入式设备采集动物图像云端VLM完成零样本疫病初筛。实验证明仅依靠动物图像识别精度极低融合养殖户病症文本的多模态输入可显著提升疾病分类准确率。系统内置安全校验、异常重试、人工升级、全链路日志规避大模型直接输出诊疗结论的安全风险。后续研究计划扩充大规模畜禽多模态数据集、对比非智能体静态流水线性能、完善安全规则体系、联合兽医完成临床实测。伦理说明本研究仅使用公开开源畜禽图像数据集无养殖户隐私、动物敏感诊疗数据不存在数据泄露风险。资源链接汇总论文HTML原文https://arxiv.org/html/2607.26042v1论文PDF原文https://arxiv.org/pdf/2607.26042OpenClaw开源框架官网https://openclaw.ai/LangGraph开源仓库https://github.com/langchain-ai/langgraph犬皮肤病数据集Kagglehttps://www.kaggle.com/datasets/yashmotiani/dogs-skin-dataset宠物综合疾病数据集Kagglehttps://www.kaggle.com/datasets/smadive/pet-disease-imagesQwen3-VL模型论文arXiv:2511.21631InternVL3模型论文arXiv:2504.10479