1. 项目概述当大模型遇上美食我们能“看”到什么最近在折腾多模态大模型Multi-Modal LLM的应用落地发现了一个特别有意思的领域美食分析。我们平时刷美食视频、看探店笔记或者自己下厨想复刻一道菜其实都面临一个核心问题——信息太“粗”了。一张图片一段描述往往只能告诉你“这是什么菜”至于它用了什么食材、烹饪手法是煎是炸、火候如何、摆盘有什么讲究这些更精细Fine-Grained的信息要么靠博主口述要么就得靠我们自己猜。FoodCHA这个项目瞄准的就是这个痛点。它本质上是一个基于多模态大语言模型的智能体Agent专门用来对食物进行细粒度的、多维度的分析。简单说你给它一张美食图片它不仅能告诉你这是“宫保鸡丁”还能像一位经验丰富的美食家或厨师那样拆解出主料是鸡丁和花生辅料有干辣椒、花椒色泽红亮属于“荔枝味”芡汁烹饪手法是“小煎小炒”火候要求旺火速成甚至能推断出咸鲜酸甜的大致比例和可能存在的改良比如用了番茄酱调色。这听起来可能像是个“玩具”但背后的应用场景其实非常扎实。对于内容平台它可以自动为海量美食图片和视频生成结构化标签极大提升检索和推荐的精度对于餐饮企业可以辅助新菜品研发和竞品分析对于健康管理能结合营养数据库进行更精准的热量和成分估算对于普通用户则是烹饪学习、美食文化探索的超级助手。我自己在尝试复刻一些传统菜式时就常常苦于找不到细节描述FoodCHA这类工具恰好能填补这个空白。2. 核心设计思路如何教会AI“品味”美食要让一个大模型真正理解美食不能只靠“看图说话”。FoodCHA的设计核心在于构建一个多模态感知与推理协同的智能体框架。它不是简单地将图片扔给一个视觉模型如CLIP生成描述再让大模型去总结而是设计了一套更精巧的“感知-分解-推理-整合”工作流。2.1 多模态信息融合的挑战与策略美食分析的第一关是“看”。但“看”不仅仅是识别物体。一张美食图片蕴含的信息层次非常丰富全局特征菜品的整体外观、色调、构图、餐具环境。局部与成分特征可识别的具体食材如鸡肉块、葱段、花生米、它们的形态切丁、切片、颜色生熟程度。纹理与状态特征汤汁的浓稠度芡汁的“亮油包汁”、食材表面的质感酥脆、软嫩、油脂的光泽。直接用一个通用的图像描述模型很容易丢失这些精细信息。因此FoodCHA很可能采用了一种分层的视觉特征提取策略。例如使用一个强大的视觉基础模型如经过美食数据微调的ViT或Swin Transformer来获取全局和局部的嵌入特征。同时可能会专门调用一个食物识别模型或物体检测模型如专门在Food-101或更大的美食数据集上训练过的模型来精准定位和识别图片中的各种食材成分生成一个结构化的成分列表。注意这里的关键不是追求100%的食材识别准确率而是为后续的大模型推理提供尽可能丰富、可靠的“证据”。即使某个食材识别置信度不高将其作为一条不确定的线索提供给大模型也远比没有强。2.2 智能体Agent的规划与工具调用这是FoodCHA区别于简单多模态问答系统的关键。它内置了一个具有规划能力的“大脑”LLM Core。这个大脑接收到视觉模块提供的结构化信息成分列表、视觉特征描述后并不会立刻生成最终答案而是会进行任务规划。它会自主决定要完成一份细致的食物分析报告需要按什么顺序、调用哪些“工具”来收集信息。这些工具可能是风味分析工具基于识别出的食材如花椒、辣椒和视觉色泽红油推理出“麻辣”或“香辣”风味。烹饪技法推断工具根据食材形态整鱼、切花刀、汤汁状态浓稠、清亮和色泽焦糖色判断可能是“红烧”、“清蒸”还是“油炸”。文化关联工具根据菜品整体样貌和已知成分查询或关联其可能的地域菜系如川菜、粤菜。营养估算工具如果集成根据主要成分和大致分量进行粗略的营养成分推算。这个规划-执行的过程使得分析过程变得可解释、可控制。我们可以通过提示词Prompt来引导智能体“请首先识别主要食材然后推断烹饪方法接着分析风味特点最后评估其可能的菜系归属。” 智能体就会按照这个逻辑链一步步调用相应的内部模块或外部知识库来完成任务。2.3 细粒度Fine-Grained的定义与实现“细粒度”是FoodCHA的核心价值。如何定义“细”在我们的设计中它至少包含以下几个维度并需要相应的技术手段来实现分析维度具体内容可能的技术实现方式成分识别主料、辅料、调料、装饰物专用食物检测模型 大模型基于视觉特征的补全与纠正烹饪技法炒、爆、熘、炸、烹、煎、烧、焖…基于食材状态切配形状、熟成度、汤汁油脂特征结合知识库规则与大模型推理风味体系麻辣、咸鲜、酸甜、酱香、复合味型基于识别出的调料模型识别或推理和色泽映射到风味知识图谱感官属性色泽红亮、洁白、香气推断、口感酥、脆、嫩、滑视觉特征直接描述色泽 基于烹饪方法和成分的推理口感文化与情境所属菜系、场合家常、宴席、可能的地域大模型结合内部文化知识库进行关联推断实现细粒度的关键在于将开放域的视觉问答任务转化为一个基于结构化知识引导的、多步骤的推理任务。我们为智能体提供的不只是图片还有一套关于“如何分析一道菜”的思维框架和工具集。3. 关键技术模块拆解与实操要点要构建一个可运行的FoodCHA原型我们需要串联起几个核心模块。这里我基于常见的开源工具链给出一个可实操的技术栈方案和关键实现细节。3.1 视觉感知模块从图片到结构化线索这是所有分析的起点。我们不需要从头训练模型而是善于利用和组合现有SOTA模型。方案选择基础特征提取使用CLIP ViT-L/14或OpenCLIP模型。它们提供了强大的全局和局部如果取patch特征语义理解能力能捕捉“这是一盘热气腾腾、红油覆盖的、有鸡肉和花生的菜”这样的高级信息。成分检测这是精度要求最高的部分。可以考虑以下两种路径路径A专用模型使用在大型食物数据集如Food-101, UEC-FOOD256, AI Challenger 2018上微调过的YOLOv8或DETR模型。这些模型能直接输出边界框和食材类别如“chicken”, “peanut”, “green_onion”。你需要收集或构建一个符合中文场景的食材类别列表。路径B大模型辅助直接使用GPT-4V或开源的LLaVA、Qwen-VL等模型通过精心设计的提示词如“请列出图片中所有可见的食材成分以JSON格式输出{‘ingredients’: []}”来获取成分列表。这种方法更灵活能识别出“郫县豆瓣酱”这种复合调料但对模型能力要求高且存在“幻觉”风险。实操心得混合策略更稳健在实际项目中我采用“专用检测模型初筛 大语言模型修正与补充”的策略。先用YOLO检测出高置信度的实体鸡丁、花生将这些结果连同原图一起送入Qwen-VL提示词为“已知图片中已识别出[鸡丁花生]请仔细查看图片还有哪些其他的食材、调料或装饰物请补充列出。” 这样既能保证基础成分的可靠性又能利用大模型的常识补全细节如“葱段”、“干辣椒”、“花椒”。上下文的重要性给视觉模型或大模型的提示词一定要加入任务上下文。比如与其问“图片里有什么”不如问“作为一名厨师请分析这道菜的构成成分”。后者能引导模型聚焦于烹饪相关的实体忽略无关的背景元素。3.2 大模型智能体核心提示词工程与思维链我们选择开源大模型作为智能体核心例如Qwen2.5-7B-Instruct或Llama 3.1-8B。它们的任务是进行规划和推理。关键实现步骤构建系统提示词System Prompt这是智能体的“角色设定”和“工作手册”。必须清晰定义。你是一个资深美食家兼厨师擅长对菜肴进行极其细致Fine-Grained的分析。你的分析必须基于给定的视觉线索和成分信息并遵循以下结构化步骤进行推理 1. **确认主要成分**基于提供的成分列表确认菜肴的主料、辅料和核心调料。 2. **推断烹饪技法**结合成分的物理状态如切丁、整只、视觉描述的色泽与汤汁推断最可能的1-2种烹饪方法如爆炒、红烧、清蒸。 3. **分析风味与调味**基于调料和色泽描述主要味型如麻辣、咸鲜、糖醋和可能使用的关键调味品。 4. **评估感官属性**描述菜品的色泽、推断的口感和香气。 5. **关联文化与场景**推断其可能属于哪个菜系适合何种用餐场合。 请以专业但平实的语言输出避免使用“可能”、“也许”等模糊词汇对于推断的部分请说明依据。最终输出格式为JSON。组织输入信息将视觉模块的输出整理成一段结构化的文本作为用户提示User Prompt视觉分析线索 - 识别出的成分鸡胸肉丁、油炸花生米、干红辣椒段、花椒粒、葱段、姜蒜末。 - 整体视觉特征菜肴色泽红亮油汁浓稠且均匀包裹在食材表面盘中可见少量红油渗出食材堆叠呈现“见油不见汤”的状态。 请基于以上线索完成细粒度美食分析。解析输出要求模型以JSON格式输出便于后续程序化处理。例如{ “primary_ingredients”: [“鸡丁”], “secondary_ingredients”: [“花生米”], “seasonings”: [“干辣椒”, “花椒”, “葱姜蒜”], “cooking_methods”: [“爆炒”], “flavor_profile”: “麻辣咸鲜略带酸甜荔枝味” “reasoning”: “使用干辣椒和花椒是麻辣味型的标志红亮浓稠的芡汁是经典‘小荔枝味’烩汁的特征需用到糖、醋和酱油旺火快速爆炒使鸡肉嫩滑。” “color”: “红亮” “inferred_texture”: “鸡肉滑嫩花生酥脆” “cuisine”: “川菜” “occasion”: “家常下饭菜或宴席热菜” }3.3 工具链集成与知识库增强要让分析更专业需要给智能体配备“外挂”。内部知识库可以构建一个小型的、结构化的美食知识图谱哪怕只是一个JSON文件。包含菜谱模板经典菜式的标准成分、技法、味型。风味矩阵调料与风味的映射关系如花椒辣椒 - 麻辣番茄酱糖 - 酸甜。技法特征不同烹饪技法对应的视觉关键词如“炸” - 金黄酥脆、外焦里嫩“蒸” - 色泽原味、汤汁清亮。 当智能体推理时可以设计一个工具调用让它先去查询知识库中与当前识别成分最匹配的菜谱作为推理的参考锚点。外部API调用对于营养计算等专业领域可以集成第三方API。智能体在规划任务时如果判断需要计算热量可以生成调用营养计算API的指令传入主要成分和估算重量。实操中的架构选择我们可以使用LangChain或LlamaIndex这类框架来搭建这个智能体。它们提供了便捷的Agent、Tools和Memory组件能快速将大模型、自定义函数工具、知识库连接起来。例如在LangChain中我们可以将“风味分析函数”、“菜系查询函数”封装成Tool让大模型在需要时自主调用。4. 从零搭建原型核心流程与代码示意下面我将勾勒一个使用开源模型搭建FoodCHA最小可行原型MVP的核心步骤。假设我们选择CLIP YOLOv8 Qwen2.5-7B-Instruct LangChain的技术栈。4.1 环境准备与模型加载首先准备好Python环境安装关键库。pip install torch torchvision transformers openai-clip ultralytics langchain langchain-community注意ultralytics用于YOLOv8langchain和langchain-community用于构建智能体。如果使用Qwen模型可能需要从ModelScope或Hugging Face下载。然后编写模型加载脚本import torch from PIL import Image from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline from langchain.llms import HuggingFacePipeline from ultralytics import YOLO # 1. 加载视觉模型 clip_model, clip_preprocess clip.load(“ViT-B/32”, device“cuda” if torch.cuda.is_available() else “cpu”) food_detector YOLO(“path/to/your/fine-tuned-yolov8n-food.pt”) # 需使用美食数据微调过的模型 # 2. 加载大语言模型 model_name “Qwen/Qwen2.5-7B-Instruct” tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForCausalLM.from_pretrained( model_name, torch_dtypetorch.float16, device_map“auto” ) text_gen_pipeline pipeline( “text-generation”, modelmodel, tokenizertokenizer, max_new_tokens500 ) llm HuggingFacePipeline(pipelinetext_gen_pipeline)4.2 视觉信息提取函数实现创建两个核心函数分别用于获取CLIP全局描述和YOLO成分检测。def get_clip_description(image_path): “”“使用CLIP获取图像的全局文本描述”“” image Image.open(image_path) image_input clip_preprocess(image).unsqueeze(0).to(device) # 这里我们可以使用一组预定义的、描述性强的文本模板与图像计算相似度 # 例如[a photo of a spicy stir-fried dish with chicken and peanuts, ...] # 取相似度最高的作为描述。更简单的方式是直接用BLIP或LLaVA生成描述。 # 为简化此处示意使用一个现成的图像描述模型如BLIP。 # 假设我们有一个blip_model description blip_model.generate(image) # 伪代码实际需调用BLIP return description def detect_ingredients(image_path): “”“使用YOLO检测食材成分”“” results food_detector(image_path) ingredients [] for box in results[0].boxes: cls_id int(box.cls) conf float(box.conf) if conf 0.5: # 置信度阈值 ingredient_name food_detector.names[cls_id] ingredients.append(ingredient_name) return list(set(ingredients)) # 去重 # 整合视觉信息 def extract_visual_info(image_path): description get_clip_description(image_path) ingredients detect_ingredients(image_path) visual_context f“”” 整体描述{description} 检测到的食材成分{‘ ‘.join(ingredients)} “”” return visual_context4.3 构建LangChain智能体与工具我们将风味分析和菜系查询定义为工具。from langchain.agents import Tool, AgentExecutor, create_react_agent from langchain_core.prompts import PromptTemplate # 定义工具函数 def analyze_flavor(ingredients_str: str) - str: “”“根据成分简单推断风味一个简化示例”“” flavor_knowledge { “辣椒”: “辣味”, “花椒”: “麻味”, “糖”: “甜味”, “醋”: “酸味”, “酱油”: “咸味、酱香味”, } detected_flavors [] for ing in ingredients_str.split(‘’): for key, flavor in flavor_knowledge.items(): if key in ing: detected_flavors.append(flavor) return f“可能包含的风味{‘’.join(set(detected_flavors))}” if detected_flavors else “风味不明显” def query_cuisine(dish_context: str) - str: “”“根据上下文查询可能菜系简化示例”“” # 这里可以连接一个真实的数据库或知识图谱 if “麻辣” in dish_context and “爆炒” in dish_context: return “川菜的可能性很高。” elif “清蒸” in dish_context and “鱼” in dish_context: return “粤菜或江浙菜系的常见做法。” else: return “菜系特征不明显或为融合菜。” # 将函数封装为Tool tools [ Tool( name“FlavorAnalyzer”, funcanalyze_flavor, description“当需要分析菜肴的风味特点时使用此工具。输入是识别出的食材字符串。” ), Tool( name“CuisineQuery”, funcquery_cuisine, description“当需要推断菜肴所属菜系时使用此工具。输入是关于菜肴烹饪方法和风味的描述。” ), ] # 构建智能体提示词模板 agent_prompt PromptTemplate.from_template( “”” 你是一个美食分析专家。请基于以下视觉线索对菜肴进行细致分析。 视觉线索{visual_context} 请按步骤思考并在需要时使用工具。你的分析应涵盖成分、技法、风味、感官属性和文化关联。 最终请用一段流畅的文字总结你的分析结果。 {agent_scratchpad} # LangChain会自动填充思考过程 “”” ) # 创建智能体并执行 agent create_react_agent(llm, tools, agent_prompt) agent_executor AgentExecutor(agentagent, toolstools, verboseTrue, handle_parsing_errorsTrue) # 执行分析 image_path “宫保鸡丁.jpg” visual_info extract_visual_info(image_path) result agent_executor.invoke({“visual_context”: visual_info}) print(result[“output”])4.4 输出后处理与结构化智能体输出的是一段文本。为了更好的可用性我们可以要求大模型在最终输出前将结果结构化如JSON。这可以通过在提示词模板中明确指定输出格式来实现或者使用LangChain的OutputParser组件。一个更简洁的方式是不依赖复杂的Agent规划而是直接使用一个强大的、经过精心提示词设计的LLM调用一次性完成所有维度的分析并输出JSON。这在原型阶段往往更稳定高效。from langchain_core.output_parsers import JsonOutputParser from langchain_core.pydantic_v1 import BaseModel, Field # 定义我们希望输出的结构化格式 class FoodAnalysis(BaseModel): primary_ingredients: list[str] Field(description“主要食材”) cooking_methods: list[str] Field(description“烹饪方法”) flavor_profile: str Field(description“风味描述”) sensory_evaluation: dict Field(description“感官评价包含色泽、口感等”) possible_cuisine: str Field(description“可能菜系”) parser JsonOutputParser(pydantic_objectFoodAnalysis) # 构建直接提示词 direct_prompt PromptTemplate( template“”” 你是一个资深美食家。请基于以下视觉线索对菜肴进行结构化分析。 {visual_context} 请严格按照以下格式输出 {format_instructions} “””, input_variables[“visual_context”], partial_variables{“format_instructions”: parser.get_format_instructions()} ) chain direct_prompt | llm | parser result chain.invoke({“visual_context”: visual_info}) print(result) # result 将是一个字典包含所有结构化字段5. 常见问题、优化方向与避坑指南在实际搭建和测试过程中会遇到各种各样的问题。这里记录一些典型问题和我的解决思路。5.1 视觉识别不准导致后续分析全盘皆输这是最常见也最致命的问题。一张“水煮鱼”图片如果检测模型只识别出“鱼片”和“豆芽”漏掉了“干辣椒”和“花椒”那么大模型无论如何也推理不出“麻辣”风味。解决方案数据微调是关键公开的食物检测数据集往往类别有限。你需要收集或标注一个更符合你目标场景如中餐的数据集对YOLO等检测模型进行微调。即使只标注几百张高质量图片对提升关键食材如各种辣椒、特色调料的识别率也大有裨益。多模型投票同时使用多个视觉理解模型如CLIP、BLIP、LLaVA来生成对图片的描述或成分列表然后取交集或让大模型进行“证据综合”。这能有效降低单一模型的误检或漏检风险。提示词引导在让大模型分析前可以在视觉上下文中加入先验知识。例如“这是一张中餐菜肴图片请特别注意识别中餐常用的香料和调料。”5.2 大模型“幻觉”与推理偏差即使视觉信息准确大模型也可能基于其内部知识产生不合理的推理。比如看到红色汤汁就说是“番茄汤底”而实际上可能是“红油”或“腐乳”。解决方案提供更丰富的上下文除了成分列表把CLIP生成的全局描述如“浓稠的红色油汁”也提供给大模型这能提供更全面的感官线索。约束推理范围在系统提示词中明确限定推理的逻辑和依据。例如“关于风味的推断必须基于已识别出的调料成分不得凭空想象。”引入验证机制对于关键结论如菜名可以设计一个简单的验证步骤。例如让模型列出支持其判断的3条最强证据如果证据明显不足则输出“信息不足无法确定”。5.3 性能与延迟问题多模态模型通常较大串行处理先视觉后语言会导致端到端延迟很高影响用户体验。优化方向模型轻量化使用更小的视觉编码器如MobileViT和语言模型如Qwen2.5-3B。牺牲少量精度换取速度的大幅提升在多数应用场景中是可接受的。流水线并行将视觉特征提取和LLM推理部署在不同的服务或线程中甚至可以提前并行执行。例如用户上传图片后视觉模型立即开始工作不等其完全结束就可以将初步结果流式地传给LLM。缓存与预热对于常见的菜品可以缓存分析结果。对于模型本身进行服务预热避免冷启动延迟。5.4 如何让分析更具“人情味”和“实用性”技术问题解决后如何让输出结果对用户真正有用干巴巴的JSON数据并不友好。我的心得生成叙事性描述在结构化数据之外让大模型生成一段生动的、带有个人见解的“美食评论”。例如“这道菜红亮的芡汁紧紧包裹着每一块鸡丁预示着浓郁的滋味。干辣椒和花椒的香气仿佛能透过屏幕典型的川菜‘糊辣’风味。花生米的加入提供了酥脆的口感层次是一道非常下饭的家常菜。”提供衍生建议基于分析结果提供关联建议。比如分析出是“低油清蒸的鱼类菜肴”后可以附带一句“这道菜蛋白质丰富、脂肪含量较低适合健身或清淡饮食人士。”支持对比与溯源如果系统积累了足够多的数据可以尝试“这道菜与经典的‘宫保鸡丁’在用料上略有不同减少了花椒用量可能更偏向于‘糊辣荔枝味’的改良版本。” 这需要构建一个菜肴知识图谱作为支撑。FoodCHA这类项目其魅力在于将前沿的多模态AI技术应用于一个充满生活气息的领域。它不是一个炫技的Demo而是有潜力真正改变我们与美食信息交互方式的一个起点。从精准的食材识别到深度的风味解读再到文化的关联每一步都充满了挑战但也正是这些挑战让构建它的过程变得如此有趣。 多模态大模型在细粒度美食分析中的应用：从技术原理到实践
1. 项目概述当大模型遇上美食我们能“看”到什么最近在折腾多模态大模型Multi-Modal LLM的应用落地发现了一个特别有意思的领域美食分析。我们平时刷美食视频、看探店笔记或者自己下厨想复刻一道菜其实都面临一个核心问题——信息太“粗”了。一张图片一段描述往往只能告诉你“这是什么菜”至于它用了什么食材、烹饪手法是煎是炸、火候如何、摆盘有什么讲究这些更精细Fine-Grained的信息要么靠博主口述要么就得靠我们自己猜。FoodCHA这个项目瞄准的就是这个痛点。它本质上是一个基于多模态大语言模型的智能体Agent专门用来对食物进行细粒度的、多维度的分析。简单说你给它一张美食图片它不仅能告诉你这是“宫保鸡丁”还能像一位经验丰富的美食家或厨师那样拆解出主料是鸡丁和花生辅料有干辣椒、花椒色泽红亮属于“荔枝味”芡汁烹饪手法是“小煎小炒”火候要求旺火速成甚至能推断出咸鲜酸甜的大致比例和可能存在的改良比如用了番茄酱调色。这听起来可能像是个“玩具”但背后的应用场景其实非常扎实。对于内容平台它可以自动为海量美食图片和视频生成结构化标签极大提升检索和推荐的精度对于餐饮企业可以辅助新菜品研发和竞品分析对于健康管理能结合营养数据库进行更精准的热量和成分估算对于普通用户则是烹饪学习、美食文化探索的超级助手。我自己在尝试复刻一些传统菜式时就常常苦于找不到细节描述FoodCHA这类工具恰好能填补这个空白。2. 核心设计思路如何教会AI“品味”美食要让一个大模型真正理解美食不能只靠“看图说话”。FoodCHA的设计核心在于构建一个多模态感知与推理协同的智能体框架。它不是简单地将图片扔给一个视觉模型如CLIP生成描述再让大模型去总结而是设计了一套更精巧的“感知-分解-推理-整合”工作流。2.1 多模态信息融合的挑战与策略美食分析的第一关是“看”。但“看”不仅仅是识别物体。一张美食图片蕴含的信息层次非常丰富全局特征菜品的整体外观、色调、构图、餐具环境。局部与成分特征可识别的具体食材如鸡肉块、葱段、花生米、它们的形态切丁、切片、颜色生熟程度。纹理与状态特征汤汁的浓稠度芡汁的“亮油包汁”、食材表面的质感酥脆、软嫩、油脂的光泽。直接用一个通用的图像描述模型很容易丢失这些精细信息。因此FoodCHA很可能采用了一种分层的视觉特征提取策略。例如使用一个强大的视觉基础模型如经过美食数据微调的ViT或Swin Transformer来获取全局和局部的嵌入特征。同时可能会专门调用一个食物识别模型或物体检测模型如专门在Food-101或更大的美食数据集上训练过的模型来精准定位和识别图片中的各种食材成分生成一个结构化的成分列表。注意这里的关键不是追求100%的食材识别准确率而是为后续的大模型推理提供尽可能丰富、可靠的“证据”。即使某个食材识别置信度不高将其作为一条不确定的线索提供给大模型也远比没有强。2.2 智能体Agent的规划与工具调用这是FoodCHA区别于简单多模态问答系统的关键。它内置了一个具有规划能力的“大脑”LLM Core。这个大脑接收到视觉模块提供的结构化信息成分列表、视觉特征描述后并不会立刻生成最终答案而是会进行任务规划。它会自主决定要完成一份细致的食物分析报告需要按什么顺序、调用哪些“工具”来收集信息。这些工具可能是风味分析工具基于识别出的食材如花椒、辣椒和视觉色泽红油推理出“麻辣”或“香辣”风味。烹饪技法推断工具根据食材形态整鱼、切花刀、汤汁状态浓稠、清亮和色泽焦糖色判断可能是“红烧”、“清蒸”还是“油炸”。文化关联工具根据菜品整体样貌和已知成分查询或关联其可能的地域菜系如川菜、粤菜。营养估算工具如果集成根据主要成分和大致分量进行粗略的营养成分推算。这个规划-执行的过程使得分析过程变得可解释、可控制。我们可以通过提示词Prompt来引导智能体“请首先识别主要食材然后推断烹饪方法接着分析风味特点最后评估其可能的菜系归属。” 智能体就会按照这个逻辑链一步步调用相应的内部模块或外部知识库来完成任务。2.3 细粒度Fine-Grained的定义与实现“细粒度”是FoodCHA的核心价值。如何定义“细”在我们的设计中它至少包含以下几个维度并需要相应的技术手段来实现分析维度具体内容可能的技术实现方式成分识别主料、辅料、调料、装饰物专用食物检测模型 大模型基于视觉特征的补全与纠正烹饪技法炒、爆、熘、炸、烹、煎、烧、焖…基于食材状态切配形状、熟成度、汤汁油脂特征结合知识库规则与大模型推理风味体系麻辣、咸鲜、酸甜、酱香、复合味型基于识别出的调料模型识别或推理和色泽映射到风味知识图谱感官属性色泽红亮、洁白、香气推断、口感酥、脆、嫩、滑视觉特征直接描述色泽 基于烹饪方法和成分的推理口感文化与情境所属菜系、场合家常、宴席、可能的地域大模型结合内部文化知识库进行关联推断实现细粒度的关键在于将开放域的视觉问答任务转化为一个基于结构化知识引导的、多步骤的推理任务。我们为智能体提供的不只是图片还有一套关于“如何分析一道菜”的思维框架和工具集。3. 关键技术模块拆解与实操要点要构建一个可运行的FoodCHA原型我们需要串联起几个核心模块。这里我基于常见的开源工具链给出一个可实操的技术栈方案和关键实现细节。3.1 视觉感知模块从图片到结构化线索这是所有分析的起点。我们不需要从头训练模型而是善于利用和组合现有SOTA模型。方案选择基础特征提取使用CLIP ViT-L/14或OpenCLIP模型。它们提供了强大的全局和局部如果取patch特征语义理解能力能捕捉“这是一盘热气腾腾、红油覆盖的、有鸡肉和花生的菜”这样的高级信息。成分检测这是精度要求最高的部分。可以考虑以下两种路径路径A专用模型使用在大型食物数据集如Food-101, UEC-FOOD256, AI Challenger 2018上微调过的YOLOv8或DETR模型。这些模型能直接输出边界框和食材类别如“chicken”, “peanut”, “green_onion”。你需要收集或构建一个符合中文场景的食材类别列表。路径B大模型辅助直接使用GPT-4V或开源的LLaVA、Qwen-VL等模型通过精心设计的提示词如“请列出图片中所有可见的食材成分以JSON格式输出{‘ingredients’: []}”来获取成分列表。这种方法更灵活能识别出“郫县豆瓣酱”这种复合调料但对模型能力要求高且存在“幻觉”风险。实操心得混合策略更稳健在实际项目中我采用“专用检测模型初筛 大语言模型修正与补充”的策略。先用YOLO检测出高置信度的实体鸡丁、花生将这些结果连同原图一起送入Qwen-VL提示词为“已知图片中已识别出[鸡丁花生]请仔细查看图片还有哪些其他的食材、调料或装饰物请补充列出。” 这样既能保证基础成分的可靠性又能利用大模型的常识补全细节如“葱段”、“干辣椒”、“花椒”。上下文的重要性给视觉模型或大模型的提示词一定要加入任务上下文。比如与其问“图片里有什么”不如问“作为一名厨师请分析这道菜的构成成分”。后者能引导模型聚焦于烹饪相关的实体忽略无关的背景元素。3.2 大模型智能体核心提示词工程与思维链我们选择开源大模型作为智能体核心例如Qwen2.5-7B-Instruct或Llama 3.1-8B。它们的任务是进行规划和推理。关键实现步骤构建系统提示词System Prompt这是智能体的“角色设定”和“工作手册”。必须清晰定义。你是一个资深美食家兼厨师擅长对菜肴进行极其细致Fine-Grained的分析。你的分析必须基于给定的视觉线索和成分信息并遵循以下结构化步骤进行推理 1. **确认主要成分**基于提供的成分列表确认菜肴的主料、辅料和核心调料。 2. **推断烹饪技法**结合成分的物理状态如切丁、整只、视觉描述的色泽与汤汁推断最可能的1-2种烹饪方法如爆炒、红烧、清蒸。 3. **分析风味与调味**基于调料和色泽描述主要味型如麻辣、咸鲜、糖醋和可能使用的关键调味品。 4. **评估感官属性**描述菜品的色泽、推断的口感和香气。 5. **关联文化与场景**推断其可能属于哪个菜系适合何种用餐场合。 请以专业但平实的语言输出避免使用“可能”、“也许”等模糊词汇对于推断的部分请说明依据。最终输出格式为JSON。组织输入信息将视觉模块的输出整理成一段结构化的文本作为用户提示User Prompt视觉分析线索 - 识别出的成分鸡胸肉丁、油炸花生米、干红辣椒段、花椒粒、葱段、姜蒜末。 - 整体视觉特征菜肴色泽红亮油汁浓稠且均匀包裹在食材表面盘中可见少量红油渗出食材堆叠呈现“见油不见汤”的状态。 请基于以上线索完成细粒度美食分析。解析输出要求模型以JSON格式输出便于后续程序化处理。例如{ “primary_ingredients”: [“鸡丁”], “secondary_ingredients”: [“花生米”], “seasonings”: [“干辣椒”, “花椒”, “葱姜蒜”], “cooking_methods”: [“爆炒”], “flavor_profile”: “麻辣咸鲜略带酸甜荔枝味” “reasoning”: “使用干辣椒和花椒是麻辣味型的标志红亮浓稠的芡汁是经典‘小荔枝味’烩汁的特征需用到糖、醋和酱油旺火快速爆炒使鸡肉嫩滑。” “color”: “红亮” “inferred_texture”: “鸡肉滑嫩花生酥脆” “cuisine”: “川菜” “occasion”: “家常下饭菜或宴席热菜” }3.3 工具链集成与知识库增强要让分析更专业需要给智能体配备“外挂”。内部知识库可以构建一个小型的、结构化的美食知识图谱哪怕只是一个JSON文件。包含菜谱模板经典菜式的标准成分、技法、味型。风味矩阵调料与风味的映射关系如花椒辣椒 - 麻辣番茄酱糖 - 酸甜。技法特征不同烹饪技法对应的视觉关键词如“炸” - 金黄酥脆、外焦里嫩“蒸” - 色泽原味、汤汁清亮。 当智能体推理时可以设计一个工具调用让它先去查询知识库中与当前识别成分最匹配的菜谱作为推理的参考锚点。外部API调用对于营养计算等专业领域可以集成第三方API。智能体在规划任务时如果判断需要计算热量可以生成调用营养计算API的指令传入主要成分和估算重量。实操中的架构选择我们可以使用LangChain或LlamaIndex这类框架来搭建这个智能体。它们提供了便捷的Agent、Tools和Memory组件能快速将大模型、自定义函数工具、知识库连接起来。例如在LangChain中我们可以将“风味分析函数”、“菜系查询函数”封装成Tool让大模型在需要时自主调用。4. 从零搭建原型核心流程与代码示意下面我将勾勒一个使用开源模型搭建FoodCHA最小可行原型MVP的核心步骤。假设我们选择CLIP YOLOv8 Qwen2.5-7B-Instruct LangChain的技术栈。4.1 环境准备与模型加载首先准备好Python环境安装关键库。pip install torch torchvision transformers openai-clip ultralytics langchain langchain-community注意ultralytics用于YOLOv8langchain和langchain-community用于构建智能体。如果使用Qwen模型可能需要从ModelScope或Hugging Face下载。然后编写模型加载脚本import torch from PIL import Image from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline from langchain.llms import HuggingFacePipeline from ultralytics import YOLO # 1. 加载视觉模型 clip_model, clip_preprocess clip.load(“ViT-B/32”, device“cuda” if torch.cuda.is_available() else “cpu”) food_detector YOLO(“path/to/your/fine-tuned-yolov8n-food.pt”) # 需使用美食数据微调过的模型 # 2. 加载大语言模型 model_name “Qwen/Qwen2.5-7B-Instruct” tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForCausalLM.from_pretrained( model_name, torch_dtypetorch.float16, device_map“auto” ) text_gen_pipeline pipeline( “text-generation”, modelmodel, tokenizertokenizer, max_new_tokens500 ) llm HuggingFacePipeline(pipelinetext_gen_pipeline)4.2 视觉信息提取函数实现创建两个核心函数分别用于获取CLIP全局描述和YOLO成分检测。def get_clip_description(image_path): “”“使用CLIP获取图像的全局文本描述”“” image Image.open(image_path) image_input clip_preprocess(image).unsqueeze(0).to(device) # 这里我们可以使用一组预定义的、描述性强的文本模板与图像计算相似度 # 例如[a photo of a spicy stir-fried dish with chicken and peanuts, ...] # 取相似度最高的作为描述。更简单的方式是直接用BLIP或LLaVA生成描述。 # 为简化此处示意使用一个现成的图像描述模型如BLIP。 # 假设我们有一个blip_model description blip_model.generate(image) # 伪代码实际需调用BLIP return description def detect_ingredients(image_path): “”“使用YOLO检测食材成分”“” results food_detector(image_path) ingredients [] for box in results[0].boxes: cls_id int(box.cls) conf float(box.conf) if conf 0.5: # 置信度阈值 ingredient_name food_detector.names[cls_id] ingredients.append(ingredient_name) return list(set(ingredients)) # 去重 # 整合视觉信息 def extract_visual_info(image_path): description get_clip_description(image_path) ingredients detect_ingredients(image_path) visual_context f“”” 整体描述{description} 检测到的食材成分{‘ ‘.join(ingredients)} “”” return visual_context4.3 构建LangChain智能体与工具我们将风味分析和菜系查询定义为工具。from langchain.agents import Tool, AgentExecutor, create_react_agent from langchain_core.prompts import PromptTemplate # 定义工具函数 def analyze_flavor(ingredients_str: str) - str: “”“根据成分简单推断风味一个简化示例”“” flavor_knowledge { “辣椒”: “辣味”, “花椒”: “麻味”, “糖”: “甜味”, “醋”: “酸味”, “酱油”: “咸味、酱香味”, } detected_flavors [] for ing in ingredients_str.split(‘’): for key, flavor in flavor_knowledge.items(): if key in ing: detected_flavors.append(flavor) return f“可能包含的风味{‘’.join(set(detected_flavors))}” if detected_flavors else “风味不明显” def query_cuisine(dish_context: str) - str: “”“根据上下文查询可能菜系简化示例”“” # 这里可以连接一个真实的数据库或知识图谱 if “麻辣” in dish_context and “爆炒” in dish_context: return “川菜的可能性很高。” elif “清蒸” in dish_context and “鱼” in dish_context: return “粤菜或江浙菜系的常见做法。” else: return “菜系特征不明显或为融合菜。” # 将函数封装为Tool tools [ Tool( name“FlavorAnalyzer”, funcanalyze_flavor, description“当需要分析菜肴的风味特点时使用此工具。输入是识别出的食材字符串。” ), Tool( name“CuisineQuery”, funcquery_cuisine, description“当需要推断菜肴所属菜系时使用此工具。输入是关于菜肴烹饪方法和风味的描述。” ), ] # 构建智能体提示词模板 agent_prompt PromptTemplate.from_template( “”” 你是一个美食分析专家。请基于以下视觉线索对菜肴进行细致分析。 视觉线索{visual_context} 请按步骤思考并在需要时使用工具。你的分析应涵盖成分、技法、风味、感官属性和文化关联。 最终请用一段流畅的文字总结你的分析结果。 {agent_scratchpad} # LangChain会自动填充思考过程 “”” ) # 创建智能体并执行 agent create_react_agent(llm, tools, agent_prompt) agent_executor AgentExecutor(agentagent, toolstools, verboseTrue, handle_parsing_errorsTrue) # 执行分析 image_path “宫保鸡丁.jpg” visual_info extract_visual_info(image_path) result agent_executor.invoke({“visual_context”: visual_info}) print(result[“output”])4.4 输出后处理与结构化智能体输出的是一段文本。为了更好的可用性我们可以要求大模型在最终输出前将结果结构化如JSON。这可以通过在提示词模板中明确指定输出格式来实现或者使用LangChain的OutputParser组件。一个更简洁的方式是不依赖复杂的Agent规划而是直接使用一个强大的、经过精心提示词设计的LLM调用一次性完成所有维度的分析并输出JSON。这在原型阶段往往更稳定高效。from langchain_core.output_parsers import JsonOutputParser from langchain_core.pydantic_v1 import BaseModel, Field # 定义我们希望输出的结构化格式 class FoodAnalysis(BaseModel): primary_ingredients: list[str] Field(description“主要食材”) cooking_methods: list[str] Field(description“烹饪方法”) flavor_profile: str Field(description“风味描述”) sensory_evaluation: dict Field(description“感官评价包含色泽、口感等”) possible_cuisine: str Field(description“可能菜系”) parser JsonOutputParser(pydantic_objectFoodAnalysis) # 构建直接提示词 direct_prompt PromptTemplate( template“”” 你是一个资深美食家。请基于以下视觉线索对菜肴进行结构化分析。 {visual_context} 请严格按照以下格式输出 {format_instructions} “””, input_variables[“visual_context”], partial_variables{“format_instructions”: parser.get_format_instructions()} ) chain direct_prompt | llm | parser result chain.invoke({“visual_context”: visual_info}) print(result) # result 将是一个字典包含所有结构化字段5. 常见问题、优化方向与避坑指南在实际搭建和测试过程中会遇到各种各样的问题。这里记录一些典型问题和我的解决思路。5.1 视觉识别不准导致后续分析全盘皆输这是最常见也最致命的问题。一张“水煮鱼”图片如果检测模型只识别出“鱼片”和“豆芽”漏掉了“干辣椒”和“花椒”那么大模型无论如何也推理不出“麻辣”风味。解决方案数据微调是关键公开的食物检测数据集往往类别有限。你需要收集或标注一个更符合你目标场景如中餐的数据集对YOLO等检测模型进行微调。即使只标注几百张高质量图片对提升关键食材如各种辣椒、特色调料的识别率也大有裨益。多模型投票同时使用多个视觉理解模型如CLIP、BLIP、LLaVA来生成对图片的描述或成分列表然后取交集或让大模型进行“证据综合”。这能有效降低单一模型的误检或漏检风险。提示词引导在让大模型分析前可以在视觉上下文中加入先验知识。例如“这是一张中餐菜肴图片请特别注意识别中餐常用的香料和调料。”5.2 大模型“幻觉”与推理偏差即使视觉信息准确大模型也可能基于其内部知识产生不合理的推理。比如看到红色汤汁就说是“番茄汤底”而实际上可能是“红油”或“腐乳”。解决方案提供更丰富的上下文除了成分列表把CLIP生成的全局描述如“浓稠的红色油汁”也提供给大模型这能提供更全面的感官线索。约束推理范围在系统提示词中明确限定推理的逻辑和依据。例如“关于风味的推断必须基于已识别出的调料成分不得凭空想象。”引入验证机制对于关键结论如菜名可以设计一个简单的验证步骤。例如让模型列出支持其判断的3条最强证据如果证据明显不足则输出“信息不足无法确定”。5.3 性能与延迟问题多模态模型通常较大串行处理先视觉后语言会导致端到端延迟很高影响用户体验。优化方向模型轻量化使用更小的视觉编码器如MobileViT和语言模型如Qwen2.5-3B。牺牲少量精度换取速度的大幅提升在多数应用场景中是可接受的。流水线并行将视觉特征提取和LLM推理部署在不同的服务或线程中甚至可以提前并行执行。例如用户上传图片后视觉模型立即开始工作不等其完全结束就可以将初步结果流式地传给LLM。缓存与预热对于常见的菜品可以缓存分析结果。对于模型本身进行服务预热避免冷启动延迟。5.4 如何让分析更具“人情味”和“实用性”技术问题解决后如何让输出结果对用户真正有用干巴巴的JSON数据并不友好。我的心得生成叙事性描述在结构化数据之外让大模型生成一段生动的、带有个人见解的“美食评论”。例如“这道菜红亮的芡汁紧紧包裹着每一块鸡丁预示着浓郁的滋味。干辣椒和花椒的香气仿佛能透过屏幕典型的川菜‘糊辣’风味。花生米的加入提供了酥脆的口感层次是一道非常下饭的家常菜。”提供衍生建议基于分析结果提供关联建议。比如分析出是“低油清蒸的鱼类菜肴”后可以附带一句“这道菜蛋白质丰富、脂肪含量较低适合健身或清淡饮食人士。”支持对比与溯源如果系统积累了足够多的数据可以尝试“这道菜与经典的‘宫保鸡丁’在用料上略有不同减少了花椒用量可能更偏向于‘糊辣荔枝味’的改良版本。” 这需要构建一个菜肴知识图谱作为支撑。FoodCHA这类项目其魅力在于将前沿的多模态AI技术应用于一个充满生活气息的领域。它不是一个炫技的Demo而是有潜力真正改变我们与美食信息交互方式的一个起点。从精准的食材识别到深度的风味解读再到文化的关联每一步都充满了挑战但也正是这些挑战让构建它的过程变得如此有趣。