最近在尝试用AI生成短视频内容时发现从剧本构思到画面生成再到剪辑流程繁琐且割裂。有没有一种方案能实现从一段文字描述开始到最终生成一个带分镜、有画面、有旁白的完整短剧视频呢答案是肯定的。本文将手把手带你搭建一套基于MiniMax-H3大语言模型和ComfyUI可视化AI工作流平台的“本地短剧一键生成”系统。这套方案的核心亮点在于全自动选取参考图、全自动分镜拆解、一键润色出片极大降低了AI视频创作的门槛。无论你是想探索AI内容创作的开发者还是希望提升效率的视频创作者都能从本文中获得一套完整、可复现的实战方案。我们将从核心概念讲起逐步完成环境搭建、工作流配置、参数调试并解决过程中可能遇到的典型问题。1. 背景与核心概念为什么是MiniMax-H3 ComfyUI在深入实操之前我们需要理解这套技术栈的构成及其优势。1.1 MiniMax-H3强大的多模态语言模型MiniMax-H3是MiniMax公司推出的一个高性能、多模态的大型语言模型。与传统的纯文本LLM如ChatGPT相比它具备更强的视觉理解和生成能力能够处理图像、文本等多种输入并生成结构化的文本输出如分镜脚本、描述性文字。在我们的短剧生成场景中它的核心作用有两个剧本分析与分镜拆解输入一段故事梗概或剧本H3能自动将其拆解成多个分镜Shot并为每个分镜生成详细的画面描述、角色动作、场景氛围以及对应的旁白/对话文本。参考图描述生成基于分镜描述H3可以进一步生成更具体、更适合文生图模型如Stable Diffusion理解的“提示词Prompt”用于生成该分镜的视觉参考图。为什么选择它相较于完全本地部署的超大模型通过API调用MiniMax-H3在效果、成本和易用性上取得了很好的平衡。它提供了强大的零样本Zero-shot能力无需针对短剧进行额外训练就能产出质量不错的结构化内容。1.2 ComfyUI模块化与可编程的AI工作流引擎ComfyUI是一个基于节点图的可视化界面用于构建和执行Stable Diffusion等AI模型的工作流。与WebUI相比它的优势在于可视化编程通过连接不同的功能节点如加载模型、输入提示词、生成图像、后期处理等来构建复杂流程逻辑清晰易于理解和复用。高定制性与自动化工作流可以保存、分享并且可以通过自定义脚本或API进行驱动非常适合实现“一键生成”的自动化管道。资源管理高效对显存和内存的使用控制更为精细适合在资源有限的本地环境运行复杂工作流。在我们的项目中ComfyUI将作为执行引擎负责接收来自MiniMax-H3生成的分镜提示词。调用Stable Diffusion模型生成每一帧的图片。可能还包括图片放大、人脸修复、帧序列合成等后期处理节点。最终输出图片序列或视频文件。1.3 整体工作流程概览理解了核心组件后整个“一键生成短剧”的流程可以概括为以下几步输入用户提供一段短剧剧本或故事描述。剧本处理通过API调用MiniMax-H3将剧本自动拆解为N个分镜并为每个分镜生成画面提示词和旁白文本。图像生成ComfyUI工作流读取分镜列表依次使用每个分镜的提示词调用文生图模型生成对应的图像。音频合成将每个分镜的旁白文本通过TTS文本转语音服务合成为音频文件。视频合成将生成的图像序列与对应的音频轨道进行对齐、剪辑合成最终带旁白的视频短片。本文将重点讲解前三个核心环节的本地化实现与集成。2. 环境准备与版本说明工欲善其事必先利其器。以下是搭建本系统所需的基础环境。2.1 硬件与操作系统操作系统Windows 10/11, Linux (如Ubuntu 20.04/22.04)或 macOS (需注意M系列芯片的兼容性)。本文以Windows 11为例。GPU强烈推荐拥有至少8GB显存的NVIDIA GPU如RTX 3060, 4060等。这是流畅运行Stable Diffusion模型的关键。纯CPU模式速度极慢不适合视频生成。内存建议16GB或以上。存储空间至少预留20GB空间用于安装模型和生成临时文件。2.2 软件依赖Python版本 3.10.x。这是ComfyUI和大多数AI库的推荐版本。避免使用3.11可能存在的兼容性问题。# 检查Python版本 python --versionGit用于克隆ComfyUI仓库。CUDA cuDNN确保你的NVIDIA显卡驱动已安装并安装与你的PyTorch版本匹配的CUDA工具包。通常通过安装PyTorch时会一并解决。FFmpeg用于后期的视频合成。请提前安装并添加到系统环境变量PATH中。# 在命令行测试是否安装成功 ffmpeg -version2.3 核心组件安装2.3.1 获取MiniMax API Key我们的系统需要调用MiniMax-H3的API因此必须先申请API Key。访问 MiniMax 开放平台https://platform.minimaxi.com。注册并登录账号。在控制台中创建应用即可获得你的API Key和Group ID。请妥善保管后续配置中需要用到。2.3.2 安装与启动ComfyUI我们将使用流行的“秋叶一键整合包”来快速部署ComfyUI它集成了常用插件和依赖省去大量配置麻烦。下载整合包从可靠来源获取ComfyUI秋叶一键整合包。通常是一个压缩文件解压到任意目录例如D:\ComfyUI。启动ComfyUI进入解压后的目录找到run_nvidia_gpu.bat(Windows) 或相应的启动脚本。双击运行。首次启动会自动下载和安装一些依赖包请保持网络通畅。启动成功后命令行窗口会显示本地访问地址通常是http://127.0.0.1:8188。在浏览器中打开此地址即可看到ComfyUI的节点式界面。2.3.3 下载AI模型ComfyUI本身不包含模型需要手动下载并放入指定文件夹。Stable Diffusion 文生图模型前往CivitAI或Hugging Face等平台下载你喜欢的SD 1.5或SDXL模型.safetensors格式。例如realisticVisionV60B1_v51.safetensors。放置模型将下载的模型文件放入ComfyUI\models\checkpoints目录下。其他模型可选根据需要下载VAE、Lora、ControlNet等模型并放入对应的models/vae,models/loras,models/controlnet目录。至此基础环境已就绪。接下来我们将进入核心的流程构建环节。3. 核心原理与工作流拆解在动手连接节点之前我们需要从逻辑上理解自动化短剧生成是如何运转的。3.1 全自动分镜拆解原理这是MiniMax-H3的核心任务。我们通过设计一个特定的“系统提示词System Prompt”来引导模型按照我们需要的格式输出。提示词的设计至关重要。基本思路我们向H3模型提供一个包含“角色设定”和“任务指令”的系统提示词。用户输入一个短剧剧本User Input。模型根据系统指令将剧本分解为一系列分镜。每个分镜的输出需要结构化例如包含shot_id分镜编号,description画面描述,prompt给SD的详细提示词,narration旁白。一个简化的系统提示词示例你是一个专业的影视分镜师。请将用户提供的剧本拆解成一系列分镜。 每个分镜需要包含以下JSON格式的信息 - shot_id: 分镜序号从1开始递增。 - description: 对该分镜画面的简要中文描述。 - prompt: 用于AI绘画的详细英文提示词需包含场景、人物、动作、光影、风格等细节。避免使用“masterpiece”等空洞词汇。 - narration: 此分镜对应的旁白或对话文本。 请直接输出一个JSON数组数组中的每个元素是一个分镜对象。 剧本如下当用户输入“一个宇航员在月球上发现了一朵玫瑰花”后H3可能会返回类似下面的结构[ { shot_id: 1, description: 广角镜头荒凉的月球表面地球悬停在黑色天空。, prompt: wide shot, desolate lunar surface, fine regolith, astronaut in white spacesuit standing, Earth hanging in the black starry sky, cinematic lighting, realistic, 8k, narration: 这是个人的一小步却是人类的一大步。但今天我看到的不是脚印。 }, { shot_id: 2, description: 特写镜头宇航员的手套轻轻触碰一朵在月壤中生长的红色玫瑰。, prompt: extreme close-up, astronauts gloved hand gently touching a single vibrant red rose growing from gray lunar soil, surreal, magical realism, detailed texture of glove and petals, soft glow, 8k, narration: 一朵玫瑰。在真空、辐射、绝对零度的边缘绽放着。 } ]这样我们就得到了一个结构化的分镜列表为后续的图像和音频生成提供了精确的输入。3.2 ComfyUI工作流自动化原理ComfyUI的工作流本质是一个有向无环图DAG。我们需要构建一个能“接收分镜列表并循环为每个分镜生成图像”的流程。关键节点与逻辑输入节点我们需要一个能接收外部数据的节点。这可以通过“Custom Script”节点或使用ComfyUI的API功能来实现。简单起见我们可以先构建一个手动输入提示词的工作流再将其改造成可接收列表的自动流程。循环与批处理ComfyUI本身没有显式的“for循环”节点。实现自动化的常见方法有使用“Prompt”节点的{变量}在提示词中嵌入如{scene_prompt}的占位符然后通过外部脚本Python依次替换这个变量并触发工作流执行。利用ComfyUI的API这是更强大和推荐的方式。我们可以用Python脚本调用ComfyUI的API动态地将每个分镜的prompt传入预设的工作流并触发执行然后保存输出图像。图像生成管线这是工作流的主体通常包括加载检查点模型 - 正向提示词 - 负向提示词 - KSampler采样器- VAEDecode - 保存图像。我们可以为风格一致性加入LoRA、ControlNet等节点。3.3 音频生成与视频合成图像序列生成后我们需要将旁白文本转为音频并与图像合成视频。TTS文本转语音可以使用本地TTS库如Edge-TTS, VITS或云服务API。我们将每个分镜的narration文本依次合成音频文件如shot_1.wav。视频合成使用FFmpeg命令。将第i张图片shot_i.png与第i段音频shot_i.wav按照设定的时长如图片显示2秒进行合成最终将所有片段连接成一个完整视频。# 示例FFmpeg命令将图片和音频合成为一段视频 ffmpeg -loop 1 -i shot_1.png -i narration_1.wav -c:v libx264 -t 2 -pix_fmt yuv420p -c:a aac -shortest segment_1.mp4 # 然后将所有segment_*.mp4合并 ffmpeg -f concat -safe 0 -i filelist.txt -c copy final_output.mp4理解了上述原理我们就可以开始构建具体的实现方案了。4. 完整实战构建自动化短剧生成系统我们将分步骤实现从剧本到视频的完整流程。4.1 步骤一编写MiniMax-H3分镜生成脚本首先创建一个Python脚本generate_storyboard.py用于调用MiniMax-H3 API生成分镜列表。# generate_storyboard.py import requests import json # 你的MiniMax API信息 API_KEY 你的_API_KEY GROUP_ID 你的_Group_ID API_URL fhttps://api.minimaxi.com/v1/text/chat/completions?GroupId{GROUP_ID} def generate_storyboard(script): 调用MiniMax-H3生成分镜列表 headers { Authorization: fBearer {API_KEY}, Content-Type: application/json } # 精心设计的系统提示词引导模型输出结构化JSON system_prompt 你是一名顶尖的影视导演和分镜师。请将用户提供的剧本拆解成一系列连贯的电影分镜。 每个分镜必须包含以下4个字段以JSON对象形式呈现 1. shot_id: (整数) 分镜序号从1开始。 2. description: (字符串) 对该镜头画面的中文描述包括景别、人物、动作、环境。 3. prompt: (字符串) 用于Stable Diffusion AI绘画的详细英文提示词。必须具体包含主体、细节、环境、光影、艺术风格、画质关键词。例如“medium shot, a determined young female detective in trench coat examining evidence under a desk lamp in a dimly lit office, film noir style, dramatic chiaroscuro lighting, 8k, highly detailed”。 4. narration: (字符串) 此分镜对应的旁白、对话或内心独白文本。 请直接输出一个纯净的JSON数组不要有任何额外的解释、标记或代码块包裹。确保prompt字段适合直接输入AI绘画模型。 payload { model: abab6.5s-chat, # 或使用最新的H3模型代号如 abab6.5s-chat messages: [ {role: system, content: system_prompt}, {role: user, content: script} ], temperature: 0.7, top_p: 0.9, # 注意如果遇到 thinking_budget 参数错误请检查API文档该参数可能需要移除或设置为有效值 # thinking_budget: 400 # 根据模型要求调整或删除 } try: response requests.post(API_URL, headersheaders, jsonpayload, timeout60) response.raise_for_status() # 检查HTTP错误 result response.json() # 提取模型返回的内容 content result[choices][0][message][content].strip() # 尝试解析JSON模型有时会在内容前后添加markdown代码块标记 if content.startswith(json): content content[7:] if content.endswith(): content content[:-3] content content.strip() storyboard json.loads(content) print(f成功生成 {len(storyboard)} 个分镜。) return storyboard except json.JSONDecodeError as e: print(f解析模型返回的JSON时出错: {e}) print(原始返回内容:, content) return None except requests.exceptions.RequestException as e: print(fAPI请求失败: {e}) return None except KeyError as e: print(fAPI返回结构异常: {e}) print(完整返回:, result) return None if __name__ __main__: # 测试用剧本 test_script 深夜一名疲惫的程序员还在办公室加班。屏幕上的代码滚动他揉了揉干涩的眼睛。忽然电脑弹出一个神秘的对话框“你想看看代码背后的世界吗”他犹豫了一下点击了“是”。瞬间他被吸入了屏幕进入了一个由绿色数据流构成的数字森林。 storyboard generate_storyboard(test_script) if storyboard: # 保存分镜列表到JSON文件供后续步骤使用 with open(storyboard.json, w, encodingutf-8) as f: json.dump(storyboard, f, ensure_asciiFalse, indent2) print(分镜已保存至 storyboard.json) # 打印预览 for shot in storyboard[:2]: # 预览前两个 print(f\n分镜 {shot[shot_id]}:) print(f 描述: {shot[description]}) print(f 提示词: {shot[prompt][:100]}...) # 预览前100字符 print(f 旁白: {shot[narration]})运行此脚本前请将API_KEY和GROUP_ID替换为你的实际信息。执行后会在当前目录生成storyboard.json文件。4.2 步骤二构建ComfyUI图像生成工作流接下来我们在ComfyUI中构建一个基础的文生图工作流并使其能够通过API被调用。在ComfyUI界面手动构建工作流打开浏览器中的ComfyUI地址如http://127.0.0.1:8188。清空默认界面从节点菜单中拖拽添加以下节点Load Checkpoint加载你的SD模型。CLIP Text Encode (Prompt)用于输入正向提示词。CLIP Text Encode (Prompt)用于输入负向提示词可写一些通用负面词。Empty Latent Image设置生成图像的宽度和高度如 512x512 或 768x768。KSampler连接检查点、正向/负向提示词、潜在图像设置采样步数steps、CFG值等。VAE Decode将采样后的潜在空间数据解码为图像。Save Image保存生成的图像。连接好节点确保工作流可以正常运行点击“Queue Prompt”能生成图片。保存工作流模板点击菜单栏的“Save”按钮将此工作流保存为shortfilm_basic.json。这个文件定义了我们的图像生成管线。关键设置可变量输入。为了能让外部脚本动态传入提示词我们需要修改工作流。最简便的方法是使用“Prompt”节点中的 {prompt} 语法但更规范的方式是通过ComfyUI的API传入整个工作流数据。为了简化我们采用API方式并在脚本中直接替换整个工作流数据中的文本字段。4.3 步骤三编写Python脚本驱动ComfyUI批量生成现在编写另一个Python脚本generate_images.py它读取上一步生成的storyboard.json然后为每个分镜调用ComfyUI API生成图片。# generate_images.py import json import requests import time import os from urllib.parse import urljoin # ComfyUI服务器地址 COMFYUI_HOST http://127.0.0.1:8188 def load_workflow_template(template_path): 加载ComfyUI工作流模板文件 with open(template_path, r, encodingutf-8) as f: workflow json.load(f) return workflow def find_text_node(workflow, keywordpositive): 一个简单的辅助函数用于在工作流数据中找到包含特定关键词的文本节点。 在实际复杂工作流中你可能需要更精确的方法来定位节点ID。 这里假设你的正向提示词节点名称或内容包含‘positive’。 for node_id, node_info in workflow.items(): if node_info.get(class_type) CLIPTextEncode: # 检查节点的输入或属性这里是一个简化示例 # 更可靠的方法是在保存工作流时记下正向提示词节点的ID。 if keyword in str(node_info).lower(): return node_id return None def generate_image_for_shot(prompt, output_dir, shot_id, workflow_template): 为单个分镜生成图像 # 1. 复制工作流模板 workflow_data json.loads(json.dumps(workflow_template)) # 深拷贝 # 2. 动态修改工作流中的数据 # 方法A如果你知道确切的节点ID可以直接赋值。这里演示通用查找。 positive_node_id find_text_node(workflow_data, positive) if positive_node_id: # 更新该节点的输入文本 workflow_data[positive_node_id][inputs][text] prompt else: # 如果找不到这是一个常见问题需要手动配置 print(f警告未找到正向提示词节点使用默认节点ID。请检查工作流。) # 假设你的正向提示词节点ID是“6”请根据你的实际工作流修改 target_node_id 6 if target_node_id in workflow_data: workflow_data[target_node_id][inputs][text] prompt else: print(f错误无法定位到提示词输入节点。) return False # 3. 准备API请求 api_url urljoin(COMFYUI_HOST, /prompt) payload {prompt: workflow_data} try: # 4. 提交生成任务 response requests.post(api_url, jsonpayload) response.raise_for_status() result response.json() # 5. 获取生成的图片 prompt_id result[prompt_id] print(f分镜{shot_id}: 任务已提交ID: {prompt_id}) # 6. 轮询查询任务结果 history_url urljoin(COMFYUI_HOST, /history) for _ in range(60): # 最多等待60秒 time.sleep(1) history_resp requests.get(history_url) history_data history_resp.json() if prompt_id in history_data: images_output history_data[prompt_id][outputs] for node_id, node_output in images_output.items(): if images in node_output: for img_info in node_output[images]: # 下载图片 image_url urljoin(COMFYUI_HOST, f/view?filename{img_info[filename]}subfolder{img_info.get(subfolder,)}type{img_info.get(type,output)}) image_data requests.get(image_url).content output_filename os.path.join(output_dir, fshot_{shot_id:03d}.png) with open(output_filename, wb) as f: f.write(image_data) print(f分镜{shot_id}: 图片已保存 - {output_filename}) return True print(f分镜{shot_id}: 等待超时未获取到图片。) return False except requests.exceptions.RequestException as e: print(f分镜{shot_id}: API调用失败 - {e}) return False except KeyError as e: print(f分镜{shot_id}: 解析API响应出错 - {e}) return False def main(): # 创建输出目录 output_dir generated_shots os.makedirs(output_dir, exist_okTrue) # 加载分镜列表 with open(storyboard.json, r, encodingutf-8) as f: storyboard json.load(f) # 加载ComfyUI工作流模板 workflow_template load_workflow_template(shortfilm_basic.json) print(f开始为 {len(storyboard)} 个分镜生成图像...) success_count 0 for shot in storyboard: shot_id shot[shot_id] prompt shot[prompt] print(f\n处理分镜 {shot_id}: {shot[description][:50]}...) if generate_image_for_shot(prompt, output_dir, shot_id, workflow_template): success_count 1 time.sleep(1) # 避免请求过于频繁 print(f\n图像生成完成。成功: {success_count}/{len(storyboard)}) if __name__ __main__: main()重要提示此脚本中的find_text_node函数是一个简化示例。在实际操作中最可靠的方法是在ComfyUI界面构建好工作流后记下“CLIP Text Encode (Prompt)”节点的ID。你可以在节点上右键点击选择“Convert to API format”或直接查看保存的JSON文件来找到节点ID然后在脚本中硬编码这个ID进行替换。4.4 步骤四整合与视频合成简化版生成了所有分镜图片 (shot_001.png,shot_002.png, ...) 后我们需要合成音频和视频。这里提供一个概念性的整合脚本assemble_video.py框架。# assemble_video.py (概念框架) import json import subprocess import os # 1. 读取分镜JSON with open(storyboard.json, r, encodingutf-8) as f: storyboard json.load(f) # 2. TTS生成音频 (此处需接入TTS服务如EdgeTTS、Azure等) # 伪代码 for shot in storyboard: tts(shot[‘narration’]) - save as ‘audio_{shot_id}.wav’ print(“提示此步骤需要集成TTS服务。请根据你选择的TTS库如edge-tts编写具体代码。”) # 示例使用edge-tts需安装pip install edge-tts # import asyncio, edge_tts # async def generate_audio(text, filename): # tts edge_tts.Communicate(texttext, voicezh-CN-XiaoxiaoNeural) # await tts.save(filename) # 3. 使用FFmpeg合成视频 # 假设每张图片显示2秒并与对应音频对齐 output_segments [] for i, shot in enumerate(storyboard, start1): img_file f“generated_shots/shot_{i:03d}.png” audio_file f“audio_{i}.wav” # 假设TTS生成的音频 segment_file f“segment_{i:03d}.mp4” # 构建FFmpeg命令将图片和音频合成为一个视频片段 # 注意需要根据音频长度动态设置图片持续时间 cmd [ ‘ffmpeg’, ‘-y’, ‘-loop’, ‘1’, ‘-i’, img_file, ‘-i’, audio_file, ‘-c:v’, ‘libx264’, ‘-t’, ‘2’, # 图片持续2秒或使用音频时长 ‘-pix_fmt’, ‘yuv420p’, ‘-c:a’, ‘aac’, ‘-shortest’, segment_file ] # subprocess.run(cmd, checkTrue) # 实际执行时取消注释 output_segments.append(segment_file) print(f“已创建片段: {segment_file}”) # 4. 合并所有片段 # 创建一个文件列表 with open(‘filelist.txt’, ‘w’) as f: for seg in output_segments: f.write(f“file ‘{seg}’\n”) # 合并命令 merge_cmd [ ‘ffmpeg’, ‘-y’, ‘-f’, ‘concat’, ‘-safe’, ‘0’, ‘-i’, ‘filelist.txt’, ‘-c’, ‘copy’, ‘final_shortfilm.mp4’ ] # subprocess.run(merge_cmd, checkTrue) # 实际执行时取消注释 print(“视频合成完成: final_shortfilm.mp4”) # 5. 清理临时片段文件 (可选) # for seg in output_segments: # os.remove(seg) # os.remove(‘filelist.txt’)这个脚本提供了完整的逻辑框架。你需要根据实际选择的TTS服务填充第2步的代码并安装FFmpeg。执行前请确保generated_shots目录下已存在所有图片。5. 常见问题与排查思路在实践过程中你可能会遇到以下典型问题。问题现象可能原因解决思路MiniMax API 返回错误400 the thinking_budget parameter must be a positive integer请求参数中包含了模型不支持的thinking_budget字段。检查API请求的payload移除thinking_budget参数或查阅MiniMax最新API文档确认该参数是否为必需及其有效值范围。ComfyUI 启动失败或无法访问端口被占用、依赖未安装、Python环境问题。1. 检查run_nvidia_gpu.bat运行日志。2. 尝试更换端口修改extra_model_paths.yaml或启动参数。3. 确保使用Python 3.10。no lm runtime found for model format ‘gguf’!尝试在ComfyUI中加载GGUF格式的LLM模型但未安装对应的LLM节点或运行时。1. 本工作流主要使用SD图像模型无需GGUF。2. 若需在ComfyUI内集成LLM需安装如ComfyUI-LLM等插件并配置Ollama或llama.cpp后端。调用ComfyUI API时返回403或404API地址错误、工作流未正确加载、节点ID不对。1. 确认COMFYUI_HOST地址和端口正确。2. 通过ComfyUI的/object_infoAPI端点检查可用节点。3. 确保prompt字段中的工作流数据是有效的JSON且节点连接正确。生成的图片风格不一致提示词差异大、采样种子不固定、模型本身波动。1. 在KSampler节点中固定seed值。2. 使用相同的负面提示词。3. 考虑使用LoRA或Textual Inversion来固定画风。4. 在分镜生成阶段要求H3在prompt中保持统一风格关键词。视频合成时音画不同步图片显示时长与音频长度不匹配。在FFmpeg命令中使用-t参数指定时长时应使用音频的实际长度而非固定值。可以先使用ffprobe获取音频时长再动态设置-t。脚本执行权限或路径问题在非Windows系统或特定环境下。1. 为Python脚本添加可执行权限 (chmod x *.py)。2. 使用绝对路径访问文件。3. 确保FFmpeg已全局安装。6. 最佳实践与进阶优化掌握了基础流程后你可以通过以下方式提升短剧生成的质量和效率。6.1 提升分镜与提示词质量细化系统提示词在给MiniMax-H3的系统提示词中明确要求更具体的视觉元素如镜头角度俯瞰、仰视、特写光影赛博朋克霓虹、温暖午后阳光艺术风格吉卜力、皮克斯、胶片质感。引入角色一致性在分镜提示词中加入固定的人物描述或使用LoRA模型来保持同一角色在不同分镜中的外貌一致。迭代优化首次生成的分镜和图片可能不理想。可以手动编辑storyboard.json文件调整不满意的prompt然后重新运行图像生成脚本实现半自动化优化。6.2 优化ComfyUI工作流使用高级采样器尝试DPM 2M Karras、UniPC等采样器可能获得更好的图像质量或更快的速度。集成高清修复Hires. fix在KSampler后添加Latent Upscale和第二个KSampler节点实现先低分辨率构图再高分辨率细化节省显存并提升细节。加入ControlNet对于需要精确构图如特定姿势、景深的分镜可以集成OpenPose、Canny等ControlNet模型通过草图或姿势图来控制生成。批量处理优化上述脚本是串行调用API速度较慢。可以研究ComfyUI的队列系统或使用其内置的批处理功能如在Empty Latent Image节点设置批大小但需要注意显存限制。6.3 工程化与部署建议配置管理将API Key、模型路径、输出目录等配置信息抽离到config.yaml或.env文件中便于管理和保密。错误处理与重试在generate_images.py脚本中增加更完善的错误处理和重试机制例如网络超时重试、生成失败跳过等。日志记录使用Python的logging模块记录脚本运行过程便于排查问题。容器化考虑使用Docker将ComfyUI及其依赖环境容器化保证环境一致性便于迁移和部署。6.4 探索本地LLM替代方案如果你希望完全本地化避免API调用可以探索在ComfyUI内部或通过本地LLM服务如Ollama、llama.cpp来执行分镜拆解任务。在ComfyUI中安装ComfyUI-LLM等插件。本地部署一个中等规模的、擅长指令跟随的LLM如Qwen2.5-7B-Instruct的GGUF版本。修改工作流将剧本文本输入LLM节点并解析其输出的JSON。 这种方式对硬件尤其是内存要求更高但提供了完全的隐私和可控性。通过以上步骤你已经成功搭建了一个从剧本到视频的自动化短剧生成原型系统。从调用大语言模型进行创意分解到驱动Stable Diffusion进行视觉呈现再到最终的音视频合成整个过程涵盖了当前AIGC应用的核心链路。虽然仍有诸多细节可以打磨例如角色一致性、运动控制、更自然的转场等但本方案为你提供了一个坚实且可扩展的起点。