一文读懂MiniMax-H3-Fun-Controlnet-Union一个检查点驾驭Canny/Depth/Pose五大AI视频控制【免费下载链接】MiniMax-H3-Fun-Controlnet-Union项目地址: https://ai.gitcode.com/hf_mirrors/alibaba-pai/MiniMax-H3-Fun-Controlnet-UnionMiniMax-H3-Fun-Controlnet-Union 是面向 MiniMax-H3 视频生成模型发布的 ControlNet-Union 控制分支模型由阿里 PAI 基于 VideoX-Fun 流水线训练。一个约 6.8GB 的检查点MiniMax-H3-Fun-Controlnet-Union.safetensors就能同时驾驭 Canny、Depth、HED、MLSD、Pose 五大控制条件还支持视频局部重绘inpainting不再需要为每种控制单独下载和切换检查点。 什么是Union 控制一个模型干 51 件事传统视频控制工作流里边缘、深度、骨骼……每种条件往往对应一个独立的 ControlNet 检查点。MiniMax-H3-Fun-Controlnet-Union 把它们全部合并进一个联合分支控制分支挂载到底座模型 50 个 transformer block 中的5 个位置第 0/10/20/30/40 层每条控制 skip 都通过零门控投影注入主分支——关闭分支时完全不改变底座行为检查点只保存控制分支control_proj_in 5 个control_blocks加载在 MiniMax-H3 底座之上模型在configuration.json中声明为 PyTorch 框架的 text-to-video-synthesis 任务标签涵盖 controlnet、video-to-video、text-to-video、image-text-to-video。 51 控制模式速查表控制模式控制输入典型场景示例素材Canny边缘视频硬边结构、城市街景复刻asset/canny_tokyo_street.mp4Depth深度图视频保持空间布局宇航员asset/depth_astronaut.mp4HED素描边缘动态轮廓、手绘风格asset/hed_trex_bmx.mp4MLSD线段检测建筑线条、规划蓝图asset/mlsd_village.mp4Pose骨骼关键点舞蹈动作控制弗拉门戈asset/pose_dance.mp4Inpaintinglatent掩码局部修复、区域重绘见examples中 inpaint 脚本对应的生成结果存放在results/目录如pose_dance.mp4→results/pose_dance_flamenco.mp4可以先看效果再动手部署。⚡ 三个核心技术亮点引导蒸馏guidance_scale 1.0即可运行每步只需一次前向推理无需无分类器引导设成大于 1 反而会双重引导拉低画质。控制强度旋钮control_context_scale调节控制视频的影响力——1.0最强官方全部示例用它数值越小引导越弱0.0直接关闭控制分支。画布自适应生成帧数自动对齐到 VAE 可解码的最大17n5时长上限 15 秒画幅跟随控制视频的宽高比宽高均为 32 的倍数固定 24fps。 快速上手三步跑出第一条控制视频第 1 步获取推理代码推理管线位于 VideoX-Fun 框架中代码仓库见README.md头部引用克隆后创建模型目录cd VideoX-Fun mkdir -p models/Diffusion_Transformer第 2 步摆放模型文件下载底座 MiniMax-H3 模型和本控制分支检查点目录结构如下 models/ ├── Diffusion_Transformer/ │ ├── MiniMax-H3/ │ └── MiniMax-H3-Fun-Controlnet-Union/ │ └── MiniMax-H3-Fun-Controlnet-Union.safetensors检查点可通过克隆仓库获得git clone https://gitcode.com/hf_mirrors/alibaba-pai/MiniMax-H3-Fun-Controlnet-Union第 3 步改参数、跑脚本修改 VideoX-Fun 仓库中examples/minimax_h3_fun/predict_v2v_control.py顶部的model_name、config_path、transformer_path、control_video、prompt五项配置然后运行python examples/minimax_h3_fun/predict_v2v_control.py官方示例统一参数num_inference_steps 40、guidance_scale 1.0、control_context_scale 1.00、seed 43。⚠️ 部署避坑清单配置 yamlconfig/minimax_h3/minimax_h3_control.yaml必须与训练布局完全一致control_blocks_places: [0, 10, 20, 30, 40]、control_in_dim: 49、control_apply_audio: false布局不匹配会导致检查点加载失败检查点只含控制分支底座 MiniMax-H3 权重必须同时存在显存底座 transformer 约 62GB Qwen3-VL 文本编码器约 62GB单张 80GB 卡装不满建议开启model_group_offload最快或model_cpu_offload_and_qfloat8提示词建议写清场景 主体 镜头生成更稳定局部重绘可用predict_v2v_control_inpaint.py控制输入扩展到 49 通道latent 掩码 latent mask⚖️ 许可证与合规须知本模型是 MiniMax-H3 的衍生模型采用MiniMax H3 社区许可证详见LICENSE与NOTICE文件使用前请重点注意地域限制欧盟、英国、韩国、美国为排除地区需另行联系官方获取授权商业条款年收入超 2000 万美元的商业产品须事先取得书面授权且界面需展示 MiniMax H3生成物Outputs的所有权归你但须遵守可接受使用政策Exhibit A公开传播时请标注为 AI 生成一句话总结想用一张 80GB 显卡玩骨架跳舞、深度换景、边缘重绘的 AI 视频控制MiniMax-H3-Fun-Controlnet-Union 这一个检查点就够了。【免费下载链接】MiniMax-H3-Fun-Controlnet-Union项目地址: https://ai.gitcode.com/hf_mirrors/alibaba-pai/MiniMax-H3-Fun-Controlnet-Union创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 一文读懂MiniMax-H3-Fun-Controlnet-Union：一个检查点驾驭Canny/Depth/Pose五大AI视频控制
一文读懂MiniMax-H3-Fun-Controlnet-Union一个检查点驾驭Canny/Depth/Pose五大AI视频控制【免费下载链接】MiniMax-H3-Fun-Controlnet-Union项目地址: https://ai.gitcode.com/hf_mirrors/alibaba-pai/MiniMax-H3-Fun-Controlnet-UnionMiniMax-H3-Fun-Controlnet-Union 是面向 MiniMax-H3 视频生成模型发布的 ControlNet-Union 控制分支模型由阿里 PAI 基于 VideoX-Fun 流水线训练。一个约 6.8GB 的检查点MiniMax-H3-Fun-Controlnet-Union.safetensors就能同时驾驭 Canny、Depth、HED、MLSD、Pose 五大控制条件还支持视频局部重绘inpainting不再需要为每种控制单独下载和切换检查点。 什么是Union 控制一个模型干 51 件事传统视频控制工作流里边缘、深度、骨骼……每种条件往往对应一个独立的 ControlNet 检查点。MiniMax-H3-Fun-Controlnet-Union 把它们全部合并进一个联合分支控制分支挂载到底座模型 50 个 transformer block 中的5 个位置第 0/10/20/30/40 层每条控制 skip 都通过零门控投影注入主分支——关闭分支时完全不改变底座行为检查点只保存控制分支control_proj_in 5 个control_blocks加载在 MiniMax-H3 底座之上模型在configuration.json中声明为 PyTorch 框架的 text-to-video-synthesis 任务标签涵盖 controlnet、video-to-video、text-to-video、image-text-to-video。 51 控制模式速查表控制模式控制输入典型场景示例素材Canny边缘视频硬边结构、城市街景复刻asset/canny_tokyo_street.mp4Depth深度图视频保持空间布局宇航员asset/depth_astronaut.mp4HED素描边缘动态轮廓、手绘风格asset/hed_trex_bmx.mp4MLSD线段检测建筑线条、规划蓝图asset/mlsd_village.mp4Pose骨骼关键点舞蹈动作控制弗拉门戈asset/pose_dance.mp4Inpaintinglatent掩码局部修复、区域重绘见examples中 inpaint 脚本对应的生成结果存放在results/目录如pose_dance.mp4→results/pose_dance_flamenco.mp4可以先看效果再动手部署。⚡ 三个核心技术亮点引导蒸馏guidance_scale 1.0即可运行每步只需一次前向推理无需无分类器引导设成大于 1 反而会双重引导拉低画质。控制强度旋钮control_context_scale调节控制视频的影响力——1.0最强官方全部示例用它数值越小引导越弱0.0直接关闭控制分支。画布自适应生成帧数自动对齐到 VAE 可解码的最大17n5时长上限 15 秒画幅跟随控制视频的宽高比宽高均为 32 的倍数固定 24fps。 快速上手三步跑出第一条控制视频第 1 步获取推理代码推理管线位于 VideoX-Fun 框架中代码仓库见README.md头部引用克隆后创建模型目录cd VideoX-Fun mkdir -p models/Diffusion_Transformer第 2 步摆放模型文件下载底座 MiniMax-H3 模型和本控制分支检查点目录结构如下 models/ ├── Diffusion_Transformer/ │ ├── MiniMax-H3/ │ └── MiniMax-H3-Fun-Controlnet-Union/ │ └── MiniMax-H3-Fun-Controlnet-Union.safetensors检查点可通过克隆仓库获得git clone https://gitcode.com/hf_mirrors/alibaba-pai/MiniMax-H3-Fun-Controlnet-Union第 3 步改参数、跑脚本修改 VideoX-Fun 仓库中examples/minimax_h3_fun/predict_v2v_control.py顶部的model_name、config_path、transformer_path、control_video、prompt五项配置然后运行python examples/minimax_h3_fun/predict_v2v_control.py官方示例统一参数num_inference_steps 40、guidance_scale 1.0、control_context_scale 1.00、seed 43。⚠️ 部署避坑清单配置 yamlconfig/minimax_h3/minimax_h3_control.yaml必须与训练布局完全一致control_blocks_places: [0, 10, 20, 30, 40]、control_in_dim: 49、control_apply_audio: false布局不匹配会导致检查点加载失败检查点只含控制分支底座 MiniMax-H3 权重必须同时存在显存底座 transformer 约 62GB Qwen3-VL 文本编码器约 62GB单张 80GB 卡装不满建议开启model_group_offload最快或model_cpu_offload_and_qfloat8提示词建议写清场景 主体 镜头生成更稳定局部重绘可用predict_v2v_control_inpaint.py控制输入扩展到 49 通道latent 掩码 latent mask⚖️ 许可证与合规须知本模型是 MiniMax-H3 的衍生模型采用MiniMax H3 社区许可证详见LICENSE与NOTICE文件使用前请重点注意地域限制欧盟、英国、韩国、美国为排除地区需另行联系官方获取授权商业条款年收入超 2000 万美元的商业产品须事先取得书面授权且界面需展示 MiniMax H3生成物Outputs的所有权归你但须遵守可接受使用政策Exhibit A公开传播时请标注为 AI 生成一句话总结想用一张 80GB 显卡玩骨架跳舞、深度换景、边缘重绘的 AI 视频控制MiniMax-H3-Fun-Controlnet-Union 这一个检查点就够了。【免费下载链接】MiniMax-H3-Fun-Controlnet-Union项目地址: https://ai.gitcode.com/hf_mirrors/alibaba-pai/MiniMax-H3-Fun-Controlnet-Union创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考