过去几年影视制作的技术栈被 AI 重新洗了一遍牌。从《曼达洛人》带火的 LED 虚拟影棚到如今扩散模型直接生成可用的镜头素材AI 不再是后期软件里一个可有可无的滤镜而是深度嵌进了制片流程的每个环节。这篇文章梳理虚拟制片与智能后期的核心技术栈并结合工程实践聊聊落地时的坑。虚拟制片把后期搬到拍摄现场传统制片是拍完再做虚拟制片Virtual Production则是边拍边做。核心思路是用实时渲染引擎Unreal Engine 为主驱动 LED 环幕摄影机直接拍摄虚实结合的画面演员站在实体置景里背景是引擎实时输出的数字场景。这套系统里有几个关键 AI 组件摄像机跟踪与空间定位基于视觉惯性融合的 SLAM 方案如 Mo-Sys、Ncam把摄影机的 6DoF 位姿实时喂给引擎帧率要求 240Hz 以上延迟必须压到几毫秒否则视差会穿帮。色彩与光线匹配LED 屏幕发出的光本身会打在演员脸上需要用机器学习模型预测屏幕内容与真实光照的一致性ILM 的 StageCraft 就内置了光线场重建模块。实时抠像备份即便主流程靠 LED 直出现场通常同时录制绿幕通道用基于深度学习的抠像模型如 MODNet、Matte Anything做保险。从 NeRF 到 3DGS场景资产的快速重建虚拟制片最大的成本在数字资产。传统做法是美术团队手工建模贴图一个中等复杂度的场景要数周时间。NeRF神经辐射场和 3D Gaussian Splatting3DGS改变了这个局面用手机或相机绕场景拍一圈几十张图就能重建出可自由视角渲染的三维场景。工程上的对比大致如下| 技术方案 | 训练时间 | 渲染速度 | 动态场景支持 | 影视级质量 | |---------|---------|---------|------------|-----------| | 传统手工建模 | 数周人工 | 实时 | 好 | 最高 | | NeRF | 数小时~数天 | 慢秒级/帧 | 弱 | 中高 | | Instant-NGP | 分钟级 | 接近实时 | 弱 | 中 | | 3D Gaussian Splatting | 数十分钟 | 实时100 FPS | 可扩展4DGS | 高 |3DGS 目前是最实用的路线高斯椭球可以直接导出点云配合 UE 插件如 XGRIDS、Volinga能塞进 LED 管线里做远景环境。需要注意的是重建结果在镜面反射和透明材质上仍然容易翻车实拍前务必做小范围测试。智能后期从辅助工具到生成式管线后期环节 AI 的渗透更深几个成熟方向1. 智能修复与增强。老片修复已经是商业化最成熟的场景。ESRGAN、Real-ESRGAN 做超分辨率RIFE、DAIN 做插帧再配合人脸修复模型GFPGAN、CodeFormer可以把标清片源拉到 4K 60fps。国内的央视、爱奇艺都有规模化应用。2. 生成式特效。Stable Video Diffusion、Runway Gen-3、可灵、Sora 这类视频生成模型已经可以承担 B-roll 空镜、概念预演Previs甚至局部特效合成。关键在于可控性——纯文本 prompt 很难精确控制镜头运动工程上常用 ControlNet 姿态控制 首帧/尾帧约束的组合。3. 智能剪辑与配音。ASR 时间轴对齐可以自动生成文字剪辑删掉一句台词对应视频片段自动被剪掉。TTS 声音克隆则用于补录对白ADR演员改一句词不用回录音棚。实战一个镜头修复管线的代码骨架下面是一个典型的老片修复脚本骨架把超分、插帧、调色串成一条流水线import cv2 from realesrgan import RealESRGANer from basicsr.archs.rrdbnet_arch import RRDBNet import torch # 1. 超分辨率模型加载 model RRDBNet(num_in_ch3, num_out_ch3, num_feat64, num_block23, num_grow_ch32, scale4) upsampler RealESRGANer( scale4, model_pathweights/RealESRGAN_x4plus.pth, modelmodel, tile256, # 显存不足时切块推理 tile_pad16, pre_pad0, halftorch.cuda.is_available() # FP16 加速 ) # 2. 逐帧处理 cap cv2.VideoCapture(input_720p.mp4) fps cap.get(cv2.CAP_PROP_FPS) out cv2.VideoWriter(output_4k.mp4, cv2.VideoWriter_fourcc(*mp4v), fps, (3840, 2160)) while True: ret, frame cap.read() if not ret: break sr_frame, _ upsampler.enhance(frame, outscale4) sr_frame cv2.resize(sr_frame, (3840, 2160)) out.write(sr_frame) cap.release() out.release() # 3. 之后接 RIFE 插帧 FFmpeg 封装几个容易踩的坑tile参数必须根据显存调整4K 输入不切块基本必爆FP16 在部分老显卡上会产生色偏影视交付建议回退 FP32插帧模型对快速运动场景会出果冻效应