一、前言在AI视频处理领域NVIDIA CUDA生态几乎是默认选项。但现实中大量开发者和用户手头只有AMD显卡——无论是Radeon独显还是Ryzen AI集显。难道没有N卡就没法搞AI视频了当然不是。本文分享的是VideoSceneMaster视频场景匹配系统的实战移植经历。这套系统从零重构彻底摆脱CUDA依赖基于AMD Windows平台实现了从硬件解码、GPU缩放、DirectML推理到场景匹配的全链路加速在主流AMD平台上整体处理速度达到接近800FPS。二、核心技术选型2.1 为什么选DirectML微软DirectML是基于DirectX 12的机器学习加速库天然支持AMD、Intel、NVIDIA全系GPU。早在2021年微软正式公开发行DirectML API时AMD官方就已宣布Radeon Software可直接加载DirectML滤镜进行AI图像处理-3。相比其他方案方案优点缺点DirectMLWindows原生、跨厂商GPU、预装在Win10设备中-5API抽象层有少量开销AMD ROCm性能极致Windows支持尚不完整CUDA生态成熟仅限N卡无法跨平台2.2 环境搭建ONNX Runtime DirectML是官方推荐的组合方式。预编译包可从NuGet获取ONNX Runtime with DirectML EP: NuGet包Microsoft.ML.OnnxRuntime.DirectMLDirectML独立包: NuGet包Microsoft.AI.DirectML关键文件onnxruntime.dllDirectML.dlldml_provider_factory.hFFmpeg源码可从官方Git获取git clone https://git.ffmpeg.org/ffmpeg.git ffmpeg https://git.ffmpeg.org/ffmpeg.gitFFmpeg官方Git仓库如需预编译库含D3D11VA支持社区版本可参考Gyan.dev或BtbN的Windows构建。三、C代码实现DirectML推理引擎3.1 核心初始化// resnet_extractor_ort.cpp #include dml_provider_factory.h ResNetFeatureExtractorORT::ResNetFeatureExtractorORT( const std::wstring model_path, size_t feature_dim, bool use_gpu_acceleration, int gpu_device_id) : feature_dim_(feature_dim) , max_batch_size_(MAX_BATCH_SIZE) { env_ std::make_uniqueOrt::Env(ORT_LOGGING_LEVEL_WARNING, VideoSceneMaster); if (use_gpu_acceleration) { try { Ort::SessionOptions session_options; session_options.SetGraphOptimizationLevel( GraphOptimizationLevel::ORT_ENABLE_ALL); // ★ 关键挂载DirectML Execution Provider OrtStatus* status OrtSessionOptionsAppendExecutionProvider_DML( session_options, gpu_device_id); if (status ! nullptr) { const char* err_msg Ort::GetApi().GetErrorMessage(status); throw std::runtime_error(DirectML配置失败: std::string(err_msg)); } session_ std::make_uniqueOrt::Session(*env_, model_path.c_str(), session_options); use_gpu_ true; } catch (const std::exception e) { std::cerr ⚠️ DirectML初始化失败回退CPU: e.what() std::endl; // 自动降级 } } // ... CPU回退逻辑 }3.2 批量推理与特征归一化AVX加速float* ResNetFeatureExtractorORT::runInference( const std::vectorcv::Mat images, size_t out_batch_size) { size_t batch_size images.size(); preprocessBatchOptimized(images, preprocess_buffer_.data()); std::vectorint64_t input_shape { static_castint64_t(batch_size), 3, 224, 224 }; auto memory_info Ort::MemoryInfo::CreateCpu(OrtArenaAllocator, OrtMemTypeDefault); Ort::Value input_tensor Ort::Value::CreateTensorfloat( memory_info, preprocess_buffer_.data(), preprocess_buffer_.size(), input_shape.data(), input_shape.size() ); auto output_tensors session_-Run( Ort::RunOptions{nullptr}, input_names, input_tensor, 1, output_names, 1 ); const float* output_ptr output_tensors.front().GetTensorDatafloat(); // L2归一化AVX加速 normalizeFeaturesBatch(flat_features_buffer_.data(), batch_size, feature_dim_); return flat_features_buffer_.data(); }四、FFmpeg硬件解码D3D11VA方案4.1 解码器架构解码模块采用生产者-消费者模型读包线程与解码线程异步运行队列缓冲避免阻塞。启用D3D11VA硬件加速的关键代码// gpu_decoder.cpp static enum AVPixelFormat get_hw_format(AVCodecContext* ctx, const enum AVPixelFormat* pix_fmts) { for (const enum AVPixelFormat* p pix_fmts; *p ! -1; p) { if (*p AV_PIX_FMT_D3D11) { return *p; } } return AV_PIX_FMT_NONE; } bool GPUFFmpegDecoder::setupHardwareDecoder() { int ret av_hwdevice_ctx_create(hw_device_ctx, AV_HWDEVICE_TYPE_D3D11VA, nullptr, nullptr, 0); if (ret 0) return false; codec_ctx-hw_device_ctx av_buffer_ref(hw_device_ctx); codec_ctx-get_format get_hw_format; return true; }4.2 GPU显存内缩放关键优化点利用FFmpeg的scale滤镜在GPU显存内直接完成缩放避免4K帧先传回CPU再处理的PCIe带宽瓶颈。int GPUFFmpegDecoder::init_filters(AVFrame* frame) { std::string filter_desc_str; if (crop_enabled crop_w 0 crop_h 0) { filter_desc_str crop std::to_string(crop_w) : std::to_string(crop_h) : std::to_string(crop_x) : std::to_string(crop_y); if (target_width 0 target_height 0) { filter_desc_str ,scale std::to_string(target_width) : std::to_string(target_height); } filter_desc_str ,formatbgr24; } else { if (target_width 0 target_height 0) { filter_desc_str scale std::to_string(target_width) : std::to_string(target_height) ,formatbgr24; } else { filter_desc_str formatbgr24; } } avfilter_graph_parse_ptr(filter_graph, filter_desc_str.c_str(), inputs, outputs, NULL); avfilter_graph_config(filter_graph, NULL); return 0; }FFmpeg在D3D11设备上会调用scale_d3d11pp硬件路径效率远超CPU软缩放-4-8。五、场景切换检测四层筛选5.1 检测流程1. 像素差异pixel_diff → 秒级过滤约84% ↓ 2. SSIM结构相似度 → 毫秒级过滤约86% ↓ 3. ResNet18特征相似度 → 推理级过滤约99.4% ↓ 4. CLIP语义相似度 → 推理级最终判定5.2 核心检测代码bool SceneDetector::isSceneCut(const cv::Mat prev_gray, const cv::Mat curr_gray, const cv::Mat prev_bgr, const cv::Mat curr_bgr) { // 第0层像素差异快速排除 float pixel_diff pixelDifference(prev_gray, curr_gray); if (pixel_diff pixel_diff_threshold_) return false; // 第1层SSIM结构相似度 float ssim structuralSimilarity(prev_gray, curr_gray); if (ssim ssim_threshold_) return false; // 第2层ResNet18特征 float resnet_sim resnetv15Similarity(prev_bgr, curr_bgr); if (resnet_sim 80.0f) return true; if (pixel_diff 70.0f) { if (resnet_sim 92.5f) return false; } else { if (resnet_sim resnet_threshold_) return false; } // 第3层CLIP语义 float clip_sim clipSimilarity(prev_bgr, curr_bgr); if (clip_sim clip_threshold_) return false; // 像素跳变召回 if (pixel_diff 60.0f (pixel_diff - prev_pixel_diff) 40.0f ssim 20.0f) return true; // ... 精细排除规则 return true; }5.3 ResNet特征相似度AVX加速float SceneDetector::resnetv15Similarity(const cv::Mat img1, const cv::Mat img2) { const float* feat_ptr extractor_resnet18_single_-extractFeaturesRaw( {img1, img2}, batch_size); const float* f1 feat_ptr, * f2 feat_ptr dim; float dot 0, n1 0, n2 0; #ifdef __AVX__ __m256 v_dot _mm256_setzero_ps(); for (; i 7 dim; i 8) { __m256 a _mm256_loadu_ps(f1 i); __m256 b _mm256_loadu_ps(f2 i); v_dot _mm256_add_ps(v_dot, _mm256_mul_ps(a, b)); } // 聚合256位结果... #endif return (dot / (sqrt(n1) * sqrt(n2))) * 100.0f; }六、性能数据与踩坑6.1 关键指标环节技术方案性能视频解码D3D11VA硬解 GPU缩放1ms/帧场景检测四层筛选~800 FPS特征提取ResNet/CLIP DirectML批处理批16帧~5ms6.2 踩坑经验FFmpeg API版本新版中avbuffersrc_parameters_set已废弃需用av_opt_set_bin绑定hw_frames_ctx。DirectML批处理优化预处理/后处理应在GPU显存内完成避免CPU-GPU反复传输-5。D3D11VA设备选择通过-init_hw_device d3d11vaamd:1可指定AMD GPU。自动CPU回退DirectML初始化失败时自动降级保证系统稳健。6.3 技术栈全景┌─────────────────────────────────────────────────┐ │ VideoSceneMaster 应用层 │ ├─────────────────────────────────────────────────┤ │ ResNet18 │ CLIP │ SSCD │ OmniShotCut │ ├─────────────────────────────────────────────────┤ │ ONNX Runtime DirectML Execution Provider │ ├─────────────────────────────────────────────────┤ │ D3D11VA解码 │ scale GPU缩放 │ DirectML推理 │ ├─────────────────────────────────────────────────┤ │ AMD GPU (Radeon/Ryzen AI) │ └─────────────────────────────────────────────────┘七、资源链接ONNX Runtime DirectML版NuGet | 官方文档-2DirectMLGitHub | 官方文档-5FFmpeg源码git.ffmpeg.org-6FFmpeg预编译库参考BtbN或gyan.dev社区构建-4八、结语本文完整展示了VideoSceneMaster在纯AMD Windows平台下利用DirectML D3D11VA实现全链路硬件加速的完整方案。AMD平台在桌面级AI视频处理上的表现已完全可以与N卡方案比肩——关键在于合理利用DirectML和D3D11硬件管线减少CPU-GPU数据传输充分发挥GPU并行计算能力。欢迎技术交流 model测试下载