目前国内实时互动和视频会议产品大部分还是用的h.264和hevc做为视频编解码器的方案而很少使用vp9即使有svc可用是为什么呢其根本原因是H.264/HEVC在硬件兼容性、产业链成熟度和编码实时性上拥有碾压性优势而 VP9 的“免专利费”和“SVC”优势在现实场景中并未能转化为足够的竞争力。H.264最早也最成熟几乎所有现代设备的芯片中都内置了专门的 H.264 编解码电路。这使得编码解码效率极高、CPU占用和功耗极低。x264openh264也经过长年优化延时和功耗基本也没大问题。HEVC作为接替者其硬件支持也已非常普及。而vp9硬件支持至今仍不充分libvpx在google公司的主导下优化并不充分。大量设备将不得不依赖效率低下的软件解码导致CPU占用飙升、设备发热、电池快速耗尽等问题严重影响用户体验。VP9-SVC通过一次编码生成多层视频流能更好地适应不同网络条件。由于优化不力和业界很少有优秀的实践案例也只能处于理想丰满现实骨感的尴尬境地。经过分析vp9其实有很大的优化空间。一、我们从libvpx的speed预设和编码性能开始讨论在 libvpx speed9最快预设下运动估计ME模块的优化策略可以概括为“一切从简、能省就省”。具体实现手段可分为“搜索策略、迭代深度、代价函数、并行粒度”四个维度整像素搜索• 搜索形状直接采用菱形(DIA) 或 4-步长十字(EPZS)半径从 speed0 的 64 降到24 像素。• 早期退出只要 SAD/SSD 小于动态阈值与当前 QP 相关立即终止不再尝试更小分区。亚像素细化•关闭 1/4 像素全搜索仅做1/2 像素一次插值 中心比较省去 Hadamard 变换。• subpel_iters 从 35 次降到1 次且跳过 chroma 分量计算。多参考帧 分块深度•最多只搜 2 个参考帧前一帧 黄金帧后续参考直接复用 MV。• 64×64→32×32→16×16 分裂决策改为单层方差阈值若 64×64 误差小于阈值直接标记为 SKIP不再递归。代价函数与缓存• 代价函数从SATDλ*bits简化为SAD关闭 Trellis、RDO 重算。•MV缓存共享整帧级 hash 表缓存已算过的 MV相同 block 直接复制。SIMD 并行• 所有 SAD/SSE 计算使用AVX2/AVX-512一次处理 32/64 像素减少函数调用开销。• 在 tile-row 并行框架下ME 任务被切成一行一个 job避免线程同步等待。一句话总结speed9 下的 ME 用“小窗口、一步亚像素、单层决策、SAD 代价”把原本最耗时的模块压到极限换来 20× 以上的速度提升但 RD-loss 也相应增大。SVC L3T3:Speed9对比x264最后测试对比编码复杂度高30%压缩率反而落后30%~40%。二、libvpx的RTC编译选项问题由于编码复杂度问题libvpx为RTC场景专门提供了一个编译配置选项configure --enable-realtime-only.通过开启这个配置编译后你会发现编码压缩工具有很大的限制在这个配置下很难提升压缩率。从以上两点分析要使压缩率有一定保障。至少需要关闭enable-realtime-only的编译配置选项还需要把预设降到speed7。三、libvpx本身工程实现问题Libvpx中dct和idct变换模块有重复的二次转置问题svt-av1里同样存在。大量的simd指令集并行优化没有实现可参考的路径是dav1dsvt-av1工程。Vp9和av1有大量同算法的模块实现vp9更像是av1的一个子集。四、计算去重优化Speed7, 在编码器流水线中SAD 和 DCT 相关运算会存在大量重复的块级计算。这是传统混合编码架构VP9/AV1/H.26x 等的一个经典冗余问题。1. 重复运算的典型场景场景一运动估计ME→ 模式决策Mode Decision的重复阶段计算内容块尺寸整像素 MESAD 搜索最佳 MV4×4 ~ 64×64多种划分亚像素 MESATD类 DCT精化 1/2、1/4、1/8 像素同上模式决策/RDO完整 DCT/ADST 量化 熵编码代价最终选定划分重复点一个候选块可能在整像素 SAD、亚像素 SATD、RDO 全变换中被计算3 次。场景二码率控制RC→ 实际编码的重复阶段计算内容RC 预分析快速 DCT 或方差估计预测比特数正式编码完整 DCT/ADST 量化重复点RC 阶段为了估计复杂度做的快速变换和后续正式编码的变换是同一残差块。场景三多参考帧/多模式搜索运动估计对每个参考帧、每个预测模式单向/双向、不同块划分都计算 SAD/SATD最终只选一个其余全部浪费。Speed7的预设实现已经做了大量的简化导致重复运算的绝对数量已经很少但结构性的冗余依然存在模块Speed 7 当前做法残余问题整像素 ME仅搜索最近参考帧MV 范围极小SAD 用 SIMD同一位置在不同块划分4×4/8×8/16×16间重复计算 SAD亚像素 ME完全禁用或仅做 1/2 像素无模式决策仅评估少数几种模式SKIP、INTER、NEAREST残差从像素域到变换域的搬运仍独立进行变换/量化仅评估单一 tx_size跳过部分尺寸每块仍做一次完整 DCT无缓存码率控制简化的单遍 CBR基于历史统计无预分析RC 估计与正式编码无联动关键洞察Speed 7 的瓶颈已从运算复杂度转向数据搬运和分支预测失败。重复块运算的优化应聚焦于减少内存访问和跨模块状态复用。2优化路径规划路径一块级 SAD 缓存池整像素 ME 内目标消除不同划分尺寸间的重复 SAD 计算。原理在 speed 7 中一个 32×32 的 CTU 会被尝试划分为 16×16、8×8、4×4 等子块。计算 32×32 的 SAD 时其四个 16×16 子块的 SAD 其实已经隐含在求和过程中反之四个 16×16 的 SAD 可以累加得到 32×32 的 SAD。实现在 CTU 级别64×64 或 32×32建立 SAD 缓存表以 (x, y, w, h, ref_idx, mv) 为 key。采用分层累加策略计算 4×4 基础 SAD → 存入缓存8×8 SAD 4 个 4×4 SAD 之和查表 加法16×16 SAD 4 个 8×8 SAD 之和以此类推使用 SIMD 的 psadbwSSE或 uabd uaddlvNEON计算 4×4 基础单元确保底层效率。收益估计在 speed 7 的极简搜索下ME 占比约 30-40%此优化可减少 20-30% 的 SAD 指令数。路径二残差复用流水线ME → TQ 零拷贝目标消除 ME 阶段计算残差后正式编码时重新从内存读取像素并计算残差的冗余。现状问题ME 阶段当前块像素 - 参考块像素 残差存在于寄存器/SIMD 向量中正式编码重新从 L1/L2 缓存读取当前块和参考块像素重新计算残差再做 DCT实现在 ME 引擎中维护一个残差环形缓冲区ME 计算 SAD 时同时将残差块写入片上缓冲区每个 CTU 一个大小 64×64 字节 4KB若该块最终被选中通过 early decision直接将残差指针传递给 TQ 模块软件层面模拟在 libvpx 的 vp9_encode_block 中增加 residual_reuse 标志当 speed 8 且 ME 已计算该块时跳过 vp9_subtract_block直接从预计算缓冲区读取残差条件仅对 INTER 模式且 ME 成功找到匹配块的情况启用。INTRA 模式无参考块不适用。收益估计减少一次完整的当前块参考块内存读取约 2×32×32 2KB 每块对内存受限的嵌入式场景收益显著。路径三SATD/DCT 结果缓存亚像素 模式决策目标speed 7 虽禁用亚像素但在某些实现中仍有 1/2 像素或模式间的快速 SATD。缓存这些结果。实现建立一个轻量级的SATD 哈希缓存LRU每帧 1024 条目足够Key: (ref_frame, mv_x, mv_y, block_size, src_x, src_y)Value: satd_cost, estimated_bits在 vp9_pick_inter_mode 中先查缓存命中则跳过 SATD 计算。由于 speed 7 的候选模式极少缓存命中率可做到 60%相邻块运动向量高度相关。收益估计在 speed 7 中 SATD 占比不高约 5-10%但实现成本极低适合作为免费优化。路径四基于方差的 SKIP 模式快速决策绕过 DCT目标在正式做 DCT 之前用像素域统计量判断该块是否极大概率是 SKIP 模式。原理如果当前块与参考块差异极小SAD 接近 0方差极低则变换后系数几乎全为 0SKIP 模式最优。此时无需进入 DCT。实现在 ME 的 SAD 计算后增加一个零成本分支plainif (sad threshold_skip) {// threshold_skip 4 * block_pixels (经验值约每像素 1/4 个亮度差)mode SKIP;skip_dct 1;estimated_bits header_bits_only;}该阈值可根据 QP 自适应调整QP 越高threshold 越大。在 speed 7 中由于量化较粗大量背景块满足此条件。收益估计对典型视频如视频会议、屏幕内容SKIP 率可达 40-60%直接绕过 DCT 可节省大量运算。路径五RC 与 ME 的联合预分析单遍编码模拟两遍目标让码率控制的复杂度估计复用 ME 的 SAD 结果避免 RC 独立做统计。现状问题VP9 的 single-pass CBR 在 speed 7 中RC 模块独立维护帧复杂度统计与 ME 的 SAD 数据无联动。实现在 vp9_rc_compute_frame_size_bounds 或类似函数中直接读取 ME 阶段已计算的帧级 SAD 总和作为复杂度指标。替代 RC 中原有的 avg_frame_qindex 或 gfu_boost 的独立计算plain// 原做法complexity calculate_independent_variance(frame);// 优化后complexity me_stage-frame_sad_sum / (width * height);由于 speed 7 的 ME 已经遍历了所有块帧级 SAD 总和几乎是免费的副产品。收益估计消除 RC 阶段对像素的二次遍历减少 5-10% 的总 CPU 时间。五、针对svc的参考模型使用超分替代层间缩放运动补偿。以SVC L3T3为例在 VP9 空域 SVC 编码中参考帧缩放是实现跨层预测的关键环节。由于各空间层分辨率不同低层重建帧必须被上采样Upsample到当前层的分辨率才能作为有效的参考帧用于运动补偿。以下是详细的机制说明和核心实现分析。一参考帧缩放的触发条件与架构1.1 触发场景VP9 SVC 中参考帧缩放发生在以下场景场景说明空域层间参考低空间层如 360p编码完成后其重建帧需上采样到高空间层如 720p分辨率供高层作为参考帧动态分辨率切换编码过程中动态改变输出分辨率时参考帧需要重新缩放帧率/码率自适应根据网络条件调整各层参数时可能涉及参考帧缓冲区重建1.2 核心架构VP9 编码器维护一个参考帧缓冲区池RefCntBuffer 池每个空间层拥有独立的编码上下文SVC_LAYER_CONTEXT。关键设计原则各层独立缓冲每个空间层有自己的 cpi-svc.layer_context[sl]包含独立的参考帧列表缩放按需进行低层帧不会自动全局上采样而是在被高层引用时通过缩放路径处理引用计数管理通过 vp9_ref_frame 和 ref_cnt 机制确保帧数据生命周期安全二参考帧缩放的完整数据流plain┌──────────────────────────────────────────────────────────┐│ 低空间层 (Spatial Layer 0) 编码完成 ││ - 分辨率: 360x640 ││ - 重建帧存入: cpi-svc.layer_context[0].enc_frame_buffer │└──────────────────────────────────────────────────────────┘│▼┌──────────────────────────────────────────────────────────┐│ 高层编码前配置参考帧 (set_svc_ref_frame_config) ││ - 将低层帧标记为高层可用参考帧 ││ - 设置 ref_frame_config 中的 reference layer 映射 │└──────────────────────────────────────────────────────────┘│▼┌──────────────────────────────────────────────────────────┐│ 高层 (Spatial Layer 1) 开始编码 ││ - 分辨率: 720x1280 ││ - 需要引用低层重建帧 │└──────────────────────────────────────────────────────────┘│▼┌──────────────────────────────────────────────────────────┐│ 分辨率匹配检查 ││ - 比较当前层分辨率 vs 参考帧实际分辨率 ││ - 若不一致 → 触发缩放路径 │└──────────────────────────────────────────────────────────┘│┌───────────────┴───────────────┐▼ ▼┌─────────────┐ ┌─────────────┐│ 分辨率相同 │ │ 分辨率不同 ││ 直接使用 │ │ 需要缩放 │└─────────────┘ └─────────────┘│▼┌─────────────────────────────────┐│ 缩放处理路径 ││ - 创建临时缩放缓冲区 ││ - 调用 vp9_scale_if_required() ││ - 或使用 SVC 专用缩放路径 │└─────────────────────────────────┘│▼┌─────────────────────────────────┐│ 上采样滤波 (8-tap/8-tap 滤波器) ││ - 水平方向 8-tap 插值 ││ - 垂直方向 8-tap 插值 ││ - 生成目标分辨率参考帧 │└─────────────────────────────────┘│▼┌─────────────────────────────────┐│ 更新高层参考帧列表 ││ - 将缩放后的帧加入 cm-ref_frame_map ││ - 设置正确的 ref_idx 映射 │└─────────────────────────────────┘│▼┌─────────────────────────────────┐│ 运动补偿使用 ││ - vp9_build_inter_predictors() ││ - 读取缩放后参考帧像素 ││ - 结合缩放后的 MV 进行插值 │└─────────────────────────────────┘Libvpx中scale_2d() — 2D 8-tap 上采样滤波其实现质量一般性能较差。如果换成AI超分目前只针对1:2放大将来可考虑任意尺寸放大复杂度低和超分质量高pnsr约35.2DB。运动补偿的残差在通常的量化下大部分会直接走skip模式。在以前的上采样滤波模式下大部分还是帧间运动补偿而层间缩放补偿占比小。采用超分后因为超分质量更高帧间运动补偿占比会大量减少而层间缩放补偿占比会更高。综上通过以上大量的优化vp9-SVC在L3T3编码上压缩率和编码复杂度上有跨越式改进。使得720p30编码比传统的x264压缩率提高复杂度也会更低。如果是在1080p或者4K高分辨率下相比x264有更明显优势。最终编码是9个等级的子流对于rtc的抗弱网实现质的飞跃。因为SVC的码流子码率基本固定画质也有保障。在rtc的接收端同样还可以继续使用超分提升弱网画质。