单目深度估计终极实战指南用 Depth Anything V2 三分钟跑通全场景深度感知【免费下载链接】Depth-Anything-V2[NeurIPS 2024] Depth Anything V2. A More Capable Foundation Model for Monocular Depth Estimation项目地址: https://gitcode.com/gh_mirrors/de/Depth-Anything-V2只用一张普通照片就能让电脑看出画面里每个物体的远近——这不是科幻而是单目深度估计Monocular Depth Estimation干的事。Depth Anything V2 是 NeurIPS 2024 发表的开源基础模型它把这项技术从实验室玩具变成了三分钟可上手的工具最轻量的模型只有 24.8M 参数在 GPU 上 60 毫秒出结果精度却比参数大 30 倍的扩散模型还高。本文带你从零跑通它并讲透背后的原理、进阶玩法与实战避坑。痛点切入为什么一张图看出远近会难倒一片开发者先讲个真实场景你想给自己的小应用加一个物体距离测量功能查了一圈方案——双目摄像头要两台设备还得标定LiDAR 激光雷达动辄几千块而单目深度估计呢以前的模型要么在复杂场景下输出一团糊要么推理慢到没法实时要么把动漫、线稿这类非真实图片直接搞崩。你部署了一周效果还是远看像样近看全错。Depth Anything V2 的出现就是为了同时击穿这三个瓶颈泛化能力弱换个场景就失效、推理速度慢秒级延迟扛不住实时应用、细节粗糙物体边缘糊成一片。它用一个统一框架同时做到快、准、稳并且把完整代码开源。下面是它最拿得出手的成绩单模型参数量推理延迟准确率Marigold (LCM)948M5.2s86.8%DepthFM891M2.1s85.8%Ours-Large335M213ms97.1%Ours-Small25M60ms95.3%数据来自论文及仓库 teaser 图请注意最后两行参数量只有对比方案的 1/3 到 1/38速度却快了 10~80 倍准确率反而高出约 10 个百分点。这就是它敢称更强大的基础模型的底气。原理拆解DINOv2 骨干 DPT 解码器凭什么又快又准要理解它为什么强得先搞懂深度估计模型在做什么。你可以把整条流水线想象成一个看图报距离的翻译官骨干网络Encoder相当于翻译官的眼睛负责从像素里提炼语义特征——认出这是桌子、那是窗户、远处是山解码器Decoder相当于翻译官的大脑把高层语义翻译回逐像素的深度数值——给每个像素一个离我多远的答案。Depth Anything V2 的眼睛用的是 Meta 的DINOv2自监督视觉大模型预训练数据规模巨大大脑用的是DPTDense Prediction Transformer解码器。关键架构就藏在depth_anything_v2/dpt.py里# depth_anything_v2/dpt.py class DepthAnythingV2(nn.Module): def __init__(self, encodervitl, features256, out_channels[256, 512, 1024, 1024], ...): self.pretrained DINOv2(model_nameencoder) # 骨干视觉大模型 self.depth_head DPTHead(...) # 解码DPT 头 def forward(self, x): # 关键改进①取 DINOv2 的中间层特征而非最后几层 # vits/vitb 取 [2,5,8,11] 层vitl 取 [4,11,17,23] 层 features self.pretrained.get_intermediate_layers( x, self.intermediate_layer_idx[self.encoder], return_class_tokenTrue) depth self.depth_head(features, patch_h, patch_w) # 四层特征级联融合 return depth.squeeze(1)相比 V1 版本V2 做了一个看似微小但很讲究的改动用 DINOv2 的中间层特征而非最后四层来做解码。这就像咨询专家时不只听他最终的结论还要听他推理过程中的草稿细节信息保留得更完整。配合FeatureFusionBlock特征融合模块做多尺度金字塔式上采样小到桌角、大到地平线的细节都能兼顾。四档模型vits/vitb/vitl/vitg的配置也一目了然见run.py中的model_configsmodel_configs { vits: {encoder: vits, features: 64, out_channels: [48, 96, 192, 384]}, vitb: {encoder: vitb, features: 128, out_channels: [96, 192, 384, 768]}, vitl: {encoder: vitl, features: 256, out_channels: [256, 512, 1024, 1024]}, vitg: {encoder: vitg, features: 384, out_channels: [1536, 1536, 1536, 1536]}, }怎么选内存紧张用vits24.8M约 100MB追求精度上vitl335.3M科研发烧友可以蹲vitg1.3B官方标注 Coming soon。快速上手3 步完成单目深度估计环境搭建与首测别被上面这些名词吓到真正跑起来只需要三步全程不超过 3 分钟。第 1 步克隆仓库并安装依赖git clone https://gitcode.com/gh_mirrors/de/Depth-Anything-V2 cd Depth-Anything-V2 pip install -r requirements.txt依赖主要是 PyTorch、OpenCV、Matplotlib 等常规库装完即可。接着在项目根目录新建checkpoints文件夹把对应权重的.pth文件放进去权重文件从模型发布页下载命名规则是depth_anything_v2_{encoder}.pth。第 2 步用官方示例图跑第一条推理python run.py --encoder vitl \ --img-path assets/examples/demo01.jpg \ --outdir depth_vis \ --pred-only参数逐个解释对应run.py源码--encoder vitl选用 Large 档模型也可以换成vits/vitb--img-path支持单张图片、整个目录甚至一个记录图片路径的 txt 文件--pred-only只保存深度图不拼接原图默认输入尺寸--input-size 518想更精细可以调大。预期输出depth_vis/demo01.png一张彩色深度图红近蓝远。你甚至能直接用仓库自带的示例图对比效果比如下面这张城市街道场景第 3 步Python API 集成到自己的代码嫌命令行不够灵活直接调模型接口核心就三行import cv2, torch from depth_anything_v2.dpt import DepthAnythingV2 model DepthAnythingV2(**model_configs[vitl]) # 初始化模型 model.load_state_dict(torch.load(checkpoints/depth_anything_v2_vitl.pth, map_locationcpu)) model model.to(cuda if torch.cuda.is_available() else cpu).eval() raw_img cv2.imread(your/image.jpg) depth model.infer_image(raw_img) # 返回 HxW 的 numpy 深度图值越小越近到这里你已经能用了。但 Depth Anything V2 的价值远不止于此——下面的进阶玩法才是它的真正用武之地。进阶玩法度量深度、点云生成、视频处理与自定义训练玩法一度量深度估计——输出以米为单位的真实距离默认模型输出的是相对深度只有远近关系没有物理单位。如果要做机器人导航、尺寸测量你需要度量深度。仓库在metric_depth/目录下提供了基于 Hypersim室内和 Virtual KITTI 2室外微调的模型用法只多了一个max_depth参数# metric_depth 模块源码见 metric_depth/depth_anything_v2/dpt.py encoder, dataset vitl, hypersim # hypersim室内模型vkitti室外模型 max_depth 20 # 室内用 20 米室外用 80 米 model DepthAnythingV2(**{**model_configs[encoder], max_depth: max_depth}) model.load_state_dict(torch.load(fcheckpoints/depth_anything_v2_metric_{dataset}_{encoder}.pth, map_locationcpu)) depth_meters model.infer_image(raw_img) # 返回的是米可直接换算距离玩法二2D 照片变 3D 点云拿到以米为单位的深度图配合相机内参焦距就能把一张照片变成 3D 点云——这是 AR/VR、室内建模的高频需求# 脚本源码metric_depth/depth_to_pointcloud.py python metric_depth/depth_to_pointcloud.py \ --encoder vitl \ --load-from checkpoints/depth_anything_v2_metric_hypersim_vitl.pth \ --max-depth 20 \ --img-path input.jpg --outdir pointcloud_output输出是.ply点云文件用任何 3D 查看器如 Open3D都能打开直接看到照片里的物体被还原成三维形状。玩法三视频逐帧深度估计run_video.py支持对整个视频逐帧处理输出拼接了深度图的 mp4python run_video.py --encoder vitl \ --video-path assets/examples_video/basketball.mp4 \ --outdir video_depth_vis官方文档特别提示视频场景下大模型vitl的时间一致性更好——相邻帧的深度不会闪烁跳动这点对视频应用至关重要。玩法四自定义训练度量深度模型metric_depth/下有一套完整训练框架数据管线见dataset/hypersim.py、dataset/vkitti2.py损失函数用SiLogLoss尺度不变对数损失支持分布式训练bash dist_train.sh。核心思路加载 V2 预训练骨干 → 冻结部分权重 → 在新数据集上微调回归头。即使你没有标注数据官方也提供了随机裁剪、颜色抖动、几何变换等数据增强手段来兜底。实战案例三大典型场景的量化效果对比案例一复杂室内外场景 vs ZoeDepth用度量深度模型对比传统的 ZoeDepth 基线官方在metric_depth/assets/compare_zoedepth.png中给出了直观结果在结构复杂场景如桥梁、图书馆、堆满杂物的客厅中V2 的深度分层更清晰、物体边界更锐利而 ZoeDepth 在同类区域容易出现深度粘连和模糊。案例二非真实与恶劣场景的鲁棒性单目深度估计的翻车重灾区是动漫、线稿、透明玻璃、水下航拍这类训练数据稀缺的场景。V2 团队专门构建了DA-2K 评估基准见DA-2K.md包含 8 类场景的 1K 张高难度图片和 2K 条成对深度标注靠这个基准V2 把看似不可能的场景也覆盖了动漫人物、玻璃杯反光、雾天街道都能输出合理的深度结构这正是泛化能力最直观的证明。案例三延迟与精度的工程权衡如果你要部署到边缘设备参考这条决策链需要度量深度──是── 室内→hypersim 模型室外→vkitti 模型 └─否── 选相对深度模型 ├─ 移动端/实时 → vits24.8M约60ms ├─ 桌面级均衡 → vitb97.5M约120ms └─ 精度优先 → vitl335.3M约213ms用 vits 可以把单张推理压到30~40ms配合--input-size 384几乎达到视频流实时标准用 vitl 配合--input-size 1024则能获得最精细的细节。两者准确率差距仅约 2 个百分点95.3% vs 97.1%工程上建议先上 vits不够再升级。避坑指南新手最容易踩的 5 个坑Q1加载权重报错 / 维度不匹配A请确认权重文件命名与--encoder参数严格对应如depth_anything_v2_vitl.pth且全部放在checkpoints/目录下。度量模型文件命名带metric_hypersim/metric_vkitti前缀别和相对深度权重混用。Q2推理很慢如何提速A三个手段按性价比排序——① 换vits模型参数只剩 1/13② 把--input-size从 518 降到 384③ 用批处理同时对多张图推理。若追求极致性能社区已有 ONNX / TensorRT 导出方案可参考推理加速部分。Q3深度图边缘糊、细节不够A增大输入尺寸最有效--input-size 1024。代价是显存和延迟上升建议在vitl上使用。Q4处理长视频内存溢出Arun_video.py是逐帧处理的本身内存开销可控若仍不足降低--input-size或改用vitb。官方提示大模型时间一致性更好所以别为了省内存直接用vits处理关键视频。Q5商用许可问题A注意许可证差异——Small 模型是 Apache-2.0可商用Base/Large/Giant 是 CC-BY-NC-4.0非商用。商业化落地前务必核对这条。总结展望深度估计的下一步与你的行动清单Depth Anything V2 的意义在于把单目深度估计从论文里的指标变成了开发者手边的工具它用 DINOv2 骨干保证了泛化用 DPT 解码器守住了细节用四档模型体系覆盖了从手机到服务器的全谱系硬件。社区生态也在快速壮大——Hugging Face Transformers 已官方支持、Apple Core ML 模型可直接部署、还有 TensorRT/ONNX/ComfyUI/Android 等周边项目。后续的 Video Depth Anything超长视频深度和 Prompt Depth AnythingLiDAR 提示下的 4K 度量深度也在持续延伸它的边界。给你的下一步行动别停留在读文章现在就去把上面第 2 步的命令跑一遍——用你手机里随便一张照片替换--img-path亲眼看看自己的照片被翻译成深度图。跑通之后再思考一个问题你的业务里哪些环节需要相对远近哪些需要绝对米数想清楚这个你就知道该用哪套模型了。祝你的第一个深度感知应用早日上线 【免费下载链接】Depth-Anything-V2[NeurIPS 2024] Depth Anything V2. A More Capable Foundation Model for Monocular Depth Estimation项目地址: https://gitcode.com/gh_mirrors/de/Depth-Anything-V2创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 单目深度估计终极实战指南：用 Depth Anything V2 三分钟跑通全场景深度感知
单目深度估计终极实战指南用 Depth Anything V2 三分钟跑通全场景深度感知【免费下载链接】Depth-Anything-V2[NeurIPS 2024] Depth Anything V2. A More Capable Foundation Model for Monocular Depth Estimation项目地址: https://gitcode.com/gh_mirrors/de/Depth-Anything-V2只用一张普通照片就能让电脑看出画面里每个物体的远近——这不是科幻而是单目深度估计Monocular Depth Estimation干的事。Depth Anything V2 是 NeurIPS 2024 发表的开源基础模型它把这项技术从实验室玩具变成了三分钟可上手的工具最轻量的模型只有 24.8M 参数在 GPU 上 60 毫秒出结果精度却比参数大 30 倍的扩散模型还高。本文带你从零跑通它并讲透背后的原理、进阶玩法与实战避坑。痛点切入为什么一张图看出远近会难倒一片开发者先讲个真实场景你想给自己的小应用加一个物体距离测量功能查了一圈方案——双目摄像头要两台设备还得标定LiDAR 激光雷达动辄几千块而单目深度估计呢以前的模型要么在复杂场景下输出一团糊要么推理慢到没法实时要么把动漫、线稿这类非真实图片直接搞崩。你部署了一周效果还是远看像样近看全错。Depth Anything V2 的出现就是为了同时击穿这三个瓶颈泛化能力弱换个场景就失效、推理速度慢秒级延迟扛不住实时应用、细节粗糙物体边缘糊成一片。它用一个统一框架同时做到快、准、稳并且把完整代码开源。下面是它最拿得出手的成绩单模型参数量推理延迟准确率Marigold (LCM)948M5.2s86.8%DepthFM891M2.1s85.8%Ours-Large335M213ms97.1%Ours-Small25M60ms95.3%数据来自论文及仓库 teaser 图请注意最后两行参数量只有对比方案的 1/3 到 1/38速度却快了 10~80 倍准确率反而高出约 10 个百分点。这就是它敢称更强大的基础模型的底气。原理拆解DINOv2 骨干 DPT 解码器凭什么又快又准要理解它为什么强得先搞懂深度估计模型在做什么。你可以把整条流水线想象成一个看图报距离的翻译官骨干网络Encoder相当于翻译官的眼睛负责从像素里提炼语义特征——认出这是桌子、那是窗户、远处是山解码器Decoder相当于翻译官的大脑把高层语义翻译回逐像素的深度数值——给每个像素一个离我多远的答案。Depth Anything V2 的眼睛用的是 Meta 的DINOv2自监督视觉大模型预训练数据规模巨大大脑用的是DPTDense Prediction Transformer解码器。关键架构就藏在depth_anything_v2/dpt.py里# depth_anything_v2/dpt.py class DepthAnythingV2(nn.Module): def __init__(self, encodervitl, features256, out_channels[256, 512, 1024, 1024], ...): self.pretrained DINOv2(model_nameencoder) # 骨干视觉大模型 self.depth_head DPTHead(...) # 解码DPT 头 def forward(self, x): # 关键改进①取 DINOv2 的中间层特征而非最后几层 # vits/vitb 取 [2,5,8,11] 层vitl 取 [4,11,17,23] 层 features self.pretrained.get_intermediate_layers( x, self.intermediate_layer_idx[self.encoder], return_class_tokenTrue) depth self.depth_head(features, patch_h, patch_w) # 四层特征级联融合 return depth.squeeze(1)相比 V1 版本V2 做了一个看似微小但很讲究的改动用 DINOv2 的中间层特征而非最后四层来做解码。这就像咨询专家时不只听他最终的结论还要听他推理过程中的草稿细节信息保留得更完整。配合FeatureFusionBlock特征融合模块做多尺度金字塔式上采样小到桌角、大到地平线的细节都能兼顾。四档模型vits/vitb/vitl/vitg的配置也一目了然见run.py中的model_configsmodel_configs { vits: {encoder: vits, features: 64, out_channels: [48, 96, 192, 384]}, vitb: {encoder: vitb, features: 128, out_channels: [96, 192, 384, 768]}, vitl: {encoder: vitl, features: 256, out_channels: [256, 512, 1024, 1024]}, vitg: {encoder: vitg, features: 384, out_channels: [1536, 1536, 1536, 1536]}, }怎么选内存紧张用vits24.8M约 100MB追求精度上vitl335.3M科研发烧友可以蹲vitg1.3B官方标注 Coming soon。快速上手3 步完成单目深度估计环境搭建与首测别被上面这些名词吓到真正跑起来只需要三步全程不超过 3 分钟。第 1 步克隆仓库并安装依赖git clone https://gitcode.com/gh_mirrors/de/Depth-Anything-V2 cd Depth-Anything-V2 pip install -r requirements.txt依赖主要是 PyTorch、OpenCV、Matplotlib 等常规库装完即可。接着在项目根目录新建checkpoints文件夹把对应权重的.pth文件放进去权重文件从模型发布页下载命名规则是depth_anything_v2_{encoder}.pth。第 2 步用官方示例图跑第一条推理python run.py --encoder vitl \ --img-path assets/examples/demo01.jpg \ --outdir depth_vis \ --pred-only参数逐个解释对应run.py源码--encoder vitl选用 Large 档模型也可以换成vits/vitb--img-path支持单张图片、整个目录甚至一个记录图片路径的 txt 文件--pred-only只保存深度图不拼接原图默认输入尺寸--input-size 518想更精细可以调大。预期输出depth_vis/demo01.png一张彩色深度图红近蓝远。你甚至能直接用仓库自带的示例图对比效果比如下面这张城市街道场景第 3 步Python API 集成到自己的代码嫌命令行不够灵活直接调模型接口核心就三行import cv2, torch from depth_anything_v2.dpt import DepthAnythingV2 model DepthAnythingV2(**model_configs[vitl]) # 初始化模型 model.load_state_dict(torch.load(checkpoints/depth_anything_v2_vitl.pth, map_locationcpu)) model model.to(cuda if torch.cuda.is_available() else cpu).eval() raw_img cv2.imread(your/image.jpg) depth model.infer_image(raw_img) # 返回 HxW 的 numpy 深度图值越小越近到这里你已经能用了。但 Depth Anything V2 的价值远不止于此——下面的进阶玩法才是它的真正用武之地。进阶玩法度量深度、点云生成、视频处理与自定义训练玩法一度量深度估计——输出以米为单位的真实距离默认模型输出的是相对深度只有远近关系没有物理单位。如果要做机器人导航、尺寸测量你需要度量深度。仓库在metric_depth/目录下提供了基于 Hypersim室内和 Virtual KITTI 2室外微调的模型用法只多了一个max_depth参数# metric_depth 模块源码见 metric_depth/depth_anything_v2/dpt.py encoder, dataset vitl, hypersim # hypersim室内模型vkitti室外模型 max_depth 20 # 室内用 20 米室外用 80 米 model DepthAnythingV2(**{**model_configs[encoder], max_depth: max_depth}) model.load_state_dict(torch.load(fcheckpoints/depth_anything_v2_metric_{dataset}_{encoder}.pth, map_locationcpu)) depth_meters model.infer_image(raw_img) # 返回的是米可直接换算距离玩法二2D 照片变 3D 点云拿到以米为单位的深度图配合相机内参焦距就能把一张照片变成 3D 点云——这是 AR/VR、室内建模的高频需求# 脚本源码metric_depth/depth_to_pointcloud.py python metric_depth/depth_to_pointcloud.py \ --encoder vitl \ --load-from checkpoints/depth_anything_v2_metric_hypersim_vitl.pth \ --max-depth 20 \ --img-path input.jpg --outdir pointcloud_output输出是.ply点云文件用任何 3D 查看器如 Open3D都能打开直接看到照片里的物体被还原成三维形状。玩法三视频逐帧深度估计run_video.py支持对整个视频逐帧处理输出拼接了深度图的 mp4python run_video.py --encoder vitl \ --video-path assets/examples_video/basketball.mp4 \ --outdir video_depth_vis官方文档特别提示视频场景下大模型vitl的时间一致性更好——相邻帧的深度不会闪烁跳动这点对视频应用至关重要。玩法四自定义训练度量深度模型metric_depth/下有一套完整训练框架数据管线见dataset/hypersim.py、dataset/vkitti2.py损失函数用SiLogLoss尺度不变对数损失支持分布式训练bash dist_train.sh。核心思路加载 V2 预训练骨干 → 冻结部分权重 → 在新数据集上微调回归头。即使你没有标注数据官方也提供了随机裁剪、颜色抖动、几何变换等数据增强手段来兜底。实战案例三大典型场景的量化效果对比案例一复杂室内外场景 vs ZoeDepth用度量深度模型对比传统的 ZoeDepth 基线官方在metric_depth/assets/compare_zoedepth.png中给出了直观结果在结构复杂场景如桥梁、图书馆、堆满杂物的客厅中V2 的深度分层更清晰、物体边界更锐利而 ZoeDepth 在同类区域容易出现深度粘连和模糊。案例二非真实与恶劣场景的鲁棒性单目深度估计的翻车重灾区是动漫、线稿、透明玻璃、水下航拍这类训练数据稀缺的场景。V2 团队专门构建了DA-2K 评估基准见DA-2K.md包含 8 类场景的 1K 张高难度图片和 2K 条成对深度标注靠这个基准V2 把看似不可能的场景也覆盖了动漫人物、玻璃杯反光、雾天街道都能输出合理的深度结构这正是泛化能力最直观的证明。案例三延迟与精度的工程权衡如果你要部署到边缘设备参考这条决策链需要度量深度──是── 室内→hypersim 模型室外→vkitti 模型 └─否── 选相对深度模型 ├─ 移动端/实时 → vits24.8M约60ms ├─ 桌面级均衡 → vitb97.5M约120ms └─ 精度优先 → vitl335.3M约213ms用 vits 可以把单张推理压到30~40ms配合--input-size 384几乎达到视频流实时标准用 vitl 配合--input-size 1024则能获得最精细的细节。两者准确率差距仅约 2 个百分点95.3% vs 97.1%工程上建议先上 vits不够再升级。避坑指南新手最容易踩的 5 个坑Q1加载权重报错 / 维度不匹配A请确认权重文件命名与--encoder参数严格对应如depth_anything_v2_vitl.pth且全部放在checkpoints/目录下。度量模型文件命名带metric_hypersim/metric_vkitti前缀别和相对深度权重混用。Q2推理很慢如何提速A三个手段按性价比排序——① 换vits模型参数只剩 1/13② 把--input-size从 518 降到 384③ 用批处理同时对多张图推理。若追求极致性能社区已有 ONNX / TensorRT 导出方案可参考推理加速部分。Q3深度图边缘糊、细节不够A增大输入尺寸最有效--input-size 1024。代价是显存和延迟上升建议在vitl上使用。Q4处理长视频内存溢出Arun_video.py是逐帧处理的本身内存开销可控若仍不足降低--input-size或改用vitb。官方提示大模型时间一致性更好所以别为了省内存直接用vits处理关键视频。Q5商用许可问题A注意许可证差异——Small 模型是 Apache-2.0可商用Base/Large/Giant 是 CC-BY-NC-4.0非商用。商业化落地前务必核对这条。总结展望深度估计的下一步与你的行动清单Depth Anything V2 的意义在于把单目深度估计从论文里的指标变成了开发者手边的工具它用 DINOv2 骨干保证了泛化用 DPT 解码器守住了细节用四档模型体系覆盖了从手机到服务器的全谱系硬件。社区生态也在快速壮大——Hugging Face Transformers 已官方支持、Apple Core ML 模型可直接部署、还有 TensorRT/ONNX/ComfyUI/Android 等周边项目。后续的 Video Depth Anything超长视频深度和 Prompt Depth AnythingLiDAR 提示下的 4K 度量深度也在持续延伸它的边界。给你的下一步行动别停留在读文章现在就去把上面第 2 步的命令跑一遍——用你手机里随便一张照片替换--img-path亲眼看看自己的照片被翻译成深度图。跑通之后再思考一个问题你的业务里哪些环节需要相对远近哪些需要绝对米数想清楚这个你就知道该用哪套模型了。祝你的第一个深度感知应用早日上线 【免费下载链接】Depth-Anything-V2[NeurIPS 2024] Depth Anything V2. A More Capable Foundation Model for Monocular Depth Estimation项目地址: https://gitcode.com/gh_mirrors/de/Depth-Anything-V2创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考