用 MASt3R 与 DUSt3R 快速实现精准 3D 重建从零到实战的完整指南【免费下载链接】mast3rGrounding Image Matching in 3D with MASt3R项目地址: https://gitcode.com/GitHub_Trending/ma/mast3r你在一栋楼前拍了八张不同角度的照片想还原它的三维形态传统多视图立体重建流程却要手动配光机参数、提特征点、跑通整条视差法链配置繁琐还容易出错。MASt3R 与 DUSt3R 把 3D 重建变成一条命令的事输入照片输出点云。下面用 10 分钟带你跑起来再讲它为什么准最后列出常见坑。MASt3R 与 DUSt3R 各解决什么问题跑起来之前先弄清楚两个工具各管什么它们是两套定位不同的 3D 重建工具DUSt3R 管深度丢给它同一物体的几张照片直接输出 3D 点云和深度还附带不确定性量化——每个点都标了置信度模型会告诉你哪些地方它拿不准。不需要标定相机也不需要提取特征点。MASt3R 管匹配它不像传统特征匹配那样只在 2D 平面上找两个长得像的点而是把匹配建立在 3D 几何之上——两张图之间的对应点本身就是空间里的点。两者配合构成端到端 3D 重建 pipelineDUSt3R 的重建结果可以直接作为 MASt3R 的输入从照片到点云不用手工串中间环节。游乐场、雕塑、鸟居等多个场景的匹配线与 3D 点云重建结果彩色线条表示两张图像间找到的特征对应10 分钟跑起来安装与环境环境要求不高三行说完Python 3.11、PyTorch 2.0建议带 CUDA 的版本、一张显存 8GB 以上的 GPU。第一步克隆仓库并装好依赖。--recursive不能少仓库里带了一个 dust3r 子模块git clone --recursive https://link.gitcode.com/i/96d3ead452ac1ed9d68acbcadda623ee cd mast3r conda create -n mast3r python3.11 cmake3.14.0 -y conda activate mast3r pip install -r requirements.txt -r dust3r/requirements.txt第二步下载预训练模型权重。没有 checkpoint 模型没法推理这是很多人第一次跑通时漏掉的一步mkdir -p checkpoints/ wget https://download.europe.naverlabs.com/ComputerVision/MASt3R/MASt3R_ViTLarge_BaseDecoder_512_catmlpdpt_metric.pth -P checkpoints/可选步骤编译 asmk 组件。只有用检索配对接自动从大批照片里挑相关图像对才需要首次体验可以跳过。第一次重建交互式 Demo 体验现在到最爽的部分运行官方 Demopython3 demo.py --model_name MASt3R_ViTLarge_BaseDecoder_512_catmlpdpt_metric命令跑起来后浏览器打开 http://localhost:7860 界面长这样Demo 界面上传一组照片、点击 Run下方即可旋转查看带相机位姿标记的 3D 场景模型体验流程很简单上传一组你自己的照片仓库里 assets/NLE_tower/ 目录下就有一组现成的塔楼照片点 Run界面先给出图像之间的彩色匹配线再生成可拖拽旋转的 3D 点云。如果点云里有飘散的噪点把 min_conf_thr 调高就能过滤掉低置信度的点。原理速览它为什么准先看架构总览整个流程就是四步MASt3R 架构两张图分别经过 ViT 编码器与 Transformer 解码器输出点云、置信度和局部特征再经 Fast NN 完成几何匹配两张图各自过ViT 编码器——把图片切成小块送进深层网络提取特征相当于让模型看懂图像内容。解码器输出三样东西3D 点云、置信度、局部特征。点云告诉你每个像素离镜头多远置信度告诉你这个点可不可信。Fast NN 匹配——给每张图的每个像素在另一张图里找最像的对应点图像匹配在这一步完成。最后加一层3D 几何约束只保留在三维空间里几何一致的匹配把重复纹理、光照变化造成的错配剔掉。这正是它和传统匹配的本质区别不是先在 2D 找相似、再反推 3D而是一开始就在 3D 空间里锚定对应点匹配结果天然几何正确。进阶玩法两个真实场景跑顺之后有两个直接可用的真实场景。第一个是 DUNEMASt3R换上更强的 DUNE 预训练编码器适合光照复杂、视角变化大的户外场景python3 demo_dust3r_ga.py --weights checkpoints/dunemast3r_cvpr25_vitbase.pth --image_size 518 python3 visloc.py --model_name MASt3R_ViTLarge_BaseDecoder_512_catmlpdpt_metric --dataset VislocAachenDayNight(/path/to/Aachen-Day-Night-v1.1/, subsceneday) --output_dir ./visloc_results第二行是视觉定位脚本 visloc.py手里有一个已知场景的图像库如 Aachen 校园数据集时用一张查询照片就能解出相机在该场景中的位姿AR 和机器人定位常用这套方案。常见坑与最佳实践显存不够先调小批处理大小visloc 有--max_batch_size仍 OOM 可以临时--device cpu验证流程只是慢。checkpoint 路径权重没放在checkpoints/下时用--weights指向本地路径模型名必须和权重对得上否则会尝试去 HuggingFace 重新下载。CUDA 版本不匹配conda 装的pytorch-cuda版本要和 GPU 驱动匹配报 driver 不兼容错误时重装对应 CUDA 版本的 PyTorch 基本能解决。asmk 编译失败只有检索配对接依赖它cythonize 报错时先确认 Python 版本是否满足要求。MASt3R 把图像匹配做成了 3D 问题DUSt3R 把 3D 重建做成了喂照片出点云的黑盒两者合起来足以覆盖大多数入门级的 3D 重建需求。上手成本极低装好依赖、下载权重10 分钟就能拿到可展示的结果。建议的下一步随手拍一个桌面物件的十张照片跑一遍 Demo再把置信度阈值从 1 调到 3对比点云质量的变化亲手感受一次置信度在 3D 重建里意味着什么。官方代码库mast3r MASt3R 论文Grounding Image Matching in 3D with MASt3R (arXiv:2406.09756) DUSt3R 论文DUSt3R: Geometric 3D Vision Made Easy (arXiv:2312.14132)【免费下载链接】mast3rGrounding Image Matching in 3D with MASt3R项目地址: https://gitcode.com/GitHub_Trending/ma/mast3r创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 用 MASt3R 与 DUSt3R 快速实现精准 3D 重建：从零到实战的完整指南
用 MASt3R 与 DUSt3R 快速实现精准 3D 重建从零到实战的完整指南【免费下载链接】mast3rGrounding Image Matching in 3D with MASt3R项目地址: https://gitcode.com/GitHub_Trending/ma/mast3r你在一栋楼前拍了八张不同角度的照片想还原它的三维形态传统多视图立体重建流程却要手动配光机参数、提特征点、跑通整条视差法链配置繁琐还容易出错。MASt3R 与 DUSt3R 把 3D 重建变成一条命令的事输入照片输出点云。下面用 10 分钟带你跑起来再讲它为什么准最后列出常见坑。MASt3R 与 DUSt3R 各解决什么问题跑起来之前先弄清楚两个工具各管什么它们是两套定位不同的 3D 重建工具DUSt3R 管深度丢给它同一物体的几张照片直接输出 3D 点云和深度还附带不确定性量化——每个点都标了置信度模型会告诉你哪些地方它拿不准。不需要标定相机也不需要提取特征点。MASt3R 管匹配它不像传统特征匹配那样只在 2D 平面上找两个长得像的点而是把匹配建立在 3D 几何之上——两张图之间的对应点本身就是空间里的点。两者配合构成端到端 3D 重建 pipelineDUSt3R 的重建结果可以直接作为 MASt3R 的输入从照片到点云不用手工串中间环节。游乐场、雕塑、鸟居等多个场景的匹配线与 3D 点云重建结果彩色线条表示两张图像间找到的特征对应10 分钟跑起来安装与环境环境要求不高三行说完Python 3.11、PyTorch 2.0建议带 CUDA 的版本、一张显存 8GB 以上的 GPU。第一步克隆仓库并装好依赖。--recursive不能少仓库里带了一个 dust3r 子模块git clone --recursive https://link.gitcode.com/i/96d3ead452ac1ed9d68acbcadda623ee cd mast3r conda create -n mast3r python3.11 cmake3.14.0 -y conda activate mast3r pip install -r requirements.txt -r dust3r/requirements.txt第二步下载预训练模型权重。没有 checkpoint 模型没法推理这是很多人第一次跑通时漏掉的一步mkdir -p checkpoints/ wget https://download.europe.naverlabs.com/ComputerVision/MASt3R/MASt3R_ViTLarge_BaseDecoder_512_catmlpdpt_metric.pth -P checkpoints/可选步骤编译 asmk 组件。只有用检索配对接自动从大批照片里挑相关图像对才需要首次体验可以跳过。第一次重建交互式 Demo 体验现在到最爽的部分运行官方 Demopython3 demo.py --model_name MASt3R_ViTLarge_BaseDecoder_512_catmlpdpt_metric命令跑起来后浏览器打开 http://localhost:7860 界面长这样Demo 界面上传一组照片、点击 Run下方即可旋转查看带相机位姿标记的 3D 场景模型体验流程很简单上传一组你自己的照片仓库里 assets/NLE_tower/ 目录下就有一组现成的塔楼照片点 Run界面先给出图像之间的彩色匹配线再生成可拖拽旋转的 3D 点云。如果点云里有飘散的噪点把 min_conf_thr 调高就能过滤掉低置信度的点。原理速览它为什么准先看架构总览整个流程就是四步MASt3R 架构两张图分别经过 ViT 编码器与 Transformer 解码器输出点云、置信度和局部特征再经 Fast NN 完成几何匹配两张图各自过ViT 编码器——把图片切成小块送进深层网络提取特征相当于让模型看懂图像内容。解码器输出三样东西3D 点云、置信度、局部特征。点云告诉你每个像素离镜头多远置信度告诉你这个点可不可信。Fast NN 匹配——给每张图的每个像素在另一张图里找最像的对应点图像匹配在这一步完成。最后加一层3D 几何约束只保留在三维空间里几何一致的匹配把重复纹理、光照变化造成的错配剔掉。这正是它和传统匹配的本质区别不是先在 2D 找相似、再反推 3D而是一开始就在 3D 空间里锚定对应点匹配结果天然几何正确。进阶玩法两个真实场景跑顺之后有两个直接可用的真实场景。第一个是 DUNEMASt3R换上更强的 DUNE 预训练编码器适合光照复杂、视角变化大的户外场景python3 demo_dust3r_ga.py --weights checkpoints/dunemast3r_cvpr25_vitbase.pth --image_size 518 python3 visloc.py --model_name MASt3R_ViTLarge_BaseDecoder_512_catmlpdpt_metric --dataset VislocAachenDayNight(/path/to/Aachen-Day-Night-v1.1/, subsceneday) --output_dir ./visloc_results第二行是视觉定位脚本 visloc.py手里有一个已知场景的图像库如 Aachen 校园数据集时用一张查询照片就能解出相机在该场景中的位姿AR 和机器人定位常用这套方案。常见坑与最佳实践显存不够先调小批处理大小visloc 有--max_batch_size仍 OOM 可以临时--device cpu验证流程只是慢。checkpoint 路径权重没放在checkpoints/下时用--weights指向本地路径模型名必须和权重对得上否则会尝试去 HuggingFace 重新下载。CUDA 版本不匹配conda 装的pytorch-cuda版本要和 GPU 驱动匹配报 driver 不兼容错误时重装对应 CUDA 版本的 PyTorch 基本能解决。asmk 编译失败只有检索配对接依赖它cythonize 报错时先确认 Python 版本是否满足要求。MASt3R 把图像匹配做成了 3D 问题DUSt3R 把 3D 重建做成了喂照片出点云的黑盒两者合起来足以覆盖大多数入门级的 3D 重建需求。上手成本极低装好依赖、下载权重10 分钟就能拿到可展示的结果。建议的下一步随手拍一个桌面物件的十张照片跑一遍 Demo再把置信度阈值从 1 调到 3对比点云质量的变化亲手感受一次置信度在 3D 重建里意味着什么。官方代码库mast3r MASt3R 论文Grounding Image Matching in 3D with MASt3R (arXiv:2406.09756) DUSt3R 论文DUSt3R: Geometric 3D Vision Made Easy (arXiv:2312.14132)【免费下载链接】mast3rGrounding Image Matching in 3D with MASt3R项目地址: https://gitcode.com/GitHub_Trending/ma/mast3r创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考