这次看一个和建筑行业结合很深的 AI 项目HomeCat。项目标题写得非常直白——用手机拍一段视频喂给工具输出一份可用于报批的建筑图纸permit-ready building plans。“permit-ready”这个词是重点。它意味着项目目标不是生成一张“看起来像户型图”的示意图而是希望输出能进入建筑许可申请流程的图纸材料。如果这个目标能稳定落地HomeCat 的价值就不只是“AI 玩玩”而是直接介入建筑、室内设计、地产勘察、房屋改造这些真实业务。不过要注意目前公开材料里关于算法细节、训练数据、支持格式的信息还比较少。所以这篇文章会做两件事第一把 HomeCat 这类“视频 → 图纸”工具的核心能力和技术链路拆开讲第二给出一套即使项目本身还没开源、也可以用来评估和验证同类工具的通用流程。如果你对 AI 三维重建、建筑图纸自动生成、批量任务和接口调用感兴趣下面这套内容可以直接收藏。1. 核心能力速览先把 HomeCat 的定位和关键能力整理成一张表。因为部分细节需要以实际项目文档为准表格里会用“需实测”标注。能力项说明项目定位将手机拍摄视频转换为可报批的建筑图纸/平面图输入形式手机环绕或内部扫描视频预期输出建筑平面图、墙体/门窗结构、尺寸标注、CAD 可导入文件核心链路视频抽帧 → 三维重建 → 语义识别 → 矢量结构化 → 图纸导出技术方向视觉三维重建、结构语义识别、CAD/DXF/PDF 导出硬件门槛建议 NVIDIA GPU显存需按实际模型测试CPU 推理不确定需按项目说明确认API 接口不确定需按项目说明确认通用调用模板见下文批量任务不确定需按项目说明确认建议走目录批处理适合场景房屋勘察、改造前记录、报批草案、室内建模辅助从项目的描述看HomeCat 最核心的难点不是“能不能建模”而是“输出能不能直接进入报批流程”。报批图纸在现实里有一套非常严格的规范尺寸标注、比例、图层、墙体类型、门窗编号、房间功能、面积表、出入口和疏散关系甚至不同城市还有不同的报建格式。AI 能生成“像图纸的东西”是一回事能生成“图纸管理员愿意收的东西”是另一回事。所以评估这类项目的时候不要只看演示视频里的模型转得多顺滑。真正该关注的是导出文件打开后CAD 图层是否规范、尺寸标注是否可编辑、墙体是否闭合、门窗是否能被设计软件识别。2. 视频到图纸的工作流程与关键技术点HomeCat 这类工具的背后是一套典型的“视觉重建 语义理解 结构化表达”流程。下面按技术节点拆开讲方便你理解它在处理手机视频时到底做了什么。2.1 视频采集与抽帧输入是手机拍的一段视频。无论是绕房间走一圈还是从不同角度扫拍算法都需要从连续帧里提取可用的视觉信息。常见做法是每隔固定帧数抽帧再做质量筛选把模糊帧、过曝帧、重复度过高的帧丢掉。这一步决定了重建上限。如果视频本身拍得断断续续、光线混乱、画面大量运动模糊后续重建的误差会被放大。2.2 特征点提取与相机位姿估计抽帧之后算法会在图像之间找匹配的特征点估算每一帧拍摄时的相机位置和朝向。这一步相当于还原“手机在三维空间里是怎么移动的”。常见的底层技术包括 SIFT/ORB 特征、多视角几何、Bundle Adjustment 等。对室内场景来说纹理太少、重复纹理太多、纯白墙面占比过高都会导致位姿估计漂移。2.3 稠密三维重建得到相机位姿后算法会生成稠密的点云或网格模型。这一步需要较大的显存和算力。更现代的方法会用神经辐射场NeRF或高斯泼溅Gaussian Splatting类技术生成更平滑的表面同时更好地处理反射和光照变化。不过神经类方法对训练时间和显存占用要求更高实际落地时经常需要做降采样。2.4 建筑结构语义识别三维重建只是得到一个“几何模型”距离图纸还差得远。下一步是从点云或网格里识别出建筑元素地面、墙面、天花板、门窗洞口、楼梯、承重柱。这个过程往往依赖语义分割模型把点云按类别分类。这里会遇到一个常见问题家具、杂物、装饰品会干扰识别所以工具必须能区分建筑结构和非结构物体。2.5 矢量结构化与图纸导出识别出墙体、门窗之后算法要把连续的“几何面”转成图纸里的“矢量线”。墙面变成双线、门窗变成图例、房间标注面积最后按模板输出。输出格式一般包括 PDF、DXF、DWG 或 SVG。如果导出的是 DXF至少要做到线条闭合、图层命名规范、尺寸标注可编辑否则拿到 CAD 里基本没法二次加工。2.6 尺寸精度与报批校验图纸能不能用于报批核心是尺寸精度。手机视频重建没有激光雷达作为绝对参考通常只能做到“相对尺度准确绝对尺度有误差”。所以靠谱流程里必须有尺寸校准步骤用户手动指定一段真实距离比如某扇门的宽度是 0.9 米算法用这个基准重新标定整体比例。这一步做得好的工具才真正配得上 permit-ready 这个说法。3. 适用场景与使用边界这一节必须泼一点冷水。HomeCat 这类工具非常诱人但使用边界也很明确。3.1 适合什么场景房屋改造前快速记录把旧房现状拍下来生成基础平面图方便初步沟通方案。现场勘察辅助设计师或验房师在现场快速生成草稿回来后基于图纸细化。报批草案在正式报批前先生成一份结构完整的草案节省人工测量和画图时间。室内设计与建模上游为室内设计流程提供可导入 CAD 的底层基础。房屋租赁与保险档案把房屋现状结构化存档比视频和照片更方便检索。3.2 不适合什么场景正式施工图结构配筋、管线综合、防火分区这些内容AI 图纸替代不了工程师设计。需要绝对尺寸精度的场景光靠手机视频很难满足全站仪级别的精度要求。完全无人审核的自动化报批建筑规范存在明显地域差异同一个户型在不同城市报批要求都不一样。3.3 合规与安全边界房产、建筑数据一般都涉及隐私和商业秘密。用一套上传云端处理的工具意味着户型、室内结构、外观特征都会经过第三方服务器。使用前必须确认数据处理方式是否符合当地隐私法规。是否可以对包含人脸、门牌号、窗外街景的视频做脱敏处理。项目输出的图纸是否需要在资质单位完成审核和签章。涉及商业建模、历史保护建筑、他人产权房屋时是否已取得合法授权。尤其要注意无论 AI 输出多完整的图纸建筑报批通常都要求有资质的设计方或注册建筑师进行复核、修改、签字。AI 是效率工具不是资质主体。4. 本地部署环境准备如果 HomeCat 最终开源或提供本地部署包建议先确认下面这套通用环境清单。没有说明书中特定版本时先按通用环境准备再按实际项目调整。4.1 操作系统与硬件系统Windows 10/11、Ubuntu 20.04/22.04、macOS 均可但三维重建类任务优先 Linux 或 Windows。GPUNVIDIA 显卡优先显存建议 8GB 起步12GB 或以上更稳妥。内存16GB 起步大规模点云处理建议 32GB 以上。磁盘SSD 预留 20GB 以上空间模型文件和解压后权重通常不小。4.2 基础依赖以 Python 生态为例视频处理和深度学习项目通常会用到# 通用依赖安装示例实际版本以项目 requirements 为准 conda create -n homecat python3.10 conda activate homecat pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 pip install opencv-python numpy pillow tqdm pip install ffmpeg-python视频解码依靠 FFmpeg必须先装好# Ubuntu 示例 sudo apt update sudo apt install ffmpegWindows 用户建议直接安装 FFmpeg 并加入系统 PATH。4.3 验证环境是否可用安装完成后先跑一个小脚本确认视频读取和 GPU 状态import torch import cv2 print(CUDA available:, torch.cuda.is_available()) print(GPU name:, torch.cuda.get_device_name(0) if torch.cuda.is_available() else CPU) cap cv2.VideoCapture(test_video.mp4) print(Video opened:, cap.isOpened())这里能跑通说明视频输入和深度学习框架环境基本没问题。5. 安装部署与启动方式这里按常见的开源项目结构给出一套通用启动流程。HomeCat 的具体命令如果有差异以实际 README 为准但大体思路一致克隆代码、安装依赖、放置模型文件、启动服务。5.1 克隆项目并安装依赖git clone https://github.com/your-org/homecat.git cd homecat pip install -r requirements.txt如果项目提供环境配置文件conda env create -f environment.yml conda activate homecat5.2 下载模型权重三维重建和语义分割模型一般需要单独下载权重。常见的做法是# 示例把权重放在模型目录下 mkdir -p models/checkpoints # 将下载好的权重文件放到 models/checkpoints/注意不要直接把 Hugging Face 上下载链接当命令硬写。下载地址要以项目 README 或 release 页面为准。5.3 命令行启动服务如果是 WebUI 或 API 服务常见启动方式如下python app.py --host 127.0.0.1 --port 7860这里的端口只是一个通用模板。真实端口请查看项目配置。5.4 Docker 启动如果项目提供 Dockerfile推荐用 Docker 隔离环境docker build -t homecat . docker run --gpus all -p 7860:7860 -v $PWD/data:/app/data homecat映射 GPU 参数在不同平台上有差异例如 Windows 需要确认 Docker 是否开启了 WSL 2 GPU 支持。启动后浏览器打开http://127.0.0.1:7860能看到界面说明服务已经跑起来。6. 功能测试与效果验证启动成功只是第一步。真正要验证的是一段手机视频进去图纸出来质量能不能用。下面是针对视频 → 图纸类工具的功能测试清单也适用于 HomeCat。6.1 基础测试视频输入到平面图输出测试目的确认完整链路能跑通。输入素材建议用手机拍一段室内视频长度约 1 到 2 分钟。从门口开始沿墙缓慢走动保持画面稳定。覆盖每个房间的四面墙回到原点。避免镜头前频繁出现人。光线充足不要逆光。操作步骤将视频放到项目的inputs目录。调用生成接口或在 WebUI 上传。等待处理后导出结果。预期结果得到一份平面图 PDF 或 DXF能看到墙体、门窗和房间划分。判断标准墙体是否闭合房间是否可识别。门窗是否出现在合理位置。图纸是否带尺寸标注。导出的 DXF 能否在 CAD 软件中正常打开。常见失败原因视频有大量运动模糊。房间内家具遮挡太多。预处理阶段没有开启“忽略动态物体”选项。6.2 尺寸校准测试测试目的验证绝对尺寸是否可靠。操作步骤先用卷尺测量一扇门的实际宽度。在工具中输入该门的实际宽度作为校准基准。重新生成图纸。在图纸上量取另一段墙面长度和真实卷尺数据对比。判断标准如果误差在 3% 以内可以认为该工具具备初步报批草案的尺寸能力。如果误差在 5% 以上不建议直接用于报批需要人工修正。6.3 复杂场景测试测试目的验证工具在非理想环境下的稳定性。建议测试三类场景无家具的空房间容易重建检验结构语义识别。有大量家具和杂物的房间测试家具滤除能力。深色墙面和反光地面测试光照鲁棒性。预期结果即使中间有干扰输出图纸中仍能保留正确的墙体和门窗位置。判断标准如果杂物被误识别为墙体说明语义分割模型需要进一步调优或更换权重。6.4 导出文件兼容性测试测试目的确认输出文件不只是“图片”而是可编辑的矢量图纸。操作步骤将导出的 DXF 文件导入 AutoCAD、BricsCAD 或 LibreCAD。尝试选中墙体线、修改门的位置、修改房间标注。预期结果线条是独立图元图层可管理文字可编辑。判断标准无法选择单个线条说明导出内容可能只是位图嵌入。图层混乱说明图纸可维护性较差。文件尺寸异常巨大说明线条冗余度过高。7. 接口 API 与批量任务如果 HomeCat 后续提供 API 服务工程化接入是让它进入业务流程的关键。7.1 先确认接口能力拿到项目文档后优先确认以下接口问题是否支持通过 URL 提交视频。是否支持上传本地文件。任务是否异步处理有没有回调机制。结果文件以什么格式返回。是否支持批量目录自动处理。是否需要 API Key 鉴权。7.2 通用 API 调用示例下面是一个通用的异步任务轮询模板可以在没有实际接口文档时先搭出框架按需修改 URL 和参数import requests import time # 这里替换为 HomeCat 实际接口地址 API_URL http://127.0.0.1:7860/api/generate STATUS_URL http://127.0.0.1:7860/api/task/status payload { video_path: ./inputs/room_01.mp4, calibration: { reference_length_m: 0.9, reference_entity: door_width }, output_format: [dxf, pdf] } response requests.post(API_URL, jsonpayload, timeout30) print(response.json()) # 假设返回结构中有 task_id 字段实际字段名以文档为准 task_id response.json().get(task_id) for _ in range(60): time.sleep(5) status_resp requests.get(STATUS_URL, params{task_id: task_id}, timeout10) status status_resp.json() print(status:, status) if status.get(state) completed: print(result:, status) break elif status.get(state) failed: print(error:, status.get(error)) break如果项目返回的是同步结果直接拿到输出文件即可。7.3 批量任务设计如果工具不支持批量可以自己写一个外层的批量调度脚本思路是按目录遍历视频逐个提交任务并记录成功和失败状态# 目录预期结构 ./inputs/room_01.mp4 ./inputs/room_02.mp4 ./outputs/ ./logs/批量调度逻辑建议包括任务列表、失败重试、超时设置、日志记录。import os import json import subprocess INPUT_DIR ./inputs OUTPUT_DIR ./outputs LOG_DIR ./logs tasks [] for video in os.listdir(INPUT_DIR): if not video.endswith(.mp4): continue tasks.append({ input: os.path.join(INPUT_DIR, video), output: os.path.join(OUTPUT_DIR, video.replace(.mp4, .dxf)) }) results [] for task in tasks: try: # 替换为 HomeCat 实际调用命令 subprocess.run([ python, run_homecat.py, --input, task[input], --output, task[output] ], checkTrue) results.append({input: task[input], status: success}) except subprocess.CalledProcessError as exc: results.append({input: task[input], status: failed, error: str(exc)}) with open(os.path.join(LOG_DIR, batch_result.json), w, encodingutf-8) as f: json.dump(results, f, ensure_asciiFalse, indent2)批量任务里最容易踩的坑是单条任务卡死导致整个调度停住所以每条任务都应该有超时控制失败后记录日志跳过继续跑下一条。8. 资源占用与性能观察视频 → 图纸这个链路对资源的消耗集中在两个阶段三维重建和语义分割/图优化。8.1 显存占用怎么观察不用盲信别人报的数字。同一段视频分辨率、帧数、重建算法、是否开启高精度模式都会让显存占用差出好几倍。建议自己在任务运行过程中实时观察。Windows 下可以用任务管理器看 GPU 显存任务管理器 → 性能 → GPULinux 下用 nvidia-smiwatch -n 1 nvidia-smi同时注意这两个指标GPU 显存占用重建阶段通常最高。GPU 利用率如果利用率上不去但显存占满可能是显存容量成为瓶颈。内存占用点云和网格数据在 CPU 内存里也会占很大空间。8.2 CPU 推理与 GPU 推理的差异如果工具支持 CPU 推理可以用下面这类命令做对比实验# GPU 模式 python run_homecat.py --input video.mp4 --device cuda # CPU 模式 python run_homecat.py --input video.mp4 --device cpu对比维度包括单任务耗时、峰值显存、输出质量是否一致。实际经验是CPU 可以跑但速度会慢非常多。如果只是偶尔处理一两段视频CPU 能用如果要做批量任务没有 GPU 会痛苦到怀疑人生。8.3 哪些参数影响资源消耗抽帧密度每秒抽 1 帧还是 5 帧直接决定输入量。重建分辨率点云密度越高越吃显存。视频时长越长累计开销越大可能触发内存溢出。输出格式多格式导出会额外消耗 CPU 时间和磁盘空间。批量并发数并发处理多个任务时显存会被快速占满。8.4 降低资源占用的思路先把视频压缩到 720p 或 1080p再送入重建。降低抽帧频率比如从每秒 5 帧降到每秒 2 帧。关闭一些与报批无关的可选集比如生成高精度纹理。分批处理一段视频跑完释放显存再跑下一段。9. 常见问题与排查方法这里按本地部署和功能验证中高频出现的问题做一张排查表。问题现象可能原因排查方式解决方案启动后页面打不开端口被占用或服务未启动检查终端日志查看端口监听更换端口或重启服务视频上传后无反应视频编码不兼容用 FFmpeg 检查格式转码为 H.264 编码的 MP4重建结果严重变形相机位姿估计失败观察中间特征点匹配数量重新拍摄避免快速移动镜头图纸里多出杂物轮廓家具滤除效果差检查语义分割类别结果清理现场或增强训练数据导出 DXF 打不开导出功能缺失或版本不兼容尝试用不同 CAD 软件打开改为导出 PDF/SVG 再转换提示显存不足分辨率或模型过大nvidia-smi 查看其他进程占用降低重建分辨率关闭多余程序批量任务中途卡住单条任务无超时查看日志定位卡住任务增加超时与失败重试机制尺寸和真实值差距大未做绝对尺寸校准对比门宽和墙长输入基准尺寸重新生成API 请求超时任务处理时间超过 HTTP 超时查看服务端日志改为异步接口轮询任务状态CPU 模式速度极慢重建算法未优化 CPU查看 CPU 占用率使用 GPU或缩小输入素材体积10. 最佳实践与使用建议最后给一套工程化建议。无论你是在评估 HomeCat还是准备把这类工具接入实际业务都可以直接套用。10.1 先把“最小可运行流程”跑通第一次使用不要一上来就处理复杂户型。找一套简单的单间公寓拍一段 1 分钟左右的视频先跑通完整链路确认输出文件能打开、能编辑再逐步扩大测试范围。10.2 拍摄质量决定结果上限工具再强也很难从模糊素材里恢复准确结构。拍摄时注意光线稳定、避免过曝、行走匀速、镜头不要频繁大幅旋转、尽量覆盖所有结构面。宁可多拍一段也不要漏墙。10.3 输出与中间文件分目录管理建议采用这样的目录结构project/ ├── inputs/ # 原始视频 ├── frames/ # 抽帧结果 ├── reconstruction/ # 中间点云或网格 ├── outputs/ # 最终图纸 └── logs/ # 任务日志分目录管理的好处是批量任务出问题时能快速定位是哪一步失败。10.4 批量任务必须加日志和失败重试批量处理的稳定性比速度更重要。每个任务都要记录输入文件、状态、错误信息、处理耗时。失败任务第一次先保留现场不要立刻自动重试覆盖日志。10.5 接口服务要限制访问范围如果对局域网开放 API务必绑定固定 IP 或内网地址不要让接口暴露在公网。涉及隐私数据的服务建议加上鉴权和请求频率限制必要时把所有输入输出文件加密存储。10.6 人工复核是不可或缺的一环AI 生成的图纸可以做草案、做辅助、做档案但它不是签字盖章的依据。正式报批前必须由具备资质的人员进行复核确认结构安全性、规范符合性和尺寸准确性。这既是行业规则也是法律底线。10.7 涉及人像、声音、版权素材时先确认授权虽然 HomeCat 处理的是建筑场景视频但视频拍摄过程中很容易带入人物、车牌、门店招牌等敏感信息。如果素材要用于商业项目或对外发布先做脱敏处理再确认所有出镜元素都已获得授权。无论工具定位多垂直这条边界不能破。下一步怎么验证如果你已经拿到 HomeCat 的可运行版本建议按这个顺序验证第一步跑通基础链路视频进、图纸出。 第二步做尺寸校准测试记录误差。 第三步把输出 DXF 导入 CAD检查可编辑性。 第四步准备 3 到 5 段不同场景的视频评估稳定性。 第五步如果涉及批量接入再写调度脚本做小规模批量测试。最容易踩的坑还是那几个视频拍得太随意尺寸没有校准导出文件不支持二次编辑。把这三关过了这个工具的可用性基本就有结论了。