原文链接https://arxiv.org/pdf/2509.20414项目链接https://scene-weaver.github.io/发表NeurIPS-2025摘要随着具身智能的快速发展室内场景合成的研究价值日益凸显——具身智能所需的3D环境不仅要具备视觉真实感还需满足物理合理性与功能多样性。尽管现有方法已在视觉保真度上取得长足进步但普遍存在场景类别固定、物体级细节不足、物理一致性欠缺的问题且难以精准适配复杂的用户指令。本文提出SCENEWEAVER这是一套具备自反思能力的智能体框架通过「工具化迭代优化」的思路融合了多元场景合成范式的优势。其核心是基于大语言模型的规划器它先对生成场景的物理合理性、视觉真实度以及与用户输入的语义匹配度进行自评估再以此为决策依据从可扩展的场景生成工具库中选取适配工具工具类型覆盖数据驱动生成模型、视觉方法与大语言模型方法等。这种「推理-执行-反思」的闭环设计让智能体能够自主识别语义偏差、调用针对性工具并在多轮迭代中持续优化场景。在常规房间类型与开放词汇房间类型上开展的充分实验表明SCENEWEAVER不仅在物理、视觉、语义三类指标上全面超越现有方法还能有效泛化至带有多样化指令的复杂场景为通用型3D环境生成的发展迈出了关键一步。一、方法框架总览SCENEWEAVER是首个面向3D室内场景合成的自反思智能体框架核心设计是「统一工具接口 闭环迭代优化」。它打破了单一3D生成方法的能力局限将现有各类场景合成算法封装为标准化、可插拔的工具模块由大语言模型驱动的规划器遵循**推理-执行-反思Reason-Act-Reflect**的闭环范式动态选择工具迭代打磨场景再通过物理感知执行器保障场景的物理合理性最终生成视觉真实、物理合规、精准对齐用户指令的3D室内场景。整体架构对应框架图可分为三大核心组件左侧标准化工具集Tool Cards——按生成粒度分为初始化、细节补全、优化修正三类是场景生成的能力底座中间自反思规划器 物理执行器——智能体的「大脑手脚」分别负责决策调度与物理落地右侧多源资产库Assets 最终场景输出——提供3D物体素材支撑场景从抽象布局到实体模型的落地。二、方法详细讲解2.1 标准化工具接口Tool Cards这是框架可扩展性的核心。论文将所有场景合成方法按生成粒度抽象为三大类工具每个工具都有标准化的「工具卡片」包含功能、适用场景、优缺点、输入要求可以像插件一样自由接入/替换无需修改整体智能体框架。对应框架图左侧的三栏三类工具分别承担不同阶段的生成任务1场景初始化工具Initializer核心作用生成完整的场景级基础布局作为整个合成流程的起点。三类具体工具覆盖不同生成需求数据驱动模型如PhyScene、ATISS基于3D-Front等人工标注数据集训练的生成模型生成的布局整洁、资产质量高但仅支持客厅、卧室等少数预定义场景类型细节丰富度低。真实场景转仿真Real2Sim如MetaScenes从真实扫描的室内场景中提取布局自带真实场景的细节与空间合理性但布局固定需要后续修改才能适配用户定制化需求。LLM生成如GPT/LayoutGPT由大语言模型生成布局支持任意开放词汇的场景类型灵活贴合用户指令但空间推理能力弱布局的物理合理性较差。2微场景补全工具Implementer核心作用在基础布局上补充微观细节比如桌面、货架上的小物件解决全场景生成方法普遍细节不足的问题。两类工具各有优劣互为补充2D引导工具如ACDC、Architect先通过2D生成模型生成局部区域的参考图再映射为3D资产摆放。优点是物体间空间关系真实、朝向准确非常适合成组添加桌面小物件缺点是速度慢无法添加墙面、地面物体也不能往容器内部放东西。LLM工具GPT由大模型规划物体位置并添加。优点是位置准确支持往柜子/货架内部放物体也能添加墙面装饰缺点是物体的朝向精度较差。3细节优化工具Refiner核心作用修正前序生成带来的错误比如物体朝向错误、语义不符、摆放混乱优化场景的合理性与整洁度。典型工具代表VLM朝向修正Update Rotation用视觉语言模型识别物体朝向错误调整旋转角度比如修正面朝墙壁的床、背对桌子的椅子仅改朝向、不移动物体。规则化关系添加Add Relation给物体添加显式空间关系约束比如「椅子正对桌子」「柜子靠墙」让场景更规整优点是快速优化秩序缺点是不能修正物体位置错误。LLM物体移除Remove Object识别并删除语义错误、严重错位、冗余拥挤的物体比如移除餐厅里的床、超出房间边界的物体。此外还有尺寸调整、布局重排等工具用于修正物体大小和整体位置分布。2.2 自反思规划器Planner对应框架图中间的粉色模块是整个智能体的决策核心基于**Reason-Act-Reflect推理-执行-反思**的闭环范式运行遵循ReAct风格的推理流程基于OpenManus平台实现。整个循环包含四个环节不断迭代优化Think推理决策规划器接收用户指令、上一步的场景状态、反思反馈和历史记忆先总结当前场景的核心问题比如「完成度低货架是空的」「洗衣机朝向错误」然后从工具集中筛选适配的工具并给出0-1的置信度最终选择一个最优工具生成具体的执行指令比如「在货架里添加洗衣用品」。它会动态调整工具置信度如果某个工具多次失败就降低其优先级、换用其他方案如果场景已经达到质量要求就触发停止条件。Action执行动作规划器将决策出的工具指令发送给执行器由执行器完成具体的场景修改。Feedback反馈采集执行器完成修改后输出新的场景状态包含3D布局数据和顶视角渲染图同时统计物理指标碰撞物体对数量、越界物体数、物体总数。Reflection反思评估调用多模态大模型如GPT-4结合场景渲染图、布局数据和用户原始指令从四个维度打分0-10分视觉真实感Realism功能合理性Functionality布局逻辑性Layout场景完成度Completion同时输出自然语言的问题分析与改进建议作为下一轮推理的输入。如果评估发现场景质量异常下降规划器可以回滚上一步操作、重新规划。当评估分数达到阈值、或没有可优化的显著问题时循环终止输出最终场景论文中设置最大迭代次数为10次。2.3 物理感知执行器Executor对应框架图中间的蓝色模块是智能体的「执行手脚」基于Infinigen与Blender构建核心是把抽象的布局草稿转化为真实3D资产并通过物理优化保障场景的可交互性。它主要完成三项工作对应图中的三个图标资产替换根据工具输出的布局语义标签位置尺寸从资产库中匹配对应的3D模型替换掉抽象的包围盒。关系约束对齐根据优化工具生成的空间关系比如靠墙、正对桌子调整物体的位置与姿态满足约束要求。物理优化Physical optimize执行固定步数的物理模拟优化解决两个核心问题碰撞Collision消除物体之间的穿插重叠越界Out of bound修正超出房间边界的物体最终保证场景零碰撞、零越界在仿真环境中具备稳定的物理可交互性。2.4 多源资产库Assets对应框架图右下角的模块为场景生成提供3D物体素材。框架会根据工具类型自动选择适配的资产来源兼顾质量与通用性数据驱动类工具使用3D-FUTURE数据集和模型训练数据同源匹配度高真实场景类工具直接使用MetaScene自带的扫描资产通用常见物体使用Infinigen程序化生成的标准资产开放词汇小众物体从Objaverse大规模数据集中检索获取2.5 完整工作流程端到端闭环把所有模块串联起来一次完整的场景生成流程如下用户输入指令比如「设计一个有10台洗衣机的洗衣房每台机器上放洗涤用品房间里加篮子和洗手池」规划器先选择一个初始化工具生成基础场景布局执行器替换3D资产执行物理优化输出初始场景反思模块对场景打分指出核心问题比如「缺少小物件场景完成度低」规划器根据反馈选择补全工具添加细节执行器落地修改并再次物理优化反思模块再次评估指出新的问题比如「部分物体朝向错误」规划器选择优化工具修正问题循环迭代打磨直到场景质量达标输出最终的3D场景。三、核心设计优势和传统固定流水线的3D场景生成方法相比SCENEWEAVER的核心突破在于可扩展性强标准化工具接口可以随时接入新的生成算法不用重构整个系统动态自适应不是一次性生成而是像设计师一样「边做边改」根据反馈针对性解决问题最终质量更高能力互补融合了数据驱动、LLM、2D引导等多种方法的优点同时通过物理执行器兜底解决了单一方法「真实感、物理性、可控性不可兼得」的痛点。论文显卡硬件信息汇总所有信息均来自论文附录C.3节「Resources used」与C.4节「Time Consumption」为原文公开的实验硬件配置1. 显卡规格型号NVIDIA GeForce RTX 4090配置数量单卡单台实验机器配备1张2. 承担的核心任务该显卡支撑了论文中全部报道的实验与生成工作具体包括全量对比实验覆盖常规房间卧室、客厅、8类开放词汇房间的定量指标测试与定性效果生成消融实验智能体架构消融、工具子集有效性消融复杂指令场景的迭代生成验证配合Blender 3.6完成所有3D场景的渲染与结果记录物理优化、资产匹配等场景生成全流程的计算推理3. 对应硬件下的生成耗时数据单轮迭代平均耗时8.6分钟完整场景平均生成耗时64分钟单场景耗时区间35分钟 ~ 130分钟耗时随房间规模、迭代次数、选用工具类型变化简单小房间耗时更短。