尧图建网站 尧图建网站 YAOTU WEB BUILD 免费咨询
ARTICLE DETAIL

资讯详情

深耕网站建设与建站编程的一线实战洞察。

Transformer开始构建三维世界:开源模型几张图片秒级生成可探索3D场景

Transformer开始构建三维世界:开源模型几张图片秒级生成可探索3D场景 一个属于三维内容的新网络刚刚打开入口。从 2D 像素到 3D 场景 Query影溯正在尝试把三维内容生产推向可规模化调用的新阶段。围着桌上的小摆件随手拍几张照片几秒后有趣的一幕发生了。它们竟从二维照片中「立 」了起来变成了一个可以把玩的 3D 内容。没有扫描、几乎不用等待咔嚓几下就能生成。我又用手机从不同角度给楼下的咖啡店拍了 6 张照片。这个空间也立刻被保存在了手机里。就连家里的卧室也在咔嚓几声后变成了一个可以自由探索的 3D 空间。聚餐、桌搭、毕业、搬家、婚礼、日常生活 ...... 手机能随手记录下当下重要的时刻把能进入的场景发给身边的朋友真的十分有趣。这款 App 叫Crystal 空间相机是影溯 InSpatio 将最新研究成果做成的一款免费 3D 捕捉工具让每个人都能轻松体验亲手拍摄 3D 空间照片的感觉。这背后的技术是影溯正式开源的前馈式 3D Gaussian Splatting 生成技术 QuerySplat。只需输入少量不同视角、无需提供相机位姿的图片即可在一次前向推理中秒级生成可自由切换视角的 3D 场景。在大规模 DL3DV-Evaluation 基准的 2、4、12 视图设置中Topos-Lite 在 PSNR 和 SSIM 指标上均取得最优结果在更关注感知相似度的 LPIPS 指标上也在 2 视图和 4 视图设置中排名第一。更直观的变化是模型生成的物体边缘更锐利、纹理更清晰跨视角结构也更稳定。同样输入5张图片后与其他方法相比Topos-Lite生成结果Ours中的主体轮廓更完整纹理更清晰场景结构也更加干净稳定。这一次影溯选择将 QuerySplat 开源不只是公开一项技术成果更希望推动前馈式 3D 生成从少数团队的前沿探索走向整个行业可以共同验证、持续迭代的技术基础加速 3D 内容生产真正迈向规模化并创造出更多好玩的 3D 应用。项目主页https://inspatio.github.io/querysplat/GitHub 与模型权重https://github.com/inspatio/querysplat技术报告https://arxiv.org/abs/2608.01186从像素到场景让 Transformer 不再只围着二维图片工作Topos-Lite 最值得关注的地方并不只是把 3D 场景做得更清楚而是改变了模型组织三维空间的方式。Topos-Lite 架构图过去不少前馈式 3DGS 方法采用像素对齐 Pixel-Aligned的范式。可以把它理解为模型先从每张图片的每个像素出发预测这个像素在三维空间里对应什么再把大量预测组合成一个场景。但它有一个先天问题高斯点仍然被牢牢绑定在二维图像的像素和相机射线上。不同视角中的像素稍有误差就可能在三维空间里产生冲突最终表现为重影、漂浮、结构偏移或者大量小尺度、低效率的高斯球。这有点像几个人从不同角度给同一只花瓶描轮廓再把几张透明描图纸叠在一起。理想情况下瓶口、瓶身和底座应该准确重合。但只要其中一张稍微画偏叠起来就会出现双重轮廓周围还可能留下零散的线条。Topos-Lite 采用的是Query-based的思路。它不再要求每个高斯点首先属于某一个像素而是让一组可学习的 Query 充当「场景级位置」。每个 Query 可以跨越不同图片、不同区域聚合信息再在连续三维空间中生成一组 Gaussian Primitives。这让 Transformer 熟悉的 Query 和 Attention 机制在这项工作中真正承担起组织三维场景的角色Query 不再只是围绕二维 Token 工作而是成为连续三维空间中的场景槽位。少量图片、无需手动标定、秒级生成只需输入数量不等、未经相机标定的随手拍照片模型便能在无需相机位姿的情况下通过一次前向推理快速生成可自由切换视角的3D Gaussian场景。与其他方法相比其生成结果中的主体轮廓更完整纹理更清晰场景结构也更加干净稳定。传统高质量 3DGS 往往需要围绕一个场景采集大量图片获得或计算相机参数再对这个场景单独进行较长时间的优化。它可以得到很好的结果但每遇到一个新场景就要重新做一遍。前馈模型改变的是成本结构。模型训练完成后面对一个新场景不再从头优化而是直接完成一次预测。就像图像生成模型不会为每张新图片重新训练一样3D 场景生成也开始从每个项目单独制作变成一种可以被重复调用的通用能力。对普通用户而言这带来三个最直接的变化需要拍摄的图片更少、不需要手动提供专业相机标定信息、等待时间从传统流程压缩到秒级。从结果来看Topos-Lite 在 DL3DV-Evaluation 的多种稀疏视图设置中取得了当前最强的整体表现。特别是在 4 视图设置中模型在 PSNR、SSIM 和 LPIPS 三项指标上均排名第一。即使只输入两张图片它也保持了领先的结构和渲染质量。定性比较。SOTA 效果之外Topos-Lite 还提供了明确的容量扩展接口。训练过程中Query 数量可从 1,024 逐步扩展至 8,192每个 Query 解码一组 Gaussian Primitives。更强的几何骨干、更大的 Decoder、更多 Query以及更高分辨率的外观特征都可以分别扩展。这还不能被简单称为已经证明了 「 3D Scaling Law 」但它至少说明了一件重要的事前馈化解决了新场景的边际生成成本Query 化则为场景表达容量留下了继续扩展的入口。速度和质量不再必须二选一。值得一提的是Topos-Lite 的性能还处于早期研究阶段远未触及天花板。在数据规模效应的持续驱动下其3D 生成的品质与精细度将持续跃升更值得期待的是未来该模型将有能力在端侧高效运行实现3D内容的本地化快速生成解锁更广阔的应用场景。下一代人工智能为什么一定要理解空间在影溯看来过去十年人工智能主要在学习人类已经表达出来的世界而下一阶段它需要进一步理解世界本身。语言是智能理解人类文明的入口空间则是智能进入真实世界的基础。图片和视频当然包含丰富的空间线索但本质上仍然是三维世界在特定时间、特定视角下的二维投影。同一个房间可以拍出无数张不同画面但背后不变的仍是房间本身的三维结构。因此二维更像是 Observation三维则更接近 State。如果模型只从二维像素中学习它不仅要理解场景还要反复处理视角、投影、遮挡和光照造成的变化。视频中的大量帧可能只是在不同位置、不同时间重复记录同一面墙、同一张桌子。模型必须从这些高度冗余的观测中反推出背后相对稳定的空间结构。而引入三维意味着将「世界是什么」和「我们怎样看见世界」分开。模型可以学习一种更紧凑、更稳定的空间表征并理解这一状态如何在不同视角和条件下生成不同观测。它不必反复记忆大量相似画面也更有机会持续追踪环境、物体及其相互关系。这也解释了为什么空间智能并非 AI 的边缘分支。语言模型可以回答「这是什么」和「这意味着什么」但进入真实世界的机器还必须回答「我在哪里」、「物体之间是什么关系」、「下一步会发生什么」和「我应该怎样行动」。从数字智能走向物理智能空间不是一个可选项而是一项需要掌握的基本能力更是一道无法绕开的门槛。一项技术突破背后是近二十年的积累空间智能是一条很难依靠短期追逐热点走通的路线。从相机模型、标定、SLAM到三维重建和几何优化再到神经网络训练、数据系统与产品部署每个环节都有大量不容易被外界看见的工程细节。一项工作在论文里成立不代表它能在真实环境里稳定运行一个 Demo 足够漂亮也不代表它能够以可控成本持续 Scale。而影溯的核心团队在 SLAM、三维视觉和空间智能领域已有近二十年的积累早已形成一套贯通基础研究、工程实现与产业落地的能力体系。二十多年来影溯创始人章国锋教授一直在追问一个问题——机器究竟要怎样理解一个真实的三维世界章国锋本科和研究生阶段均就读计算机专业。在研究生阶段章国锋加入鲍虎军教授团队从大型科研项目中的摄像机跟踪问题开始进入三维视觉领域。最早他要解决的是如何从一段视频中恢复摄像机的运动。随后问题从离线处理变成实时跟踪从单一镜头扩展到 SLAM、三维重建和空间智能。这些技术方向背后指向的是同一件事机器不能只看见一帧画面它还要知道自己在哪里周围的物体如何分布不同视角下看到的内容为什么仍然属于同一个空间。此后章国锋完整经历了三维技术从摄像机跟踪、移动端 SLAM、实时空间重建到 NeRF、3D Gaussian Splatting、生成式 3D 和世界模型的发展。技术表达不断变化但核心问题没有改变如何从有限的二维观测中恢复、表示并推演背后相对稳定的三维世界。如果说高校研究让他不断接近这个问题的技术本质那么在商汤负责数字空间相关技术和业务的经历让他看到了另一面一项三维技术在论文中成立与它能否成为真实世界中的基础能力是两件不同的事。三维技术要进入产品不只要追求精度还要面对速度、稳定性、设备成本、系统效率和客户交付要从一次漂亮的 Demo 走向大规模应用就必须把每个场景单独优化的项目能力变成可以持续复用和规模化调用的系统能力。多年来这种双重身份的淬炼使他能够将空间智能的前沿算法转化为驱动产业变革的实际动能。而这些来自学术端的理论突破与产业端的落地认知又经由联合创始人刘浩敏博士及其团队的工程化能力进一步放大在产业一线完成了模型训练、效率优化与系统验证让前沿算法得以在有限算力下实现实时响应与极致吞吐。长期协作带来的价值远不止彼此熟悉。底层技术研究中大量问题没有标准答案技术路线也经常无法被提前证明。团队需要能够快速暴露问题、相互质疑结果并在信息不充分、方向不确定的情况下依然形成共同判断。人才可以招聘设备可以买到但共同的技术语言、对问题的判断方式以及彼此之间的信任只能通过时间形成。在与影溯的交流中机器之心发现影溯的团队结构也颇为特别既有长期积累也保持着年轻团队的活力。多位核心成员已在三维视觉领域深耕十余年围绕 3D 研究积累了长期迭代的基础设施与此同时许多年轻研究者也能直接参与核心课题并承担关键工作。Topos-Lite 的关键突破就是由团队中的 「00 后」研究员主导完成。长期积累与年轻研究者的快速成长在这里并不矛盾而是共同构成了团队的研究效率。这种组织方式背后是影溯对研究效率的一种判断真正有潜力的研究者应当尽可能接近最重要的问题并在真实任务中快速成长。年龄、资历和头衔可以作为参考但不应成为人才参与核心创新的边界。先进入人的真实场景再成为机器理解世界的数据当然空间智能的终局很大但三维技术的价值并不需要等到机器人真正进入千家万户之后才开始显现。更现实的路径是先降低三维内容的生产门槛让它进入人们已经存在的记录、展示与创作需求。首先是空间记录。当三维生成足够简单、快速且低成本人们可以把几张照片变成能够自由切换视角、重新进入的「空间照片 」。即将搬离的第一个家、孩子成长的房间、毕业前的教室或者婚礼当天的礼堂都可以都可以从一组平面影像变成更完整的空间记忆。过去二维影像成为主流很大程度上源于它的捕捉、存储和传播成本更低。当三维内容获得接近拍照的使用门槛记录生活的媒介也可能随之发生变化。其次是空间展示与远程体验。在房产、酒店、商业展陈、零售门店和室内设计等领域用户真正关心的往往不只是几张精心选择的平面图片还包括空间布局、物体之间的关系以及人在其中移动时看到的变化。通过少量现场照片快速生成可浏览的三维场景可以让看房、选房、展厅参观、装修沟通和商品陈列拥有更直观的表达方式也能降低传统三维采集和内容制作的成本。还有生成式内容生产。对游戏、影视和互动内容创作者而言这意味着二维生成、视频制作和三维场景之间可以建立更直接的连接。未来一段生成视频或几张概念图可能进一步转化为可自由浏览、继续编辑和用于虚拟拍摄的三维资产从而进入游戏、影视、电商和互动内容等工作流。而对机器人而言这些三维世界有着更重要的意义。当场景进一步拥有物体语义、动态变化和物理规律它们就不再只是供人观看的内容也可以成为机器进行仿真、验证和学习的训练场。机器人可以在进入真实世界之前先在无数可生成、可控制、可重复的虚拟世界中经历环境、理解空间、学习行动。先让三维技术进入真实场景再让真实使用产生的数据训练更强的空间智能这可能是三维数据走向规模化的一条现实路径。终局让智能真正进入空间今天「世界模型」已经成为一个被广泛使用的概念。从视频生成、可交互游戏环境到机器人控制系统不同技术路线都被纳入世界模型的讨论。对影溯而言世界模型是实现目标的技术路径空间智能才是长期方向。它希望构建的是一种能够在现实世界中验证自身空间理解能力的智能知道自己在哪里理解物体、环境与自身之间的关系能够预测世界如何变化也能判断行动将带来什么结果。显然Topos-Lite 还不是这个终局。但它解决了其中一个基础且现实的问题让 Transformer 借助明确的三维结构从少量二维观测中快速组织出稳定、清晰、可渲染的三维场景。更重要的是它也让影溯关于空间智能的长期判断落实到可以公开体验、量化评测和持续迭代的技术结果上。未来的空间智能会继续沿着 Transformer 演进还是转向 JEPA 或尚未出现的新架构目前仍无定论。但无论架构如何变化只要机器需要进入真实世界空间理解就无法绕开要形成这种能力也离不开大规模、高质量的 3D、4D 数据以及持续降低数据生产成本的基础设施。而在这一庞大的叙事中影溯希望参与建设的正是这套面向物理智能的模型、数据与工程基础设施。未来的机器人、智能汽车、智能眼镜和新型终端形态各异却都需要一颗“大脑”去理解自身所处的空间并据此感知、预测和行动。Topos-Lite 则是这条长路上的一次阶段性证明三维场景可以生成得更快、更清晰也可以更开放地被调用Transformer 的处理对象也开始从语言和二维 token 延伸到连续三维空间。当空间能够像图片和视频一样被低成本记录、生成和分享一个属于三维内容的新网络或许才刚刚打开入口……原文链接Transformer开始构建三维世界开源模型几张图片秒级生成可探索3D场景-36氪
返回列表