这类项目最值得先看的不是它用了什么模型而是它到底解决了折纸设计里的哪个具体问题。Google DeepMind 的 COrigami 不是简单地把 AI 和折纸放在一起而是用一套完整的流程把语义理解、几何约束、物理可折叠性和审美判断串了起来。如果你做过生成式 AI 项目就知道让模型输出结构严谨、物理可实行的结果有多难——COrigami 的亮点就在于它没有试图让 Gemini 直接生成复杂的折线图而是把问题拆成几个可验证的步骤让 AI 和确定性算法各司其职。我一般会先看这种项目能不能在普通开发环境里跑起来或者至少能理解它的 pipeline 设计思路。COrigami 目前更像一个研究原型但它的模块化设计——尤其是用强化学习RL来微调生成结果、用视觉语言模型VLM做自动审美打分——对做生成式 AI 落地的人很有参考价值。下面我会按实际理解顺序拆解它的关键环节并补充一些工程化时需要注意的边界条件。1. 先搞清楚 COrigami 到底在解决什么问题从语义到可折叠实物的生成瓶颈很多人一看到“AI 设计折纸”会觉得是让模型直接画折线但如果你试过用 GPT-4V 或 Gemini 直接生成 SVG 格式的折线图就知道输出结果几乎不可能满足数学上的可折叠条件。COrigami 的核心贡献是承认了“端到端生成不可行”转而采用一种神经符号neuro-symbolic的混合架构。这个 pipeline 的输入是一段文本描述比如“一只坐着的猫”输出是一张符合“平面可折叠”flat-foldable数学条件的折线图并且最终折叠出的三维形状要尽可能贴近文本的语义特征。整个过程分为四个主要阶段语义骨架生成用 Gemini 把文本转换成树状结构的“骨架图”stick figure定义关键部位的长度、角度和连接关系。离散网格排包box-pleating把骨架映射到正交整数网格上用回溯算法确保每个部位都能在纸上排下且留出必要的“河流”rivers空间。折线求解与折叠模拟根据网格布局生成折线图用自定义的几何折叠器模拟三维形状并验证平面可折叠性。三维形状优化通过强化学习调用“收窄”“简单折叠”等工具调整三维形态并用 VLM 从多个视角评估美观度作为 RL 的奖励信号。这个流程最关键的是把主观创意语义、美观和数学约束可折叠、网格排包解耦。Gemini 和 RL 负责前者确定性算法负责后者。如果你要借鉴这个思路记得先明确你的项目中哪些部分适合用模型生成哪些必须用规则或算法保证可靠性。2. 环境与数据要求为什么完全复现需要大量计算资源COrigami 的论文没有提供开源代码但根据描述它的 pipeline 对计算资源和数据规模要求不低。如果你只想理解原理或在小规模任务上试验可以重点关注以下几个环节的替代方案。2.1 模型与依赖Gemini 模型文中使用了 Gemini 2.5 Flash Lite 进行骨架生成和后续的 RL 微调评估环节用了 Gemini 3 Flash。如果你没有直接访问 Gemini API 的条件可以考虑用开源的视觉语言模型如 LLaVA-NeXT替代评估模块但生成质量可能会打折扣。强化学习框架RL 部分用的是策略梯度算法需要自定义动作空间调用形状工具和奖励函数VLM 打分 动作多样性奖励。你可以用 PyTorch 或 JAX 自己实现动作空间不宜设得太大。几何模拟器论文提到现有的折纸模拟器如 Origami Simulator在自动化 pipeline 中容易积累应变误差所以他们自建了一个纯几何的折叠器。如果你的项目对物理精度要求不高可以先用现有工具如 ORIPA验证折叠可行性。2.2 数据规模与生成方式COrigami 的训练和评估数据主要是通过程序化生成的骨架数据用 Gemini 批量生成不同类别动物、植物等的骨架结构要求结构是树状、无环的。折线图数据基于骨架在网格上排包生成数百万个候选折线图再过滤出可折叠的样本。VLM 评估数据人工标注一部分正负样本87 个正例、152 个负例用于训练 VLM 的评估能力。如果你要做类似项目不要一上来就追求大规模数据。可以先手动构建几十个样本跑通 pipeline 再考虑扩展。特别是折线图生成部分网格分辨率不要设太高否则求解时间会指数级增长。2.3 资源边界GPU 内存VLM 评估和 RL 训练是显存消耗大户。如果显存不足可以降低图像分辨率、减少批量大小或改用 CPU 进行模拟。计算时间论文中一次完整运行需要处理 56 万棵初始骨架树最终只有 5% 能通过所有阶段。在小规模试验时务必设置早期停止条件如最多尝试 10 种网格分辨率。存储空间每个候选折线图、三维渲染图、模拟结果都需要存储。中间文件最好按阶段分目录存放方便清理和重新运行。3. 核心环节实现如何把文本变成可折叠的折线图3.1 从文本到骨架——提示词设计是关键COrigami 用分层提示词让 Gemini 生成骨架先生成类别要求模型输出“容易用骨架表示”的类别如“动物”“工具”排除固体块状物如砖头或无结构物体如云。再生成具体对象给定类别后要求生成该类别下可表示为树状骨架的对象如“猫”“飞机”并排除不合适的例子。最后输出骨架 JSON提供样板格式定义每个部位的名称、起点、终点、长度、方位角、仰角。如果你自己实验提示词里一定要明确边界条件。比如要求骨架必须是树状无环、部位数量不超过 10 个、角度范围在 [-180, 180] 之间。否则模型容易生成无法处理的复杂结构。3.2 网格排包——从连续空间到离散约束这是工程上最关键的一步。COrigami 采用“方盒折法”box-pleating把所有结构折线限制在正交网格上允许 45° 斜线。这样做的好处是折线端点坐标都是整数避免了浮点误差。可折叠性验证变得容易基于 Kawasaki 定理、Maekawa 定理。网格分辨率可以逐步提高平衡成功率和纸张利用率。排包算法的大致步骤根据骨架部位的长度和类型用圆形包埋启发式方法估算最小网格尺寸。从最小尺寸开始尝试在网格上放置每个部位类似矩形排包。如果当前分辨率下无法排下逐步增加网格大小重试。对于每个有效排包方案生成对应的折线图。这里最容易出错的是“河流”处理——河流是部位之间的间隙排包时必须留出足够宽度否则折叠时会干涉。论文中提到他们的回溯包埋器可以生成多种排包变体这是后续筛选的基础。3.3 折叠模拟与可折叠性验证COrigami 的折叠模拟器是纯几何的不涉及物理引擎。主要步骤解析折线图提取顶点、边、面清理拓扑删除悬空元素。构建面邻接图以任意面为根进行广度优先遍历。计算变换矩阵为每个面计算 4x4 仿射变换矩阵基于折角。解析顶点坐标对属于多个面的顶点取变换后坐标的平均值以减少浮点误差。验证应变计算 2D 原始边与 3D 折叠边的平均轴向应变检测折叠冲突。如果你用现有工具如 ORIPA验证重点看两个指标是否报告自相交self-intersection以及折叠后边长的变化率是否超过阈值例如 5%。3.4 用 RL 优化三维形状——动作空间与奖励设计RL 阶段是在已有折线图的基础上调整三维形状动作空间包括收窄narrowing让某个部位变细增加真实感。简单折叠simple folds在局部添加额外折痕调整形态。奖励函数由两部分组成VLM 美观分把折叠后的三维模型渲染成 7 个视角的图片送进 VLM 评分0-10 分归一化到 [0,1]。动作多样性奖励鼓励尝试不同工具公式为 ( r_i \min(n/10, 1) \times 0.6 )其中 ( n ) 是成功调用工具的次数。如果动作导致折线图无效违反可折叠性、模拟错误奖励直接设为 -1。RL 训练时最容易忽略的是奖励信号的稳定性。VLM 打分本身有波动所以论文中采用了“双锦标赛”机制先让同一个模型的多个视角互相比选出最佳视角再让不同模型的最佳视角互相比减少偏差。如果你自己实现可以考虑用多数投票或多次采样平滑评分。4. 评估与筛选如何自动选出“最好”的设计COrigami 的评估管道是它能否产出高质量结果的关键。这里涉及两个模式4.1 单模型评估模式给 VLM 提供文本提示词和模型的 7 张渲染图要求模型进行思维链分析最后给出 0-10 分。评估维度包括部位数量是否正确如猫是否有四条腿。拓扑结构是否合理腿是否连接在身体上。比例是否协调头不能太大。部位之间是否有区分度前腿和后腿不能一模一样。这个模式适合快速过滤明显不合格的设计。论文中设定阈值 0.6归一化后低于此分的直接淘汰。4.2 比较评估模式同时给 VLM 两个模型的渲染图要求判断哪个更符合文本描述。为了消除顺序偏差会交换位置重复评估。比较模式比单模型打分更可靠尤其当候选设计都很接近时。COrigami 最终用“双锦标赛”机制视角选择锦标赛对每个模型7 个视角两两比较选出最佳视角。模型间锦标赛不同模型的最佳视角两两比较产生全局排名。这种机制计算量较大但能显著提升筛选质量论文中准确率从 0.715 提升到 0.811。如果你的计算资源有限可以只对 top-k 候选进行锦标赛评估。4.3 评估中的实际问题VLM 的偏见训练 VLM 评估器需要人工标注数据标注者的审美偏好会影响模型。论文中提到他们通过多次迭代提示词来对齐专业折纸设计师的偏好。模拟与现实的差距VLM 评估的是理想化的三维渲染但真实纸张有厚度折叠时会产生“堆积”效应。高分设计可能在实际折叠时需要人工调整如湿折、层薄化。类别平衡不同语义类别的难度不同例如“蛇”比“蜘蛛”容易生成。最终筛选时最好按类别设置配额避免结果偏向简单类别。5. 工程化注意事项从实验原型到可复用管道如果你打算参考 COrigami 的思路做自己的生成项目这几个工程细节值得提前考虑。5.1 管道容错与重启COrigami 的管道有多个阶段每个阶段都可能失败。建议设计时每个阶段输出检查点例如骨架生成后保存 JSON排包成功后保存折线图 SVG。这样可以从任意阶段重启不必从头开始。设置超时和重试网格排包和折叠模拟可能卡住需要设置最大运行时间超时后尝试下一个参数组合。日志分级详细记录每个决策点的参数和结果方便排查为什么某个候选被淘汰。5.2 参数搜索策略管道中有多个参数需要搜索网格分辨率从启发式下界逐步增加排包算法的超参数如河流宽度折线求解器的铰链分配方案不要用网格搜索因为组合空间太大。COrigami 的做法是先固定其他参数逐步增加网格分辨率在每个分辨率下用启发式方法生成多个排包方案。这种“渐进式放宽约束”的策略比盲目搜索更高效。5.3 输出管理与可视化最终产出包括折线图SVG 格式三维渲染图多视角模拟数据应变、可折叠性VLM 评估报告建议用统一命名规则关联这些文件例如{类别}_{对象ID}_{网格大小}_{版本号}。同时可以生成一个摘要报表列出每个候选的关键指标VLM 分、树相似度、应变值方便快速筛选。5.4 性能与扩展性并行化骨架生成、网格排包、折叠模拟、VLM 评估都可以并行处理。论文中他们用了分布式计算处理大量候选。内存管理三维模拟和渲染比较耗内存如果批量处理需要控制并发数或使用外部存储。模型服务化如果管道中的 Gemini 或 VLM 是通过 API 调用要注意速率限制和错误处理。可以考虑批量请求或异步调用。6. 边界与局限什么时候不适合用这套方法COrigami 的方法虽然强大但有其适用范围仅支持“方盒折法”折线必须基于正交网格不适合需要曲线折痕或自由折法的设计。依赖树状骨架输入必须是树状结构无法处理环状或网状拓扑如车轮、网格球顶。纸张厚度未建模模拟器假设纸张无限薄实际折叠时复杂设计需要人工调整。计算成本高从文本到最终设计需要大量模拟和评估不适合实时应用。如果你需要生成更自由的设计可以关注其他折纸生成方法如 TreeMaker 的连续优化但那些方法通常需要更多人工干预。7. 总结如何借鉴 COrigami 的思路解决自己的结构化生成问题COrigami 的最大价值不是产出了多少折纸设计而是展示了一种混合AI的范式让生成模型负责创意发散让符号算法负责约束满足再用学习型评估器筛选高质量结果。这种思路可以迁移到很多需要输出结构化内容的场景比如电路设计、建筑布局、分子结构生成等。如果你在自己的项目中尝试类似管道我最建议的是先确保约束满足部分可靠。就像 COrigami 先做好网格排包和可折叠性验证再往上加生成和优化。如果基础约束都保证不了后续的 AI 部分再强也产不出可行结果。另外评估模块的设计往往比生成模块更关键。COrigami 花很大精力优化 VLM 评估器因为如果评估不准RL 就会学偏。在你自己的项目中也要尽早建立可靠的评估机制哪怕是人工标注的小数据集也比没有评估强。最后这种多阶段管道调试起来很耗时一定要做好数据流和检查点管理。每步输出都要有明确的成功标志和失败处理否则一个环节出错整个管道就得重跑。