神笔马良画出三维世界，基于线稿的3D生成编辑方法SketchDream来了(4)

基于线稿的三维生成
为了实现高质量的三维生成，算法基于线稿的多视角图像扩散模型，反向优化神经辐射场。优化过程中，每一个迭代的步骤，使用不同的相机参数渲染模型并计算梯度，反向优化三维模型。算法基于多视角图像生成网络计算 SDS Loss，保证三维模型的几何合理性。并且，为了提升纹理细节的质量，算法基于 2D 的图像生成网络，计算 ISM Loss [14]，提高模型生成质量。算法额外添加蒙版约束和正则化项，提高线稿的对应性和模型的合理性。
基于线稿的三维编辑
为了实现精细化的编辑，算法提出了两阶段编辑方法：粗粒度编辑阶段，算法分析组件的交互关系，生成初始的编辑结果，并基于此获取更精确的三维蒙版；细粒度编辑阶段，算法对局部编辑区域进行渲染优化，并保持非编辑区域的特征，实现高质量的局部编辑效果。
具体而言，在粗粒度编辑阶段，将手绘的 2D 蒙版转换为 3D 空间中的圆柱网格模型，粗略标记编辑的区域。优化过程中，使用与生成相同的损失函数进行优化，但在非编辑区域额外添加与原始模型的 L2 损失，保持原始模型的特征。进一步，从粗略编辑的 NeRF 结果中提取网格模型，标记 3D 网格的局部区域表示待编辑的区域，获取精细化的 3D 蒙版。在细粒度编辑阶段，为了提升编辑区域的质量，算法对局部编辑区域进行渲染，添加基于线稿的 SDS 约束，并添加更精细的非编辑区域的约束，生成更高质量的编辑效果。
效果展示
如图 4 所示，给定手绘线稿和文本描述，该方法可以生成高质量的三维模型。算法生成的结果没有类别限制，结果具备合理的几何属性和高质量的纹理属性。用户可以自由变换视角，都能得到非常真实的渲染结果。

图 4 基于线稿生成的三维模型
如图 5 所示，给定真实的三维模型，用户可以选择任意的视角，对渲染出的线稿进行修改，从而编辑三维模型。该方法可以对已有模型的部件进行替换，例如左侧的修改狮子头部、更换裙子等，也可以添加新的部件，例如右侧的添加新的房间、添加翅膀等。