神笔马良画出三维世界，基于线稿的3D生成编辑方法SketchDream来了(3)

除了三维内容生成，如何对已有的三维模型进行再创作，即对真实的三维模型进行修改和编辑也是非常重要的问题。Vox-e [11] 和 DreamEditor [12] 根据文本自适应的确定三维编辑区域，再实现基于文本的编辑效果。为了实现更精细的控制，SKED [13] 使用线稿编辑三维模型，但如何处理复杂编辑情景仍然较为困难。
线稿作为一种用户友好的交互方法，被广泛用于三维建模。艺术家们通常会先绘制物体的线稿，再进一步使用专业软件进行建模。然而，直接使用线稿生成高质量的三维物体存在下述挑战：首先，线稿风格多样且过于稀疏，很难使用单视角的线稿约束三维物体的生成；其次，二维线稿只包含了单视角的信息，如何解决歧义性，生成侧面和背面区域较为困难。基于线稿的模型编辑则更具挑战性，如何分析并处理不同组件的关系，如何保证编辑区域的生成质量，如何保持非编辑区域不变，都是需要解决的问题。
SketchDream 算法原理

图 3 SketchDream 的网络架构图，生成和编辑流程
基于线稿的多视角图像生成网络
给定单视角的手绘线稿后，仅在线稿对应的视角添加约束，无法生成合理的三维模型。因此，需要将线稿的信息有效地传播到三维空间中的新视角，从而合成与线稿对应的高质量的模型。SketchDream 算法构建了基于线稿的多视角图像生成的扩散模型。具体而言，算法在多视角图像生成网络 MVDream [8] 的基础上，添加了与 ControlNet 结构类似的控制网络，基于线稿控制多视角图像的特征。网络使用了 3D Self-Attention，在不同视角之间共享 Q,K,V 特征，从而生成三维一致的结果。
直接使用单视角二维线稿作为多视角图像控制网络的输入，由于缺乏三维信息和空间对应，难以实现有效的线稿控制。因此，算法使用扩散模型生成线稿对应的深度图，补充稀疏线稿缺失的几何信息。进一步，基于深度对线稿变形，从而将线稿显式地变换到相邻的新视角，其他视角则直接输入空白图像。尽管其他视角输入了空白图像，但 3D Self-Attention 保证了视角间的信息交换，从而实现对多视角图像的有效控制。