神笔马良画出三维世界，基于线稿的3D生成编辑方法SketchDream来了(2)

使用该系统，即使用户不会使用复杂的三维软件，也可以基于线稿自由创作三维内容，并对真实的模型进行修改和编辑。先来看看使用 SketchDream 创作的模型的效果：

图 1 基于 SketchDream 的三维生成效果

图 2 基于 SketchDream 的三维编辑效果
背景
最近，AI 绘画非常火爆，基于 Stable Diffusion [2] 和 ControlNet [3] 等方法，通过指定文本可以生成高真实感的二维图像。最新的视频生成方法 Sora [4]，已经可以基于文本生成高质量影视级的视频。但是，上述工作无法直接生成高质量的三维模型，更无法对现有的三维模型进行编辑和修改。
针对上述问题，DreamFusion [5] 提出了 Score Distillation Sampling (SDS) 的方法，利用二维图像的 Diffusion model 生成模型优化神经辐射场，基于文本合成任意类别的高质量的三维模型。后续一系列工作 [6][7][8] 对该方法进行了改进，提升了生成的三维模型的质量，并使生成的过程更加稳定。但是，仅仅基于文本，难以实现对几何细节的控制，例如物体的形状和轮廓，不同的组件的形状和位置等。为了提高可控性，许多方法 [9][10] 使用额外的图像作为输入，生成高质量的模型，但用户依然需要提前获取合适的图像。