神笔马良画出三维世界，基于线稿的3D生成编辑方法SketchDream来了(6)

图 7 基于线稿的多样化的编辑效果
如图 8 所示，针对同一个三维模型，用户可以指定不同的文本，从而生成具备纹理多样性的结果。在给定相同线稿的情况下，可以生成黄金、铜制和石头质感的狮子头，并保持其他区域不变。

图 8 基于文本的多样化的编辑效果
结语
基于人工智能的数字内容生成技术蓬勃发展，在很多领域已经有广泛的应用。针对三维内容生成，除了保证高真实感的生成质量，如何提高用户的可控性是重要的问题。SketchDream 提供了一种可行的解决方案，基于手绘线稿，用户可以生成高质量的三维模型，并支持对真实模型的可控编辑。
基于该系统，我们无需安装繁杂的三维建模软件并学习复杂的技能，也不需要花费数个小时时间精力，仅仅通过勾勒简单的线条，普通用户也能轻松构建心中完美的三维模型，并得到高质量的渲染结果。SketchDream 已经被 ACM SIGGRAPH 2024 接收，并将刊登在期刊 ACM Transactions on Graphics 上，已入选 SIGGRAPH 精选亮点工作宣传片。
参考文献：
[1] Feng-Lin Liu, Hongbo Fu, Yu-Kun Lai, Lin Gao*. SketchDream: Sketch-based Text-to-3D Generation and Editing. ACM SIGGRAPH（TOG）. 2024
[2] Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, Björn Ommer, High-Resolution Image Synthesis with Latent Diffusion Models. CVPR. 2022
[3] Adding Conditional Control to Text-to-Image Diffusion Models, Lvmin Zhang and Maneesh Agrawala, ArXiv, 2023