打造有温度、专业的全栈AI&AIGC交流社区！
“对于各种应用（例如自动驾驶模拟、虚拟现实、游戏等），创建逼真、灵活的 3D 城市场景的可控范式极其重要。文本到 3D 生成提供了一个有前途的方向。它植根于灵活多样的文本条件，具有从文本到图像的扩散模型的卓越品质和 3D 表示的几何一致性。然而，没有一个范式可以将这种方法扩展到城市规模。在这项工作中，作者通过将合成的 3D 布局表示作为附加先验引入文本到 3D 范式来克服这些限制。它包括一组具有简单几何结构和清晰排列关系的语义基元，补充了文本描述并实现了可引导的生成。”
项目主页 -
代码链接 -
论文链接 -
01-3D无边界场景生成任务发展历程
02-城市建筑师算法背景
可控的范式对于创建逼真且灵活的 3D 城市场景对于各种应用（例如自动驾驶模拟、虚拟现实、游戏等）都至关重要。在之前的研究中，与城市规模场景创建相关的任务（例如 3D 感知图像合成和 3D 场景重建）在不同方法和专业方面取得了进展。然而，它们都陷入了在场景规模、质量、灵活性和几何一致性之间做出权衡的困境。这提出了一个关键问题：哪些方法可以促进可控 3D 城市场景创建的实现？
文本到 3D 的生成提供了一个有前景的方向，它根植于灵活多样的文本条件，具有从文本到图像的扩散模型的优良品质以及 3D 表示的几何一致性。
城市场景高度复杂且无界，这对现有的用于创建高质量 3D 内容的文本转 3D 范式提出了两个关键挑战：1）如何优化具有密集概念和复杂排列关系的场景？文本线索本质上具有模糊性，很难提供细粒度的条件信号。文本和现实世界城市场景内容之间的这种粒度差距引发了基于 SDS 的方法的优化不足困境，其中 SDS（及其变体 VSD）将无法通过仅考虑模糊的文本条件来捕捉现实世界城市场景的复杂多模态分布。2）如何表示空间尺度无限广阔的 3D 场景？以前的文本转 3D 方法主要使用有界模型（如有界 NeRF 和四面体网格）作为 3D 表示，这些模型不适用于任意尺度的无界城市场景。这篇论文创造性地回答了这两个问题！
03-城市建筑师算法简介
文本到 3D 生成任务通过大规模文本到图像扩散模型取得了显著成功。然而，目前还没有范式可以将这种方法扩展到城市规模。城市场景具有要素众多、排列关系复杂、规模大等特点，这对模糊文本描述的可解释性以及有效的模型优化造成了巨大的障碍。
在本研究中，我们通过将合成的 3D 布局表示作为附加先验引入文本到 3D 范式来克服这些限制。它由一组具有简单几何结构和明确排列关系的语义基元组成，可补充文本描述并实现可指导的生成。
在此基础上，作者提出了两点改进：1）针对模型优化的不足，引入布局引导的变分得分蒸馏，将得分提取采样过程约束在三维布局的几何和语义约束之下；2）为应对城市场景的无界性，采用可扩展的哈希网格结构来表示三维场景，以逐步适应城市场景不断增长的规模。
大量实验结果证实了该框架首次能够将文本转 3D 生成扩展到覆盖 1000 米以上行驶距离的大规模城市场景。作者还展示了各种场景编辑演示，展示了可控城市场景生成的强大功能。
04-城市建筑师算法流程
上图展示了算法的整体流程。Urban Architect 是一种从 3D 布局指令和纹理描述生成城市规模 3D 场景的方法。场景通过以条件方式提取预训练的扩散模型进行优化的神经场来表示。详细模块描述如下：
05-Urban Architect算法应用场景
05.01-更改为不同的时间和天气
05.02-改变不同的风格
05.03-更换不同城市
05.04-对象操作
05.05-素材编辑
06-Urban Architect 算法性能评估
06.01-主观效果评价
上图为该算法与EG3D、CC3D算法的定性对比结果，通过观察分析，我们可以得出以下初步结论：该方法明显优于另外两种SOTA算法的生成效果。
上图展示了所提算法和多个 SOTA 算法在两个不同场景中的定性生成结果。除了 Text2Room 和 SceneDreamer 之外，大多数结果都直接借鉴了原始论文，这些结果在我们的环境中进行了调整和重新训练。所提出的管道显著优于以前的基线方法并实现了高质量的渲染。最好放大以获得更多细节。
上图验证了LG-VSD算法的有效性，在没有3D布局的情况下，即使采用微调的扩散模型，VSD也无法生成高质量的城市场景，因为缺乏有效的引导。
06.02-客观效果评价
上表为本算法与多个SOTA算法在KITTI-360数据上的客观指标评测结果，通过观察分析，我们可以得出以下初步结论：本算法在FID和KID两个指标上均取得了最好成绩，与第二名差距较大！
上表为本算法、CC3D、CC3D+H算法在KITTI-360数据上的客观指标评价结果，通过观察分析，可以得出以下初步结论：本算法在FID和KID两个指标上均取得了最优成绩，效果远胜于另外两种算法。
07-Urban Architect算法效果展示
图7.1-Urban Architect算法效果展示1
图 7.2 - Urban Architect 算法改变不同城市的能力
图7.3-Urban Architect算法不同种子生成效果
图7.4-Urban Architect算法编辑效果
图7.5-Urban Architect算法大场景生成能力
图7.6-Urban Architect算法3D网格可视化效果
图7.7-Urban Architect算法布局自动生成效果
关注我，你将早了解AI热门话题，早掌握AI算法，早推出AI产品！
欢迎加入我们，让我们共同交流、探讨、成长！
