专题介绍

AIGC（人工智能创作内容）作为内容生产新范式，能够把创造和知识工作的边际成本降至零，以产生巨大的劳动生产率和经济价值。而元宇宙是一个需要海量内容数据的虚拟世界，也是AIGC的主战场。渲染引擎作为元宇宙最重要的基础设施，与AI关联的更多的是三维内容自动绘制生成的方法，为了探索更高效的3D渲染模式，我们开始“AIGC+渲染引擎”的技术布局，渲染引擎可以基于深度学习算法的AI技术迭代，快速、灵活地生成不同模态的渲染数据内容，有效降低开发成本，提升内容创作效率。

一、前言

该篇论文项目由光线云（杭州）科技有限公司、浙江大学CAD&CG实验室与群核科技KooLab实验室共同完成，已被图形学顶级期刊ACM TOG收录，预计在今年洛杉矶举行的SIGGRAPH 2023上进行论文汇报，敬请期待！

二、研究背景

室内场景的灯光设计一直以来是一个具有挑战性的任务，由于需要考虑到房间结构、家具放置、美学效果等多方面的因素，它往往需要具有相当经验的专业设计师来完成。自动灯光设计系统可以有效地提升专业设计师的设计效率，同时降低新人完成灯光设计任务的门槛。然而国际上针对此问题的研究工作比较少，现有的方法大多需要用户的交互，无法全自动的完成室内场景灯光设计的任务。

三、解决思路

为了解决这个问题，我们提出了一个数据驱动的室内场景自动灯光设计系统。给定一个放置好家具的三维室内场景，我们的系统可以在场景中自动放置不同类型的光源以生成具有美学考量的照明效果。不同于现有的基于规则的方案，我们提出的框架利用深度神经网络技术来从专业设计师的灯光设计结果中隐式的提取与学习灯光设计的原则。

为此我们构建了一个包含了6000个专业设计师所设计的三维室内场景的数据集。我们的框架主要包含两个灯光设计的阶段：首先，我们的系统把不同类型的光源逐个放置到室内场景中。其次，我们优化每个光源的发光参数以得到视觉上具有美学考量的光照效果。一系列定性与定量实验表明了我们的系统可以高效的学习到专业设计师的室内灯光设计准则。我们的系统不仅能够取得比当前基于规则的方法更优的结果，而且在多数情况下，能够和专业设计师的灯光设计结果相媲美。在图 1中，我们展示了自动灯光设计系统的总体框架。该成果发表在2023年的《ACM Transactions on Graphics》上。

图1 室内场景自动灯光设计系统框架

四、室内场景数据集

对于数据驱动的方法，一个正确标注的大规模数据集是十分重要的。由于目前缺少针对室内灯光设计任务构建的数据集，我们构建了一个具有大量场景的针对灯光设计任务的数据集。

如图 2所示，我们的数据集包含了6000个经过专业设计的室内场景，每个场景的灯光都经过设计师的设计。对于每个场景，我们都绘制生成一系列的渲染图，其中包括了每个光源在单位光强时的绘制结果。除此之外，我们也收集了部分的高质量室内场景真实照片来辅助增强我们的结果。我们把室内场景中的常用灯具分成了七类，构建了一个灯具库，其中每一个灯具模型的发光面都经过了标注。

图2 室内场景自动灯光设计数据集

五、光源布局与放置

我们的自动灯光设计框架使用迭代的方式来进行每个光源的布局与放置。图 3展示了光源布置的流程。我们首先将三维场景使用基于图像的方式进行表示，这种表示包含了场景结构、室内家具、地板、天花板和墙壁的几何信息以及语义信息，同时图像表示也方便了神经网络的学习。

在每一次迭代中，我们都需要进行两个基本的步骤：第一个是使用神经网络进行光源类别的选择以及判断是否停止迭代，第二个是使用神经网络进行光源位置的估计。对于筒灯和壁灯的放置，我们使用了特殊的策略来进行处理。具体来说，我们使用生成对抗网络来直接生成场景中所有筒灯的布局，我们增加了一个神经网络来预测壁灯在墙壁上的位置。

图3 自动光源布局流程图

六、灯光参数优化

在完成了光源的布局之后，我们需要进一步估计出最优的发光参数。图4 给出了我们的系统进行发光参数优化的流程。此流程主要包含两个计算步骤，第一个是使用神经网络来预测一个光照指导图，其代表了此场景进行了合理的照明后的视觉效果；第二个是对具体的灯光参数以之前得到的光照指导图作为目标进行优化求解。除此之外，我们还拓展了此流程从而利用真实室内照片对场景的光照效果进行增强。

图4 灯光参数优化流程图

七、定性实验

图 5展示了我们的结果和设计师在同场景下的结果。第一行展示了场景在没有进行光源放置时仅使用环境光遮蔽技术进行绘制的结果。第二行和第三行是我们的自动灯光框架生成的结果，其中第三行中的结果引入了真实照片进行了光照效果的增强。第四行展示了同场景下室内设计师得到的光照设计结果。

从结果上可以看出，我们的灯光设计具有合理的光源放置以及发光参数，能够合理的考虑房间布局以及房间中家具的放置，且能够取得和设计师相媲美的光照结果。

图5 我们的结果与设计师在同场景下的结果

图 6展示了我们的结果和基于规则的方法的结果。第一行展示了光源在自上向下与自下向上视角下观察的布局，第二三行展示了不同自然视角下的结果。可以看到，我们的方法生成的灯具布局更适合场景的已有家具放置与房间布局。不同于基于规则的方法，场景的走廊部分在我们的结果中也被充分照明。同时，我们的用户实验也进一步验证了我们的方法能够取得比基于规则的方法更优的结果。

图6 我们的结果与基于规则的方法的结果

八、定量实验

我们使用神经网络图像评价技术对我们的方法进行了进一步的定量验证。实验结果如表 1 使用神经网络图像评价技术得到的美学评价结果所示。从偏好百分比与平均分中可以看出，我们的结果可以获得和设计师相近的结果。同时，经过真实照片增强后的结果在这两个指标上还要优于设计师的结果。

表1 使用神经网络图像评价技术得到的美学评价结果

九、总结

这是全球首个数据驱动的室内智能灯光设计系统，同时构建了一个针对灯光设计任务的室内场景数据集。该系统能够从大规模三维场景数据集中学习到灯光设计的原则从而自动生成高质量的灯光设计结果。

一系列的实验表明了我们的系统可以适应不同房间结构与家具放置情况来生成出媲美专业设计师的灯光设计结果。不过我们当前的灯光设计任务局限在数字场景，对于真实世界场景中的灯光设计还需要考虑一些更加复杂的因素，例如人体工程学，抗眩光，节能和成本等方面，而这也是一个值得进一步探索的方向。

References：

[1] Haocheng Ren, Hangming Fan, Rui Wang, Yuchi Huo, Rui Tang, Lei Wang, and Hujun Bao. 2023. Data-driven Digital Lighting Design for Residential Indoor Spaces. ACM Trans. Graph. Just Accepted (January 2023). https://doi.org/10.1145/3582001