CSID-GAN:基于生成对抗网络的定制风格室内平面设计框架论文阅读

news/2024/12/21 20:24:38/

CSID-GAN: A Customized Style Interior Floor Plan Design Framework Based on Generative Adversarial Network

    • 摘要
    • 前言
    • II. CSID-GAN METHOD
      • A. Overall Framework
      • B. Algorithm and Loss Function
    • III. DATASETS AND EVALUATION METRICS
      • A. Datasets
      • B. Evaluation Metrics
    • IV. EXPERIMENT
      • A. Layout Design
      • B. Style Generation
    • V. CONCLUSION

前文参考 根据这篇论文的成果,作者进一步改进了一些方法,提高室内平面设计的效果。

摘要

生成设计作为一种革命性的设计方法,可以为智能设计提供很有前途的解决方案。考虑到传统室内设计固有的高费用和效率低,提出了一种基于生成对抗网络(GAN)的定制风格室内设计(CSID)框架。CSID-GAN是一个两阶段的生成模型,它可以首先生成合理的内部布局方案,然后生成个性化的风格,以达到理想的设计结果。为此,我们结合了各种损失函数来训练生成模型以完成不同的设计任务。数据集-模型缠绕方法(dataset-model twining method)被迭代地用来创建更多样化的设计方案,使模型能够广泛地学习个性化的设计概念。此外,为了对设计结果进行评价,在各阶段建立了一个综合评价体系,并验证了该评价体系的合理性和适用性。最后,采用CSID-GAN进行不同房屋布局的可选风格设计测试。实验结果验证了CSID-GAN的实际可行性。

前言

在室内平面规划方面,房间的布局和生活风格对客户选择室内设计[1]有很大的影响。由于个人的喜好和要求,设计师在经过许多轮的修改后努力提供一个令人满意的计划,这是一个耗时和昂贵的[2]。在有限的预算和时间下,大多数消费者很难从一些候选人那里获得一个令人满意的计划。因此,迫切需要智能生成,并推荐高质量的内部平面图。

人工智能(AI)为智能设计提供了很有前途的解决方案,可以减少设计人员的劳动,提高设计效率[3]、[4]、[5]、[6]、[7]、[8]、[9]。现有的基于人工智能的设计方法可以分为三大方面,即基于优化的、类比的和生成式的设计方法。给定体系结构配置,对于基于优化的设计方法,可以利用遗传算法(GA)和其他元启发式算法在给定的体系结构配置和需求[5],[10]下自动搜索最优设计结构。这种方法可以显著提高设计效率和质量,但在复杂的设计任务中往往存在缺陷。由于有效地组织大量的设计原则将带来巨大的挑战,基于优化的设计方法很少应用于复杂的设计。模拟设计可以准确地检索到可比的计划,并从以前的设计中快速提取出类似的项目,并最终为新的任务[11],[12]提供解决方案。但从源问题到目标案例的知识类比涉及到学习抽象关系的过程,这需要建立复杂的关系。此外,类比方法更多地可以作为辅助设计工具,而直接应用于新的设计案例仍然很困难。

作为一种数据驱动的深度学习方法,生成式设计从现有的设计解决方案中学习和总结模式,然后将其应用于新的设计上下文[13],[14],[15]。目前,生成设计的主要方法是利用生成对抗网络(GANs)。通过使用对抗性训练机制,GANs可以展示出有效地为未解决的问题生成设计解决方案的能力。例如,StructGAN为剪力墙住宅提供了一个基于gan的自动结构设计框架,能够快速生成结构设计解决方案[13]。此外,建筑-gan模型可以基于输入程序图[14]生成真实的三维建筑体积设计。基于深度学习的生成设计利用了现有的高质量设计,通过分析数据的分布特征,可以自动生成针对最新问题的解决方案。因此,在具体的一对一设计环境,如室内平面设计,生成设计方法也可以提供优越的设计性能。

在室内设计领域,已经有一些基于GANs [16]、[17]、[18]、[19]、[20]的图像生成设计的研究。其中,通过根据墙的外轮廓对不同功能区的布局进行划分,实现了对医院室内场景的较高的划分精度,在智能设计[16]方面取得了一定的进展。但是,无视对墙轮廓和剪力墙支撑的约束,可能会限制所产生的结果的适用性。另外的研究分析了gan生成的室内平面设计过程,并验证了生成方法实现智能室内平面设计[17]的可行性。然而,本研究仅验证了生成式对抗网络的处理能力。所生成的设计的质量还没有经过进一步的分析和评价。Archigan的模型可以为任何给定的输入房屋类型[18]快速生成相应的布局。然而,由于生成结果的模糊性和多风格设计的缺失,阻碍了本研究的实际应用。SD-GAN模型能够对建筑外剖面进行功能分割布局,生成建筑平面图[19]。但是,模型的结果仍然缺乏与程式化的设计解决方案的结合。对于具体的设计背景,现有的研究和模型已经在一定程度上实现了智能的室内地板设计。然而,仍然存在一些阻碍实际应用的限制。首先,当前模型的结果显示出相对有限的实际工程有效性。面向消费者的设计的具体实现将是相当具有挑战性的。此外,对设计结果仍缺乏完善的综合评价体系。

为了解决现有研究的主要问题,我们提出了一个基于gan的风格化的室内平面设计框架,CSID-GAN(定制风格的室内设计生成对抗网络)。该框架以实际的内墙结构作为输入条件,逐步实现房间和家具的布局设计和风格选择,最终生成可选风格的室内平面设计解决方案。为此,我们首先引入了pix2pixhd [21]网络架构作为基础模型。然后,利用不同的数据集和损失函数分别对布局设计和风格选择两项任务进行训练,最终得到两个生成式设计模型。此外,我们还为这两个设计任务开发了一个综合的评估系统,这有助于理解设计模型的性能和未来的改进方向。此外,最初的数据集缺乏复杂风格的室内平面设计,导致混合风格的设计质量低下,不能满足消费者的不同设计需求。为了解决这个问题,我们采用了一种数据集-模型缠绕的方法来有效地扩展训练数据集。通过迭代地将模型生成的混合程式化设计合并到训练数据中,模型获得了逐步生成更多样化的室内设计的能力,这最终提高了模型的实用性。本文的贡献如下:

1.我们提出了CSID-GAN,一种生成模型,它将室内设计过程分为两个阶段:布局设计和风格生成。对于每个设计任务,它都采用了集成的损失函数,以确保CSID-GAN能够有效地处理不同的生成任务。

2.建立综合考核体系,实现完整、客观的绩效考核。

3.采用数据集-模型缠绕的方法来提高生成质量,最终有助于实现个性化设计。

II. CSID-GAN METHOD

A. Overall Framework

CSID-GAN模型是一个基于图像的两阶段生成模型,总体框架如图1所示。

在这里插入图片描述

布局首先由墙壁草图生成,然后根据布局生成一个风格化的室内设计。首先,模型从输入的粗略草图中进行分析,掌握了各种元素的空间结构、大小和位置关系等关键信息。在此基础上,房间区域被精确地划分,家具被智能地布置,以完成初步的室内布局设计。随后,在第二阶段,基于之前生成的布局创建一个程式化的内部平面。不同的RGB颜色被分配给不同的样式,这允许消费者通过调整RGB值来实现个性化的样式偏好。由于基于图像的生成不可避免地导致生成标签的像素值不完全标准化,我们对布局结果进行后处理,如算法1所示。

在这里插入图片描述

因此,第一代第一阶段的培训可以看作是对潜在布局概念的学习,包括房间区域的划分和家具的放置。后一个阶段涉及到添加样式的过程,其中为不同的目标进行样式定制,最终导致风格化设计的自动生成。通过两阶段的生成方法,我们成功地完成了智能的室内设计,为消费者提供了个性化的、高质量的室内平面图设计解决方案。

B. Algorithm and Loss Function

我们采用基于pix2pixhd算法框架的生成模型,为不同的生成任务构建模型。pix2pixhd [21]是一种图像转换算法,pix2pixhd的核心利用条件生成对抗网络(cGANs)[22],可以允许生成器和鉴别器接收条件信息作为输入。在这项研究中,我们使用涉及房屋类型内容的墙壁草图作为条件信息。此外,pix2pixhd采用了多尺度策略,允许生成器和鉴别器操作图像从粗糙到精细。因此,我们的CSIDGAN模型遵循pix2pixhd的网络结构,并使用以下损失函数来训练生成模型。

cGAN损失:由于pix2pixhd算法是基于cGAN框架的,因此由cGAN损失产生的对抗性损失作为基础,其计算表示为:
L o s s c G A N ( G , D ) = E ( x , y ) [ l o g D ( x , y ) ] + E x [ l o g ( 1 − D ( x , G ( x ) ) ) ] Loss_{cGAN}(G,D)=E(x,y)[logD(x,y)]+E_x[log(1-D(x,G(x)))] LosscGAN(G,D)=E(x,y)[logD(x,y)]+Ex[log(1D(x,G(x)))]
其中,G和D分别为生成器和鉴别器,x为输入图像,y为真实图像。对于生成器,主要目标是产生接近真实的图像,以欺骗鉴别器。这意味着使鉴别器的评估D(x、G(x))尽可能接近1。另一方面,对于鉴别器来说,它的主要任务是区分真实图像和虚假图像,使D(x,G(x)尽可能接近于0,而D(x,y)尽可能接近于1。其优化目标如下:
m i n G m a x D L o s s c G A N ( G , D ) \mathop{min}\limits_{G}\mathop{max}\limits_{D}Loss_{cGAN}(G,D) GminDmaxLosscGAN(G,D)
特征匹配损失:在cGAN损失中增加辅助损耗可以提高[23]、[24]、[25]模型的生成能力。类似地,我们还将其他损失函数合并到生成器中,以提高其性能。首先,将D(x、G(x))和D (x、y)之间的L1损耗计算为生成器的特征匹配损耗,可记为:
L o s s F M ( G , D z ) = E ( x , y ) ∣ ∣ D z ( x , y ) − D z ( x , G ( x ) ) ∣ ∣ 1 Loss_{FM}(G,D_z)=E_{(x,y)}||D_z(x,y)-D_z(x,G(x))||_1 LossFM(G,Dz)=E(x,y)∣∣Dz(x,y)Dz(x,G(x))1
其中z表示鉴别器的尺度,z表示=为1,2,3。

特征匹配损失有助于保持生成图像与真实图像的一致性,进一步提高了结果的质量。此外,损耗在发生器和鉴别器之间建立了一个联合训练机制,允许它们共享特征空间,提高了稳定性和收敛速度。

不规则损失:不规则损失主要是为生成布局而设计的。在对抗训练过程中,生成模型学习数据集的概率分布,并逐渐将生成器与真实数据分布对齐。随后,生成符合数据集分布的新样本布局。但是,完全由分布开发的一代将导致许多问题,例如不规则的家具形状和噪音干扰[26],这可能会阻碍后期的生成。为了解决这些问题,我们建议生成器中添加不规则损耗,目标是使家具生成标准化,并以低概率滤除噪声。不规则性损失的计算过程如算法2所示。

在这里插入图片描述

第一步是确定要检测的家具和相应的标准属性,如长度、宽度、面积、比例等。其次,对生成的图像进行家具轮廓检测。然后,根据轮廓信息计算生成的家具的属性,作为损失计算的基础。由于不同家具间属性尺度的差异,损失计算的绝对误差会在生成过程中引入不公平。例如,考虑到床和厕所之间的大小差异,直接应用绝对误差将优先产生床,而俯瞰厕所。因此,利用MAPE的相对误差可以保证每件家具受到同等的关注,从而提高整体生成性能。不规则性损失的计算定义为:
L o s s I r r g = 1 k ⋅ m ∑ i = 1 k ∑ j = 1 m w j ⋅ ∣ A i j ( G ) − A i j ( N ) A i j ( N ) ∣ × 100 % Loss_{Irrg}=\frac{1}{k\cdot m}\sum_{i=1}^{k} \sum_{j=1}^{m} w_j\cdot \mid \frac{A_{ij}(G)-A_{ij}(N)}{A_{ij}(N)} \mid \times 100\% LossIrrg=km1i=1kj=1mwjAij(N)Aij(G)Aij(N)×100%

其中k表示等高线数;m为属性数,m = 4。A (G)和A (N)分别表示生成的属性和标准属性的属性;wj表示每个属性类别的权重。由于该模型对家具比例的适应性较低,因此优先保证生成的家具纵横比的正确性。即w[长度、宽度、面积、比例]=[0.2、0.2、0.25、0.35]。

VGG损失:我们利用预先训练好的VGG网络[27],在更高层次的语义层次上计算生成的图像和真实图像之间的特征相似性。首先,将两幅图像输入预先训练好的VGG网络,获得每一层的特征表示。然后,计算所选中间层的相应特征向量的l1损失。VGG损失的使用确保了生成的图像与真实图像共享相似的高级特征。因此,VGG损失主要用于风格设计阶段,以增强详细纹理的生成。VGG损失的计算方法如下:
L o s s V G G = ∑ i = 1 N [ ∣ ∣ F ( i ) ( y ) − F ( i ) ( G ( x ) ) ∣ ∣ 1 ] Loss_{VGG}=\sum_{i=1}^{N} [|| F^{(i)}(y)-F^{(i)}(G(x)) || _1] LossVGG=i=1N[∣∣F(i)(y)F(i)(G(x))1]
其中,i表示VGG网络的输出层,而i = 1对应于最外层。F (y)和F(G(x))分别表示真实图像和生成图像的VGG特征提取结果。

不同的损耗函数对生成器的引导有不同的影响。特征匹配损失主要有助于目标域内的整体结构信息的学习,可同时应用于布局设计和样式生成。不规则性损失集中于布局设计的过程中,确保生成的结果遵循已建立的先验知识。此外,VGG损耗在提高复杂纹理的生成方面表现出了突出的优势,这是风格生成的关键要求。在此基础上,我们系统地协调各种损失函数,以确保生成模型在处理不同任务时获得更好的性能。因此,在布局设计的训练过程中,我们结合了cGAN损失、特征匹配损失和不规则性损失,以确保生成的布局与真实的设计概念相一致,并表现出合理的结构。在风格生成方面,我们整合了cGAN损失、特征匹配损失和VGG损失,使模型能够准确地捕捉到所需的风格特征,从而生成最终的风格化的室内平面设计。

III. DATASETS AND EVALUATION METRICS

A. Datasets

目前,还没有现成的室内风格化平面图设计数据集,这突出了进行数据集收集和汇编的必要性。我们遵循之前[26]研究中描述的方法,创建了一个大约1200张图像的基础数据集,如图2所示。根据室内平面设计的要求,消费者期望根据自己的喜好定制房间和家具风格。然而,混合风格数据集的缺失带来了一个巨大的挑战,使得生成模型的直接训练能够产生定制的风格是不可行的[26]。

为了解决这个问题,我们采用了一种数据集-模型缠绕的方法来逐步增强混合风格的设计数据集,如图3所示。首先,利用初始数据集对模型进行训练,从而创建了一个初步的样式生成模型。随后,引入了混合风格的布局计划作为模型的测试输入,它产生的设计结果显示出不同程度的清晰度和纹理细节,从劣等到优等。我们直接评估了基于人类视觉感知的生成结果的质量。高质量的结果将被纳入初始数据集,以创建新的数据集。然后,更新后的数据集将用于额外的培训,从而开发出具有增强能力的第二代模型。通过迭代数据集的收集和模型的训练,逐步提高了模型的生成能力的有效性和性能。经过多次迭代,最终得到了一个高度优化的风格化设计模型,可以实现理想的混合风格设计。此外,通过这种方法,我们能够不断地完善模型,使其能够生成室内设计结果,与风格化设计具有更大的准确性和印象深刻。

在这里插入图片描述

B. Evaluation Metrics

由于CSID-GAN模型是一个两阶段的生成模型,我们分别对布局设计和风格生成进行了定量评价。评估生成的图像关键依赖于合理地量化世代和目标结果[28]、[29]、[30]、[31]、[32]之间的差异。现有的图像生成设计的评估指标主要依赖于像素级的评估,如Union的交叉点(IoU)和像素精度(PA),它们可以测量生成的像素精度和图像清晰度。然而,对内部结构设计的评估是复杂的,而仅基于像素的评估并不能充分地捕捉到内部结构及其与布局的相关性。此外,对多种风格的室内生成器设计的评价策略仍然缺乏。因此,我们提出了一个多风格室内平面设计的评价系统,包括布局设计和风格生成,并从各个角度对设计质量和优点进行了全面的评价。评价体系的概述见表一。

在这里插入图片描述

**布局设计:**作为室内设计的第一阶段,目标是根据提供的草图安排各自的房间区域和家具摆放。仅依赖像素级评估只能提供肤浅的评估,无法反映所生成设计的整体质量。因此,我们在像素和特征级别对布局设计进行了全面的评估。像素级评估指标包括联合平均交点(MIoU)和Dice系数,通过像素精度反映排列的准确性和合理性。MIoU和Dice系数的计算表示为:
M I o U = 1 n ∑ i = 1 n w i I n t e r i U n i o n i MIoU=\frac{1}{n} \sum_{i=1}^{n}w_i \frac{Inter_i}{Union_i} MIoU=n1i=1nwiUnioniInteri

D i c e = 1 n ∑ i = 1 n w i 2 × I n t e r i P r e i + T r u i Dice=\frac{1}{n} \sum_{i=1}^{n}w_i \frac{2 \times Inter_i}{Pre_i+Tru_i} Dice=n1i=1nwiPrei+Trui2×Interi

其中,Inter代表交叉区域的面积,Union区域是联合区域的面积。Pre和Tru分别对应于生成的区域和目标区域,wi为各类区域的计算权重。

通过从生成的设计和目标设计中提取特征,分别得到深度特征张量。然后对这两个张量之间的差异进行量化计算。由于预训练的VGG19模型在图像特征提取中具有强大的广义能力,因此我们采用该模型作为评价系统中特征提取的基础模型。为了保证评估的客观性,我们采用了两个特征提取器:自训练的自动编码器[33]和预训练的VGG19模型[27]。该自动编码器采用基于卷积层的网络架构进行训练,并以布局设计作为数据集。其网络模型如图4所示。

在这里插入图片描述

预先训练好的VGG19网络接受分辨率为224×224的图像输入。因此,我们首先将生成和目标设计的大小调整到标准格式,然后将它们作为VGG19模型的输入,最终可以得到两组1000维的特征向量。对于这两组特征向量,分别利用均方误差(MSE)来计算特征水平上的差异。该过程可以在特征空间中实现更全面的目标质量评估,计算表示为:
F e a t v g g = 1 n ∑ i = 1 n ∣ ∣ V g g ( G ) i − V g g ( T ) i ∣ ∣ 2 Feat_{vgg}=\frac{1}{n} \sum_{i=1}^{n}||Vgg(G)_i-Vgg(T)_i||^2 Featvgg=n1i=1n∣∣Vgg(G)iVgg(T)i2

F e a t A E = 1 n ∑ i = 1 n ∣ ∣ A E ( G ) i − A E ( T ) i ∣ ∣ 2 Feat_{AE}=\frac{1}{n} \sum_{i=1}^{n}||AE(G)_i-AE(T)_i||^2 FeatAE=n1i=1n∣∣AE(G)iAE(T)i2

其中,Vgg (G)和Vgg (T)分别表示生成的设计和目标设计的Vgg特征向量,而AE (G)和AE(T)分别表示生成的设计和目标设计的编码器特征。n表示特征向量的维数

**风格生成:**以布局设计作为输入信息,第二阶段的目的是生成可选的风格室内设计图纸。在这个过程中,区域和家具位置的划分保持固定,并通过添加纹理信息来实现不同的风格。此外,该模型允许混合和定制多种设计风格。换句话说,对于相同的布局,该模型不仅期望产生不同的设计,如欧洲风格和极简主义风格,而且还期望产生混合风格的设计,以满足消费者的个性化需求。在这种情况下,已经开发了合格的评估指标,以分别评估多风格和混合风格的设计能力。建立了一种基于风格聚类的多风格特征评价方法。该方法以设计图纸为输入,分别计算三种不同风格的特征评价值,为多风格生成能力提供了客观的评价。

具体来说,对多风格生成的评价如下:首先,利用预训练好的VGG19模型从数据集中的所有风格设计中提取特征,并得到相应的特征向量。这些特征向量创建了一个多样式设计的特征库。接下来,我们使用k-means算法对特征库中的样式特征进行聚类。在这个过程中,集群的数量被预定义为3,这将导致三个集群中心的形成,每个集群中心代表不同的风格参考向量。然后,对待评估的设计图纸进行特征提取,得到其特征向量。并计算特征向量与三个参考样式向量之间的相似度值,旨在量化设计图与每个样式的接近程度。最终,这些评价值反映了不同风格生成的有效性。由于余弦相似度有利于对向量的绝对大小不敏感,因此可以准确地捕获向量之间的相似性。因此,在特征相似度评估过程中采用余弦相似度,计算公式记为如下
S I ( i ) = V G G ( G ) ⋅ S t y l e ( i ) ∣ ∣ V G G ( G ) ∣ ∣ ∣ ∣ S t y l e ( i ) ∣ ∣ , i = 1 , 2 , 3 SI(i)=\frac{VGG(G) \cdot Style(i)}{||VGG(G)||\quad ||Style(i)||} ,i=1,2,3 SI(i)=∣∣VGG(G)∣∣∣∣Style(i)∣∣VGG(G)Style(i),i=1,2,3
其中,SI (i)表示样式i的相似性评估值,VGG (G)表示生成结果G的VGG特征,Style (i)表示样式i的参考向量。通过这种方法,我们可以评估模型生成各种风格的设计的能力,这为设计过程提供了重要的参考和指导。

当前的数据集排除了具有混合样式的设计图纸,这将导致混合样式的生成缺乏相应的目标设计。因此,不能通过该评估来量化生成的图像和目标图像之间的差异来执行。为此,我们在StyleGAN [34]中引入了感知路径长度的概念,并将其纳入到混合风格设计的评价方法中。感知路径长度主要用于测量生成图像之间转换的平滑性,这可以反映模型生成不同图像的能力。较小的感知路径长度表明潜在空间的过渡更平滑,因此意味着生成的不同图像具有更高的稳定性。与室内平面设计类似,各种结合了两种风格的混合风格设计可以被视为从一种风格到另一种风格的中间过渡状态。因此,我们首先基于基本的风格设计来生成一系列的混合风格设计。通过依次计算和求和这些混合风格设计与两种整体风格设计之间的感知距离,我们可以有效地测量模型的特征可分性和整体混合风格的生成能力。此外,对过渡国家进行更详细的细分可以进一步提高评价的准确性。本研究将感知距离的计算定义为:
P e r t l e n = ∑ i = 0 m − 1 ∣ ∣ F ( G i + 1 − F ( G i ) ) ∣ ∣ Pertlen=\sum_{i=0}^{m-1}||F(G_{i+1}-F(G_i))|| Pertlen=i=0m1∣∣F(Gi+1F(Gi))∣∣
其中G0和Gm分别为第一种和第二种整体风格的设计结果。{G1,G2,…,Gm−1}代表混合风格设计的中间过渡状态,范围从G0到Gm。F(·)为获取图像对应的特征向量的过程。在本文中,我们利用预先训练好的VGG19模型进行特征提取。最后,完整的评价体系如图5所示。

在这里插入图片描述

IV. EXPERIMENT

基于所提出的CSID-GAN模型和相应的评价方法,我们对多风格室内平面平面设计进行了实验验证。考虑到整个模型涵盖了两个生成任务,本节分别进行了布局设计和样式生成的实验,并对实验结果进行了定量的评价和深入的分析。

A. Layout Design

利用预处理后的草图和布局数据集,我们首先对CSID-GAN模型进行了布局设计实验。此外,我们还比较了两种高效的GAN算法,pix2pix [35]和pix2pixhd的生成性能。测试数据将根据房屋类型分为五套,包括**两间卧室,一间浴室;两间卧室,两间浴室;有卧室,一间浴室;有卧室,两间浴室和四间卧室,两间浴室。**为了确保比较实验的公平性,我们使用相同的数据集进行了1000个室内平面设计和一致的训练迭代训练(epoch=300)。随后,我们对每个模型的五组草图进行了模型生成测试,然后在像素和特征水平上进行了全面的定量评估。值得注意的是,pix2pix算法模型仅限于处理分辨率为256×256像素的图像。因此,我们对分辨率为1024×1024的原始数据集进行了比例大小调整,以确保在训练pix2pix模型之前,设计图像符合标准格式。此外,为pix2pix模型精心选择的参数配置为:批量大小为8,学习速率设置为0.0005,训练周期为200,使用动量参数(β1)设置为0.5。同样地,在pix2pixhd中为最佳性能量身定制的参数需要批量大小为2,学习率建立在0.0002,历元计数为300,在150个历元后衰减,以及采用β1设置为0.5的Adam优化器。这些参数的选择已被采用来增强各模型在布局图像设计任务中的效率和有效性。所有实验都是在NVIDIA GeForce RTX 4090芯片上完成的,英特尔酷睿i7-13700KCPU,3.4 GHz和64 GB RAM。pix2pix、pix2pixhd和CSID-GAN的总消耗时间消耗分别为0.82小时、3.67小时和4.04小时。

在这里插入图片描述

布局设计的部分测试结果如图6所示。由于缺乏设计原则,pix2pix和pix2pixhd完全依赖数据集分布,导致噪声干扰。相比之下,我们的模型引入了标准的家具属性,通过结合不规则性损失来指导家具的生成,最终实现了优越的家具设计。此外,家具的产生与各自的区域位置之间有很强的相关性;例如,床只在卧室区域内生成。因此,标准化家具的产生,反过来又促进了相应区域的创造,从而有效地抑制了这些区域内的噪音。因此,我们的模型展示了优秀的内部布局能力,以及增强的鲁棒性和增强的对噪声干扰的抵抗力。对布线图设计进行了定量评价,具体结果见图7和表2。

在这里插入图片描述

在这里插入图片描述

MIoU和Dice值越高,说明像素一致性水平越高,而Featvgg和FeatAE值越低,说明生成的设计和目标设计之间的结构特征差异越小。在多类测试场景中,CSID-GAN模型的MIoU和Dice评价均持续超过0.7,表明其内部布局设计具有卓越的精度。此外,我们的模型的输出和目标设计之间的特征向量差异被显著地最小化,这证实了在布局设计中提高的整体可靠性的提高。这些评价结果与图6中的可视化表示相一致,说明了这些方法和指标的合理性和适用性。

因此,CSID-GAN在像素精度和结构特征质量方面始终优于其他替代算法。这突出了我们的模型在室内布局设计中的卓越的性能,以其稳定性提高,整体设计卓越。

B. Style Generation

利用初始数据集的布局和平面图设计作为训练集,我们将验证CSID-GAN模型在生成多风格设计中的能力。首先,在相同的测试布局上进行样式选择,从而产生了三种不同的设计风格。随后,使用基于风格聚类的方法进行评估,最终得到一组从−1到1的风格特征值。评价值越高,说明设计与所选风格之间的一致性越大,而评价值越低,说明差异性越大。多样式生成的测试和评价结果如图8所示。显然,这几代多风格的设计充满了复杂的特征纹理细节。结果表明,我们在产生不同尺寸的家具方面具有显著的适应性,进一步证实了我们的模型在多风格设计方面的卓越性。此外,不同风格的设计结果始终达到最高的风格评价得分,从而证实了我们的风格评价方法的正确性。

在这里插入图片描述

考虑到在最近的数据集中缺乏包含多种风格的室内平面设计,这种限制可能会限制模型获得多样化设计思维的能力。为了解决这一挑战,我们进行了基于数据集-模型缠绕方法的数据集增强实验。同时,采用独立于缠绕技术的pix2pixhd算法模型进行了比较实验。然后,采用欧洲和极简主义设计风格的组合来进行测试,从而在图9(a).中显示了部分设计代此外,对于测试的结果,我们使用感知距离作为评价度量来量化每个阶段的生成性能。相应的评价结果如图9(b).所示

在这里插入图片描述

很明显,缺乏足够的数据集给生成可选的风格设计带来了挑战,导致了与pix2pixhd模型中的纹理无序和细节丢失相关的问题。此外,pix2pixhd在各模型中感知距离评价得分最高,说明多个混合设计之间的过渡明显不平滑。最后,pix2pixhd不能完全实现可选风格的个性化内部地板设计。当使用数据集-模型缠绕方法时,数据集得到了全面的丰富,使模型能够从新的设计图像中捕获不同的设计概念。随着迭代次数的增加,初始数据集中缺少的混合风格设计逐渐被细化。生成模型逐步提高了对宽风格设计的学习,可以有效地解决与混合风格设计中的无序纹理有关的问题。同时,Pertlen得分持续下降,表明模型对混合风格生成的生成能力有所提高。因此,实验结果表明,数据集-模型缠绕方法的迭代实现系统地提高了模型生成风格化设计的能力,从而使模型的整体性能稳定收敛。此外,数据集-模型缠绕的持续合并将进一步放大这一学习过程。同时,解决了在pix2pixhd生成过程中观察到的问题,如纹理退化。

经过多次的细化,我们最终获得了一个特殊的生成设计模型。这种模式擅长于功能分离,允许消费者根据自己的个人喜好,选择不同的房间和家具的设计风格。因此,利用训练有素、高能力的CSID-GAN生成模型,第一步涉及获得房间草图的布局设计,包括区域划分和家具布置。随后,将风格选择应用于该布局结果,并将风格化的布局结果输入到风格生成模型中,最终通过灵活选择房间区域和家具的风格来获得首选的设计方案。基于这种方法,我们在室内风格化设计中进行了广泛的实验,最终的设计结果如图10所示。

在这里插入图片描述

V. CONCLUSION

本文提出了一种定制风格的室内楼层平面设计框架(CSID-GAN),以有效地将墙壁草图映射到定制的风格化的室内元素设计中。开发并采用了一种综合评价体系,用于布局设计和风格生成的分析。实验分析证明了该评价系统和所提出的CSID-GAN的有效性和合理性。最终,出色的CSID-GAN使消费者能够亲自选择高效、高质量和低成本的首选家具和房间风格的设计。已得出以下结论:

首先,将设计原则纳入损失函数,可以有效地减少对数据集分布的依赖,增强生成设计的合理性。

其次,基于像素和基于特征的评价方法可以对内部平面平面设计形成更全面的评价。而预训练后的VGG19模型在图像特征提取过程中得到了良好的应用。

第三,数据集-模型缠绕方法在增强数据集多样性方面已被证明是成功的,从而能够生成各种可选样式。

虽然CSID-GAN在室内设计方面取得了令人满意的设计结果,但仍有一些挑战有待进一步解决。基于像素数据的生成设计方法在直接建立单个像素之间的结构关系方面将面临挑战。当将先验知识纳入训练过程时,这种限制导致了额外的计算负担。图数据可以充分地将先验知识集成到节点和边的表示中,具有优越的可解释性。我们未来的工作有望开发一种新的基于图神经网络[36]的设计框架,以实现更灵活的设计过程。此外,还将精心设计相应的图表示方法。


http://www.ppmy.cn/news/1536709.html

相关文章

【秋招笔试】10.08华为荣耀秋招(已改编)-(第二套)题解

🍭 大家好这里是 春秋招笔试突围,一起备战大厂笔试 💻 ACM金牌团队🏅️ | 多次AK大厂笔试 | 大厂实习经历 ✨ 本系列打算持续跟新 春秋招笔试题 👏 感谢大家的订阅➕ 和 喜欢💗 和 手里的小花花🌸 ✨ 笔试合集传送们 -> 🧷春秋招笔试合集 本次的三题全部上线…

毕设 深度学习语义分割实现弹幕防遮(源码分享)

文章目录 0 简介1 课题背景2 技术原理和方法2.1基本原理2.2 技术选型和方法 3 实例分割4 实现效果最后 0 简介 今天学长向大家分享一个毕业设计项目 毕业设计 深度学习语义分割实现弹幕防遮(源码分享) 🧿 项目分享:见文末! 1 课题背景 弹幕是显示在视频上的评论…

滚雪球学MySQL[5.2讲]:并发事务的处理

全文目录: 前言5.2 并发事务的处理1. 锁机制详解1.1 行锁(Row Locks)行锁的工作机制示例1:共享锁与排他锁 1.2 表锁(Table Locks)表锁的工作机制示例2:表锁的使用 1.3 行锁与表锁的对比 2. 死锁…

大语言模型入门(二)——提示词

一、什么是提示词 大语言模型(LLM)的提示词(Prompt)是与模型交互的关键,它影响着模型的输出结果。提示词(Prompt)和提示工程(Prompt Engineering)密切相关。什么又是提示…

Oracle中ADD_MONTHS()函数详解

文章目录 前言一、ADD_MONTHS()的语法二、主要用途三、测试用例总结 前言 在Oracle数据库中,ADD_MONTHS()函数用于在日期中添加指定的月数。 一、ADD_MONTHS()的语法 ADD_MONTHS(date, n) 其中,date是一个日期值,n是一个整数值&#xff0c…

【Linux】进程控制(创建、终止、等待、替换)

文章目录 1. 进程创建2. 进程终止3. 进程等待4. 进程程序替换4.1 认识进程替换4.2 认识全部接口 1. 进程创建 如何创建进程我们已经在之前学习过了,无非就是使用fork(),它有两个返回值。创建成功,给父进程返回PID,给子进程返回0&…

【JavaEE】——文件IO

阿华代码,不是逆风,就是我疯 你们的点赞收藏是我前进最大的动力!! 希望本文内容能够帮助到你!! 目录 一:认识文件 1:文件的概念 2:文件的结构 3:文件路径…

2024年华为OD机试真题-空栈压数-Python-OD统一考试(E卷)

最新华为OD机试考点合集:华为OD机试2024年真题题库(E卷+D卷+C卷)_华为od机试题库-CSDN博客 每一题都含有详细的解题思路和代码注释,精编c++、JAVA、Python三种语言解法。帮助每一位考生轻松、高效刷题。订阅后永久可看,发现新题及时跟新。 题目描述: 向一个空栈压入…