一种基于建筑图像生成PCG配置文件的方法及装置与流程
本公开涉及程序化内容生成(procedural content generation,pcg),具体涉及一种基于建筑图像生成pcg配置文件的方法及装置。
背景技术:
1、pcg是指通过预设的算法规则和参数,自动或半自动地生成数字内容的一类技术。在建筑设计和三维内容生成领域,pcg技术已被广泛应用于自动化建筑模型创建。相比传统手工建模,pcg能够通过算法规则和数据驱动的方式生成复杂的三维建筑模型,具有效率高、可复用性强、易于批量生成等优势。
2、目前,基于pcg的建筑生成方案通常依赖人工编写详细的配置文件,其中需要定义楼层划分、组件参数、排列规则等大量结构化信息。此类配置文件的编写要求专业人员具备深入的建筑领域知识,且过程耗时、容易出错,难以满足大规模或快速迭代的内容生产需求。
技术实现思路
1、本公开实施例的目的是提供一种基于建筑图像生成pcg配置文件的方法及装置,以降低pcg技术使用门槛,满足大规模或快速迭代的内容生产需求。
2、第一方面,本公开实施例提供了一种基于建筑图像生成pcg配置文件的方法,其特征在于,包括:接收输入的建筑图像;对建筑图像进行预处理,得到标准化建筑立面图像,并在预处理过程中估算建筑图像中建筑主体的长高比;利用多模态大语言模型对标准化建筑立面图像进行第一语义识别,得到语义特征;基于语义特征生成初始配置对象,其中,初始配置对象包括第一信息粒度的初始立面参数;基于初始立面参数对标准化建筑立面图像进行第二语义识别,得到第二信息粒度的立面配置数组,第二信息粒度精细于第一信息粒度;将长高比和立面配置数组聚合,生成建筑图像对应的pcg配置文件。
3、一个可选的实施方式中,对建筑图像进行预处理,得到标准化建筑立面图像,并在预处理过程中估算建筑图像中建筑主体的长高比,包括:通过图像分割算法识别建筑图像中建筑主体,并将建筑主体与背景区域分离,得到建筑主体掩码图像;基于建筑主体掩码图像,计算建筑主体在垂直方向上的像素跨度与水平方向上的像素跨度的比值,得到长高比;基于建筑主体掩码图像,检测建筑主体的建筑立面的消失点和边缘线;基于消失点和边缘线估算透视变换矩阵;基于透视变换矩阵对建筑图像中建筑主体区域执行逆透视变换,以消除透视畸变,恢复建筑立面的正交投影特征,得到标准化建筑立面图像。
4、一个可选的实施方式中,语义特征包括以下至少一种:(a)轮廓特征,包括标准化建筑立面图像中建筑立面的整体轮廓形状和边界走向;(b)纹理模式,包括建筑立面各区域的材质纹理特征;(c)组件分布,包括建筑组件在建筑立面中的位置分布规律和排列模式。
5、一个可选的实施方式中,基于语义特征生成初始配置对象,包括:获取预定义配置模板,预定义配置模板中定义了pcg配置文件中关于楼层、组件和立面列结构的字段结构;根据预定义配置模板将语义特征映射到对应的配置字段中,生成符合pcg配置文件格式要求的初始配置对象;其中,初始配置对象中初始立面参数包括关于楼层划分、组件定位和立面列结构的初始值,初始值属于第一信息粒度。
6、一个可选的实施方式中,基于初始立面参数对标准化建筑立面图像进行第二语义识别,得到第二信息粒度的立面配置数组,包括:以初始立面参数中各初始值作为先验约束,在由各初始值限定的候选区域内对标准化建筑立面图像进行第二语义识别,得到第二信息粒度的立面配置数组;其中,第二语义识别包括楼层语义识别、组件语义识别和立面列结构识别,立面配置数组包括楼层对象数组、组件对象数组和列对象数组。
7、一个可选的实施方式中,楼层语义识别,包括在楼层划分的初始值限定的候选区域内,通过分析标准化建筑立面图像中水平方向上的重复纹理模式,识别楼层分界线并计算总楼层数;根据楼层分界线的间距比例和总楼层数,结合建筑图像对应建筑类型的先验层高范围,估算各层的层高数值;通过分析建筑顶部区域的轮廓形状和纹理特征,识别屋顶类型;生成楼层对象数组,其中每个楼层对象包含楼层编号、层高数值和屋顶类型,楼层编号从底层到顶层依次递增;
8、一个可选的实施方式中,组件语义识别,包括在组件的初始值限定的候选区域内,识别各建筑组件的边界框以及各建筑组件在立面坐标系中的坐标位置;根据各建筑组件的形状特征和上下文关系,确定各建筑组件的组件类型;根据各建筑组件的边界框和立面整体比例尺,计算各建筑组件的宽度和高度;生成组件对象数组,其中每个组件对象包含全局唯一组件标识符、组件类型、宽度、高度和坐标位置;
9、一个可选的实施方式中,立面列结构识别,包括在立面列结构的初始值限定的各列候选区域内,将建筑立面划分为若干列,确定每列的边界位置;根据各列在建筑立面上的凹凸关系,确定每列的列状态为普通、凸出或凹陷;根据各列的边界位置及各楼层在该列区域内的组件分布,确定每列所引用的组件标识列表;生成列对象数组,其中每个列对象包含列索引、列状态、组件标识列表和偏移量,偏移量用于表征该列在凸出或凹陷状态下相对于立面基准面的深度偏移值。
10、一个可选的实施方式中,将长高比和立面配置数组聚合,生成pcg配置文件,包括:基于立面配置数组中的楼层对象数组,计算总楼层数和建筑整体高度;基于立面配置数组中的组件对象数组和列对象数组,计算建筑整体宽度;将总楼层数、建筑整体高度、建筑整体宽度和/或长高比填充为几何参数对象;将几何参数对象与立面配置数组聚合为json格式的结构化pcg配置文件。
11、一个可选的实施方式中,将长高比和立面配置数组聚合,生成pcg配置文件,包括:在接收到的建筑图像包括针对同一建筑多个不同视角下的建筑图像的情况下,将多个不同视角下的长高比和立面配置数组进行聚合,生成包含多个立面信息的pcg配置文件。
12、一个可选的实施方式中,在生成建筑图像对应的pcg配置文件之后,方法还包括:接收输入的更新建筑图像,更新建筑图像为对建筑图像中建筑主体改造后拍摄得到的图像;基于更新建筑图像和建筑图像,确定建筑主体的变化区域;确定变化区域在已生成的pcg配置文件中所对应的配置字段,配置字段包括受影响的楼层对象、组件对象或列对象中的至少一种;对变化区域对应的配置字段进行局部更新,生成更新后的pcg配置文件。
13、第二方面,本公开实施例提供了一种基于建筑图像生成pcg配置文件的装置,包括:
14、接收模块,用于接收输入的建筑图像;
15、预处理模块,用于对建筑图像进行预处理,得到标准化建筑立面图像,并在预处理过程中估算建筑图像中建筑主体的长高比;
16、第一语义识别模块,用于利用多模态大语言模型对标准化建筑立面图像进行第一语义识别,得到语义特征;
17、初始配置对象生成模块,用于基于语义特征生成初始配置对象,其中,初始配置对象包括第一信息粒度的初始立面参数;
18、第二语义识别模块,用于基于初始立面参数对标准化建筑立面图像进行第二语义识别,得到第二信息粒度的立面配置数组,第二信息粒度精细于第一信息粒度;
19、pcg配置文件生成模块,用于将长高比和立面配置数组聚合,生成建筑图像对应的pcg配置文件。
20、一个可选的实施方式中,预处理模块,用于:通过图像分割算法识别建筑图像中建筑主体,并将建筑主体与背景区域分离,得到建筑主体掩码图像;基于建筑主体掩码图像,计算建筑主体在垂直方向上的像素跨度与水平方向上的像素跨度的比值,得到长高比;基于建筑主体掩码图像,检测建筑主体的建筑立面的消失点和边缘线;基于消失点和边缘线估算透视变换矩阵;基于透视变换矩阵对建筑图像中建筑主体区域执行逆透视变换,以消除透视畸变,恢复建筑立面的正交投影特征,得到标准化建筑立面图像。
21、一个可选的实施方式中,语义特征包括以下至少一种:(a)轮廓特征,包括标准化建筑立面图像中建筑立面的整体轮廓形状和边界走向;(b)纹理模式,包括建筑立面各区域的材质纹理特征;(c)组件分布,包括建筑组件在建筑立面中的位置分布规律和排列模式。
22、一个可选的实施方式中,初始配置对象生成模块,用于获取预定义配置模板,预定义配置模板中定义了pcg配置文件中关于楼层、组件和立面列结构的字段结构;根据预定义配置模板将语义特征映射到对应的配置字段中,生成符合pcg配置文件格式要求的初始配置对象;其中,初始配置对象中初始立面参数包括关于楼层划分、组件定位和立面列结构的初始值,初始值属于第一信息粒度。
23、一个可选的实施方式中,第二语义识别模块,用于:以初始立面参数中各初始值作为先验约束,在由各初始值限定的候选区域内对标准化建筑立面图像进行第二语义识别,得到第二信息粒度的立面配置数组;其中,第二语义识别包括楼层语义识别、组件语义识别和立面列结构识别,立面配置数组包括楼层对象数组、组件对象数组和列对象数组。
24、一个可选的实施方式中,第二语义识别模块,用于:在楼层划分的初始值限定的候选区域内,通过分析标准化建筑立面图像中水平方向上的重复纹理模式,识别楼层分界线并计算总楼层数;根据楼层分界线的间距比例和总楼层数,结合建筑图像对应建筑类型的先验层高范围,估算各层的层高数值;通过分析建筑顶部区域的轮廓形状和纹理特征,识别屋顶类型;生成楼层对象数组,其中每个楼层对象包含楼层编号、层高数值和屋顶类型,楼层编号从底层到顶层依次递增;
25、一个可选的实施方式中,第二语义识别模块,用于:在组件的初始值限定的候选区域内,识别各建筑组件的边界框以及各建筑组件在立面坐标系中的坐标位置;根据各建筑组件的形状特征和上下文关系,确定各建筑组件的组件类型;根据各建筑组件的边界框和立面整体比例尺,计算各建筑组件的宽度和高度;生成组件对象数组,其中每个组件对象包含全局唯一组件标识符、组件类型、宽度、高度和坐标位置;
26、一个可选的实施方式中,第二语义识别模块,用于:在立面列结构的初始值限定的各列候选区域内,将建筑立面划分为若干列,确定每列的边界位置;根据各列在建筑立面上的凹凸关系,确定每列的列状态为普通、凸出或凹陷;根据各列的边界位置及各楼层在该列区域内的组件分布,确定每列所引用的组件标识列表;生成列对象数组,其中每个列对象包含列索引、列状态、组件标识列表和偏移量,偏移量用于表征该列在凸出或凹陷状态下相对于立面基准面的深度偏移值。
27、一个可选的实施方式中,pcg配置文件生成模块,用于:基于立面配置数组中的楼层对象数组,计算总楼层数和建筑整体高度;基于立面配置数组中的组件对象数组和列对象数组,计算建筑整体宽度;将总楼层数、建筑整体高度、建筑整体宽度和长高比填充为几何参数对象;将几何参数对象与立面配置数组聚合为json格式的结构化pcg配置文件。
28、一个可选的实施方式中,pcg配置文件生成模块,用于:在接收到的建筑图像包括针对同一建筑多个不同视角下的建筑图像的情况下,将多个不同视角下的长高比和立面配置数组进行聚合,生成包含多个立面信息的pcg配置文件。
29、一个可选的实施方式中,更新模块,用于接收输入的更新建筑图像,更新建筑图像为对建筑图像中建筑主体改造后拍摄得到的图像;基于更新建筑图像和建筑图像,确定建筑主体的变化区域;确定变化区域在已生成的pcg配置文件中所对应的配置字段,配置字段包括受影响的楼层对象、组件对象或列对象中的至少一种;对变化区域对应的配置字段进行局部更新,生成更新后的pcg配置文件。
30、第三方面,本公开实施例提供了一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如上述第一方面的方法的步骤。
31、第四方面,本公开实施例提供了一种计算设备,包括:
32、存储器,用于存储计算机程序产品;
33、处理器,用于执行存储器中存储的计算机程序产品,且该计算机程序产品被执行时,实现如上述第一方面的方法。
34、第五方面,本说明书一个或多个实施例还提供了一种计算机程序产品,计算机程序产品包括一个或多个程序,当一个或多个程序在电子设备上运行时,使得电子设备实现上述第一方面的方法。
35、在本公开实施例提供的基于建筑图像生成pcg配置文件的方法及装置,该方法通过接收建筑图像,经预处理得到标准化建筑立面图像并估算长高比,再利用多模态大语言模型进行第一语义识别生成包含第一信息粒度初始立面参数的初始配置对象,继而基于初始立面参数进行第二语义识别得到第二信息粒度的立面配置数组,最终将长高比与立面配置数组聚合生成pcg配置文件。该方法具有以下技术效果:
36、(1)实现了从单张建筑图像到结构化pcg配置文件的端到端自动生成。通过将图像预处理、第一语义识别、第二语义识别和配置聚合有机整合为完整的处理流水线,直接从建筑图像中自动提取结构化的pcg配置信息,无需人工编写配置文件或手动干预处理过程,显著提升了建筑内容生成的自动化程度和效率。
37、(2)通过预处理提升了输入图像质量。例如可以通过背景移除、长高比估算和立面透视矫正的有序串联处理,消除了原始建筑图像中的背景干扰和透视畸变,恢复了建筑立面的正交投影特征,为后续语义识别提供了标准化的高质量输入,避免了图像畸变对识别精度的影响。
38、(3)通过两级语义识别架构兼顾了全局语义理解与局部测量精度。第一语义识别利用多模态大语言模型进行宏观语义理解,生成粗粒度的初始立面参数作为先验约束;第二语义识别在初始立面参数的引导下,在缩小的候选区域内进行精确测量和分类,生成精细粒度的立面配置数组。该两级架构有效解决了单一大模型方案局部精度不足和单一视觉方案缺乏全局约束的各自缺陷,兼顾了全局理解能力和局部测量精度。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com