一种面向三维浮雕建模的灰度高度图生成方法、装置、电子设备及可读存储介质与流程
本公开涉及三维浮雕建模,涉及一种面向三维浮雕建模的灰度高度图生成方法、装置、电子设备及可读存储介质。
背景技术:
1、在三维浮雕建模、数字雕刻、数控机床精加工及3d打印等现代制造与设计应用场景中,将二维图像转换为面向三维浮雕建模的灰度高度图,需要为图像中的每一个像素估计出一个与浮雕表面起伏相对应的高度值,使得高度值较大的区域对应浮雕的凸起、高度值较小的区域对应浮雕的凹陷,从而供后续的雕刻或打印设备据此加工出具有立体起伏的浮雕实物。
2、相关技术中,通常借助单目深度估计的方式来获得上述高度信息,即把一幅二维图像送入一个深度估计网络,由该网络一次性回归出整幅图像的相对深度,再将相对深度直接当作高度值使用。该方式通常依赖于如下前提:深度估计网络是面向自然场景拍摄的照片训练的,其输出在意义上对应的是一种远近层次关系,而自然照片中相邻物体之间往往存在明确的远近落差,网络只需把这种落差区分出来即可。
3、然而面向浮雕建模的输入图像并不满足这一前提。浮雕的设计稿往往是主体紧贴背景、主体内部各部位之间起伏差异细微的平面图案,主体与背景之间不存在自然照片那样明确的远近落差,主体内部的纹路、衣褶、毛发等细节在原图上仅表现为亮度或线条的细微变化。把这类图像送入按远近层次训练的深度估计网络后,由于输入图像中缺乏可供深度估计网络准确利用的远近落差信息,容易导致对主体与背景的区分不够清晰,本应被压平归零的背景区域被赋予了与主体相近甚至连续过渡的高度值,使背景与主体在高度上粘连在一起;同时还容易降低生成高度图对主体内部细微起伏和局部轮廓细节的表达能力,本应保留为清晰转折的边缘被估计成一段连续的缓坡,相邻部位之间本应存在的高度层次被抹平,原图上清晰的纹路线条在高度值上退化为模糊的过渡。
4、这样得到的灰度高度图送入雕刻或打印设备后,背景无法与主体分离而被一同凸起,主体的轮廓边界因缺乏清晰转折而无法被准确加工表达,细节纹路因层次被抹平而在成品上消失或糊成一片,最终雕刻出的浮雕实物背景脏乱、主体边界含糊、表面起伏与设计稿严重不符,无法作为合格的浮雕件交付。
技术实现思路
1、本公开提供了一种面向三维浮雕建模的灰度高度图生成方法、装置、电子设备及可读存储介质,能够改善相关技术中根据二维图像生成浮雕灰度高度图时,难以同时兼顾整体高度层次的协调性与轮廓边界、局部细节的清晰度,所生成的高度图易出现背景与主体粘连、整体高度层次不协调、轮廓模糊或细节丢失的问题。
2、根据本公开实施例的第一方面,提供一种面向三维浮雕建模的灰度高度图生成方法,由电子设备执行,所述方法包括:
3、获取待处理的二维图像对应的初始深度表征图像和轮廓结构表征图像,所述初始深度表征图像表征所述二维图像的相对空间层次,所述轮廓结构表征图像表征所述二维图像的轮廓边界或局部细节;
4、在生成式扩散模型的迭代生成过程中,将所述初始深度表征图像作为全局空间控制条件,以约束待生成高度图的整体高度层次;
5、在所述迭代生成过程中,将所述轮廓结构表征图像作为局部轮廓控制条件,以约束所述待生成高度图的轮廓边界或局部细节,其中,所述局部轮廓控制条件的起始作用时间晚于所述全局空间控制条件的起始作用时间;
6、基于所述全局空间控制条件和所述局部轮廓控制条件,对所述生成式扩散模型的迭代生成过程进行控制,得到浮雕灰度高度图。
7、通过上述方式,本公开通过先从同一幅二维图像中分别取出表征相对空间层次的初始深度表征图像与表征轮廓边界、局部细节的轮廓结构表征图像两种互补信息,再在生成式扩散模型的迭代生成过程中分别利用全局空间控制条件约束整体高度层次,利用局部轮廓控制条件约束轮廓边界与局部细节,并且,局部轮廓控制条件的起始作用时间晚于全局空间控制条件,使迭代生成的较早阶段先由全局空间控制条件建立整体高度层次的基本骨架,待整体布局趋于稳定后再引入局部轮廓控制条件精修轮廓与细节,顺应了扩散模型由粗到细的生成规律,避免了局部控制过早介入干扰整体层次或与全局控制相互冲突。由此改善了仅依赖单一控制条件时整体层次与局部细节难以兼顾的问题,有利于生成既层次协调又轮廓清晰、细节丰富的浮雕灰度高度图,提升了三维浮雕建模所依赖的高度图质量。
8、在本公开的一种示例性实施例中,在获取所述初始深度表征图像和所述轮廓结构表征图像之前,所述方法还包括:获取所述待处理的二维图像;对所述待处理的二维图像进行尺寸标准化处理,得到标准化位图;其中,所述初始深度表征图像和所述轮廓结构表征图像均基于所述标准化位图生成。
9、通过先对二维图像进行尺寸标准化得到标准化位图,再由该标准化位图统一生成初始深度表征图像与轮廓结构表征图像,保证了输入扩散模型的两路表征图像在尺寸上彼此一致,避免了因两路图像尺寸不匹配导致全局空间控制条件与局部轮廓控制条件在空间上错位、无法相互对齐的问题,使两类控制条件能够准确地作用于待生成高度图的同一空间位置,从而提高两路控制条件之间的空间配准一致性。
10、在本公开的一种示例性实施例中,所述对所述待处理的二维图像进行尺寸标准化处理,得到标准化位图,包括:确定所述待处理的二维图像的原始宽高比例;将所述待处理的二维图像的宽度或高度中的一者调整为预设尺寸,并按照所述原始宽高比例对所述待处理的二维图像的另一者进行尺寸调整,得到所述标准化位图。
11、通过在将宽度或高度之一调整为预设尺寸的同时,按原始宽高比例同步缩放另一者,使标准化位图既满足扩散模型或相关图像处理模型对输入尺寸的要求,又保持了二维图像中主体的原始比例不被拉伸或压扁,避免了因比例失真导致生成的浮雕高度图中主体形状变形,保证了浮雕成品的形态与设计稿一致。
12、在本公开的一种示例性实施例中,所述获取所述初始深度表征图像,包括:将所述标准化位图输入深度估计模型;由所述深度估计模型输出灰度深度图,作为所述初始深度表征图像。
13、通过利用深度估计模型直接根据标准化位图输出灰度深度图作为初始深度表征图像,能够快速获得表征二维图像相对空间层次的全局信息,使待生成高度图的整体高低关系从初始生成阶段便有据可依,从而为后续全局空间控制条件约束待生成高度图的整体高度层次提供基础。
14、在本公开的一种示例性实施例中,所述获取所述轮廓结构表征图像,包括:利用线稿提取算子、边缘提取算子或轮廓提取算子中的至少一种,对所述标准化位图进行特征提取;基于特征提取结果,生成线稿图、边缘结构图或轮廓结构图中的至少一种,作为所述轮廓结构表征图像。
15、通过线稿、边缘或轮廓提取算子中的至少一种从标准化位图中提取出主体轮廓与内部纹路所在的边缘位置,将易被整体回归抹平的局部细节预先表征出来,为后续的局部轮廓控制条件提供了清晰准确的边缘依据,且多种算子可选并可组合,能够适配不同风格的设计稿,拓宽了方法的适用范围。
16、在本公开的一种示例性实施例中,在基于所述全局空间控制条件和所述局部轮廓控制条件对所述生成式扩散模型的迭代生成过程进行控制之前,所述方法还包括:将所述初始深度表征图像输入至图像编码器;由所述图像编码器对所述初始深度表征图像进行特征压缩和空间映射,输出潜在空间表示;将所述潜在空间表示作为所述生成式扩散模型的迭代生成过程的初始潜在输入。
17、通过将初始深度表征图像经图像编码器映射为潜在空间表示并作为迭代生成的初始潜在输入,使生成过程能够从已贴近目标空间分布的起点出发,扩散模型所要做的不再是完全依赖随机初始状态生成高度图,而是可以在已有相对空间层次的基础上进行迭代生成与规整,从而有利于加快迭代收敛、稳定整体层次,并降低背景在生成过程中与主体空间粘连的风险。
18、在本公开的一种示例性实施例中,所述将所述初始深度表征图像作为全局空间控制条件,包括:将所述初始深度表征图像作为深度控制图像输入至所述生成式扩散模型的第一控制网络;所述将所述轮廓结构表征图像作为局部轮廓控制条件,包括:将所述轮廓结构表征图像作为轮廓控制图像输入至所述生成式扩散模型的第二控制网络。
19、通过借助相互独立的第一控制网络与第二控制网络分别承载全局空间控制条件与局部轮廓控制条件,使两类控制条件经由各自专用的控制通路施加于生成过程,减少相互干扰并可分别调节,既保证了整体层次约束与边缘细节约束的相对独立,又便于按需对各自的控制强度和作用时机进行单独配置,从而提高全局空间约束和局部轮廓约束的可控性。
20、在本公开的一种示例性实施例中,所述全局空间控制条件在所述迭代生成过程的第一时间步区间内施加,所述局部轮廓控制条件在所述迭代生成过程的第二时间步区间内施加;其中,所述第二时间步区间的起始时间晚于所述第一时间步区间的起始时间,所述第一时间步区间覆盖所述迭代生成过程的全周期或者主要周期,所述第二时间步区间覆盖所述迭代生成过程的中后段周期。
21、通过使全局空间控制条件在覆盖全周期或主要周期的第一时间步区间内约束待生成高度图的整体高低关系,而局部轮廓控制条件在中后段的第二时间步区间介入,此时整体层次已大致形成,约束集中作用于边缘位置以形成更清晰的高度转折。这一时间步层面的分工,进一步细化并强化了由粗到细的时序协同,使整体层次的稳定与边缘细节的锐化各自在最合适的阶段完成,避免了局部约束在层次尚未稳定时把噪声误当作边缘强化。
22、在本公开的一种示例性实施例中,所述第一时间步区间相对于所述迭代生成过程的起始比例为0、结束比例为1;所述第二时间步区间相对于所述迭代生成过程的起始比例大于0且小于1、结束比例为1。
23、通过起止比例明确界定不同迭代生成过程的时间步区间:全局空间控制条件自起点(比例0)贯穿至终点(比例1)覆盖全程,局部轮廓控制条件则自中途某一比例介入并持续至终点,能够基于精确的时序划分方式,使前述全局空间控制条件贯穿全程、局部轮廓控制条件后段介入的协同配合,以确保具有更高的可复现性,并提高全局宏观控制与局部微观控制的协同演化控制稳定性。
24、在本公开的一种示例性实施例中,在所述迭代生成过程开始之前,所述方法还包括:加载用于生成灰度高度图的基础扩散模型;将用于高度图表达增强的低秩适应lora适配权重叠加至所述基础扩散模型的基础权重矩阵。
25、通过在通用的基础扩散模型之上叠加用于高度图表达增强的lora适配权重,增强了模型对灰度高度图的生成能力,使生成结果更契合浮雕高度图的灰度分布特征,同时无需重新训练整个基础模型,降低了使模型适配高度图生成任务的成本,并便于在不同基础扩散模型上复用或更新高度图表达增强能力。
26、在本公开的一种示例性实施例中,基于所述全局空间控制条件和所述局部轮廓控制条件,对所述生成式扩散模型的迭代生成过程进行控制,包括:
27、基于文本条件、所述全局空间控制条件和所述局部轮廓控制条件,对所述生成式扩散模型的迭代生成过程进行控制;其中,所述文本条件包括正向语义条件和负向语义条件,所述正向语义条件用于引导生成结果具有灰度高度图、主体分离、背景低灰度或表面连续中的至少一种属性,所述负向语义条件用于抑制彩色信息、异常细节、背景干扰或表面噪声中的至少一种。
28、通过在两类图像控制条件之外再引入包含正向与负向语义的文本条件,可根据正向语义条件引导生成结果朝主体分离、背景低灰度、表面连续等有利于浮雕建模的属性收敛,并根据负向语义条件抑制彩色信息、异常细节、背景干扰、表面噪声等噪声信息,从语义层面对生成方向进行额外约束,进一步提升了高度图的可用性,并降低生成结果偏离灰度高度图用途的风险。
29、在本公开的一种示例性实施例中,在得到所述浮雕灰度高度图之后,所述方法还包括:
30、基于主体分割结果、所述轮廓结构表征图像或掩膜信息中的至少一种,确定所述浮雕灰度高度图中的主体区域和非主体区域;将所述非主体区域内像素点的灰度值调整至预设低灰度范围;将所述主体区域内像素点的灰度值映射至与预设浮雕高度范围对应的目标灰度范围;对所述浮雕灰度高度图执行平滑去噪处理或反相处理中的至少一种,并输出处理后的高度图文件。
31、通过在生成浮雕灰度高度图之后进一步区分主体区域与非主体区域,将非主体区域压至预设低灰度、把主体区域映射至与浮雕高度范围对应的目标灰度,并辅以平滑去噪或反相处理中的至少一种,使输出的高度图文件在灰度分布上契合浮雕建模对背景平整、主体凸起的需求,使得背景与主体分离、主体起伏落在适配加工的高度范围内,从而减少了后续雕刻或打印前的人工修整,便于三维浮雕的直接加工与成型。
32、根据本公开实施例的第二方面,提供一种面向三维浮雕建模的灰度高度图生成装置,所述装置包括:
33、表征获取模块,用于获取待处理的二维图像对应的初始深度表征图像和轮廓结构表征图像,所述初始深度表征图像表征所述二维图像的相对空间层次,所述轮廓结构表征图像表征所述二维图像的轮廓边界或局部细节;
34、全局约束模块,用于在生成式扩散模型的迭代生成过程中,将所述初始深度表征图像作为全局空间控制条件,以约束待生成高度图的整体高度层次;
35、局部约束模块,用于在所述迭代生成过程中,将所述轮廓结构表征图像作为局部轮廓控制条件,以约束所述待生成高度图的轮廓边界或局部细节,其中,所述局部轮廓控制条件的起始作用时间晚于所述全局空间控制条件的起始作用时间;
36、高度图生成模块,用于基于所述全局空间控制条件和所述局部轮廓控制条件,对所述生成式扩散模型的迭代生成过程进行控制,得到浮雕灰度高度图。
37、该装置通过表征获取模块、全局约束模块、局部约束模块与高度图生成模块的相互配合,将全局空间控制条件与局部轮廓控制条件分工施加于生成式扩散模型的迭代生成过程,并使局部轮廓控制条件的起始作用时间晚于全局空间控制条件,从而以装置形态实现了上述方法整体层次与局部细节兼顾、由粗到细时序协同的生成效果,同样能够生成既层次协调又轮廓清晰、细节丰富的浮雕灰度高度图。
38、根据本公开实施例的第三方面,提供一种电子设备,包括处理器和存储器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时实现上述第一方面中任一项所述的面向三维浮雕建模的灰度高度图生成方法。
39、根据本公开实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面中任一项所述的面向三维浮雕建模的灰度高度图生成方法。
40、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com