地砖图像阴影去除方法、装置、计算机设备及存储介质

1.本发明涉及计算机技术领域，特别是涉及一种地砖图像阴影去除方法、装置、计算机设备及存储介质。


背景技术：

2.在地面铺设地砖可以起到保护地板以及装饰的作用，广泛地使用在各类建筑中。传统的地砖均是人工铺设的，这种方式效率低，位置的准确性控制主要依靠施工者的经验，难以保证。
3.现有技术提供了机器人自动铺设地砖的方案，在此过程中，机器人需要采用在砖的图像，并对图像进行识别判断。在地砖图像处理过程中，一个需要解决的问题是如何去除地砖图像中的阴影。
4.目前尚未发现针对地砖阴影去除的具体方法，可参考的阴影去除方法多是基于生成式对抗网络，该网络需要通过对抗学习来训练判别器和生成器，最后生成器恢复出以假乱真的阴影去除图像。然而在实际的施工环境下，地砖图像中光线比较复杂，阴影与非阴影区域的界定不够清晰；且存在泥浆和水渍等形状不规则的物体。这些现象使得基于生成式对抗网络的方法对地砖的阴影去除效果较差，不满足实际的需求。


技术实现要素：

5.基于此，有必要针对上述的问题，提供一种地砖图像阴影去除方法、装置、计算机设备及存储介质。
6.本发明实施例是这样实现的，一种地砖图像阴影去除方法，所述地砖图像阴影去除方法包括：获取地砖图像，所述地砖图像包括地砖阴影图像以及地砖无阴影图像；将所述地砖阴影图像进行阈值分割得到地砖阴影图像的mask掩码；构建基于空间自适应归一化与特征融合的处理模型以及权重损失函数；使用所述无阴影图像以及所述mask掩码对所述处理模型进行训练直至所述权重损失函数满足要求；使用训练好的处理模型处理目标地砖图像以去除目标地砖图像中的阴影。
7.在其中一个实施例中，本发明提供了一种地砖图像阴影去除装置，所述地砖图像阴影去除装置包括：地砖图像获取模块，用于地砖图像的获取，所述地砖图像包括地砖阴影图像以及地砖无阴影图像；分割模块，用于将所述地砖阴影图像进行阈值分割得到地砖阴影图像的mask掩码；处理模块，用于构建基于空间自适应归一化与特征融合的处理模型以及权重损失函数；
训练模块，用于使用所述无阴影图像以及所述mask掩码对所述处理模型进行训练直至所述权重损失函数满足要求；识别模块，用于使用训练好的处理模型处理目标地砖图像以去除目标地砖图像中的阴影。
8.在其中一个实施例中，本发明提供了一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述地砖图像阴影去除方法的步骤。
9.在其中一个实施例中，本发明提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述地砖图像阴影去除方法的步骤。
10.本发明提供的方法结合了空间自适应归一化与特征融合，具有良好的特征提取能力，更有针对性地对图像中的阴影区域进行处理，适用于实际施工环境下的地砖阴影去除。
附图说明
11.图1为一个实施例提供的地砖图像阴影去除方法的流程图；图2为一个实施例提供的处理模型的结构框图；图3为一个实施例提供的基于掩码的空间自适应归一化模块的结构框图；图4为一个实施例中未经处理的地砖阴影图；图5为一个实施例中经本发明提供的方法处理的地砖阴影图；图6为一个实施例提供的地砖图像阴影去除装置的结构框图；图7为一个实施例中计算机设备的内部结构框图。
具体实施方式
12.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
13.可以理解，本发明所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本发明的范围的情况下，可以将第一xx脚本称为第二xx脚本，且类似地，可将第二xx脚本称为第一xx脚本。
14.如图1所示，在一个实施例中，提出了一种地砖图像阴影去除方法，具体可以包括以下步骤：步骤s100，获取地砖图像，所述地砖图像包括地砖阴影图像以及地砖无阴影图像；步骤s200，将所述地砖阴影图像进行阈值分割得到地砖阴影图像的mask掩码；步骤s300，构建基于空间自适应归一化与特征融合的处理模型以及权重损失函数；步骤s400，使用所述无阴影图像以及所述mask掩码对所述处理模型进行训练直至所述权重损失函数满足要求；步骤s500，使用训练好的处理模型处理目标地砖图像以去除目标地砖图像中的阴
影。
15.在本实施例中，这里的地砖阴影图像是指有阴影的地砖图像，使用有阴影以及无阴影的地砖图像用于处理模型的训练。
16.在本实施例中，通过阈值分割可以得到地砖阴影图像的mask掩码。需要说明的是，mask掩码并不是一种图像的编码或者代码，而是图像的一种区域划分结果，进行划分之后，被选定的区域在后续处理中会被读取以及处理，而未被选中的区域则会被忽略。
17.在本实施例中，处理模型结合了自适应归一化与特征融合，充分发挥了空间自适应归一化与特征融合的优点。
18.在本实施例中，通过设定权重损失函数的输出范围，通过判断权重损失函数的输出是否满足设定的输出范围衡量模型训练的是否达到要求。
19.在本实施例中，处理模型训练完成，将需要去除阴影的目标地砖图像输出到模型中，模型自动输出去除阴影后的结果，从而实现自动去阴影。
20.本发明提供的方法结合了空间自适应归一化与特征融合，具有良好的特征提取能力，更有针对性地对图像中的阴影区域进行处理，适用于实际施工环境下的地砖阴影去除。
21.作为本发明的一个可选实施例，所述将所述地砖阴影图像进行阈值分割得到地砖阴影图像的mask掩码，包括：将地砖阴影图像的像素进行分类，其中阴影区域标记为白色，非阴影区域标记为黑色，得到地砖阴影图像的mask掩码。
22.在本实施例中，该过程可以通过人工进行标记，也可以开发相应的自动标记工具实现。按像素进行分类，是指根据像素对图像进行区域划分，对于阴影区，将像素标记为白色，而将非阴影区的像素标记为黑色，则处理模型可以根据标记所得的mask掩码对原地砖阴影图像进行处理，上述步骤是由标记过程得到mask掩码，可以认为是新的图像或者图层的生成过程，并不会改变原地砖阴影图像的内容。
23.如图2所示，作为本发明的一个可选实施例，所述基于空间自适应归一化与特征融合的处理模型包括若干卷积层、若干个反卷积层以及若干个基于掩码的空间自适应归一化模块；若干个卷积层顺次连接；若干个反卷积层顺次连接后设置于顺次连接的若干个卷积层之后；每个所述基于掩码的空间自适应归一化模块均设置两个相邻的反卷积层之间。
24.在本实施例中，如图2所示，卷积层表示为conv，反卷积层表示为deconv，其后的数值为卷积核的大小，本发明以采用3*3的卷积核为例；而基于掩码的空间自适应归一化模块在图2中表示为maskspa。
25.如图3所示，作为本发明的一个可选实施例，所述基于掩码的空间自适应归一化模块包括一个第一卷积层以及两个第二卷积层；mask掩码输入第一卷积层，第一卷积层的输出分别作为两个第二卷积层的输入，由两个第二卷积层分别得到参数γ和参数β；参数γ和参数β与batchnorm层的输出进行运算，得到作为下一层的输入，y为下一层的输入。
26.在本实施例中，第一卷积层与第二卷积层均采用3*3的卷积核。基于掩码的空间自
适应归一化模块的输入有两个，一个是来自网络batchnorm层的输入，还有一个是利用阈值分割得到的地砖阴影图像的mask掩码。mask掩码表明了地砖阴影与无阴影区域的大概位置，指导网络对地砖阴影与无阴影区域采取不同的特征学习，以便更好地去除阴影，保留无阴影区域的细节内容。
27.在本实施例中，除了对第一个卷积层没有增加batchnorm层外，其余卷积层和反卷积层均增加了batchnorm层，可以加快模型的收敛过程，提高模型阴影去除能力。基于掩码的空间自适应归一化模块和不同的特征融合机制相互配合，提高了网络特征学习的针对性和多样性。
28.作为本发明的一个可选实施例，第一卷积层与第一个反卷积层之间通过连接函数concat建立特征通道融合。
29.作为本发明的一个可选实施例，所述卷积层设置有6个，所述反卷积层设置有6个，所述基于掩码的空间自适应归一化模块设置有4个，且第四个卷积层与第二个基于掩码的空间自适应归一化模块间建立特征值相加融合。
30.在本实施例中，使用concat在网络的第一个卷积层和第一个反卷积层间建立特征通道融合，第四个卷积层与第二个maskspa模块间建立特征值相加融合，实现网络低层与高层的特征融合，使得特征提取更加丰富；不同的特征融合方式，也进一步提高了网络特征的多样性。
31.作为本发明的一个可选实施例，所述权重损失函数由图像特征相似度函数、图像亮度相似性函数以及图像对比度相似性函数构成，具体为：所述图像特征相似度函数具体为：其中：表示第i张标签图像的特征向量，表示第i张网络结果图的特征向量，n为图像的数量；所述图像亮度相似性函数具体为：其中： 表示图像χ的平均亮度，即，为第i张图像χ的亮度，表示图像y的平均亮度，即，为第i张图像y的亮度；为防止分母系数为零的常数；
所述图像对比度相似性函数具体为：其中：表示图像χ的像素标准差，即，表示图像у的像素标准差，即，是防止分母为零的常数；、的含义以及计算方式与图像亮度相似性函数想同。
32.在本实施例中，权重损失函数由图像亮度相似性函数、图像对比度相似性函数以及图像特征相似度函数组成。图像亮度相似性函数从图像像素均值的角度进行计算，衡量网络生成的阴影去除图像与无阴影标签图像的亮度差异；图像对比度相似性函数则从图像像素的标准差进行计算，反映了图像明暗变化的差异；图像特征相似度函数则使用vgg16分别提取网络结果图与标签图像的特征，再使用均方误差计算特征向量间的相似程度。
33.本发明对实际施工场景下地砖阴影图像的阴影去除效果如图4、5所示，其中图4为未经处理的地砖阴影图像，图5为经本发明提供的方法处理所得的图像。从图5中可以看出，本发明在深色条纹地砖上，对较深的阴影仍具有良好的去除效果，且不影响非阴影区域的细节内容。
34.如图6所示，本发明实施例还提供了一种地砖图像阴影去除装置，所述地砖图像阴影去除装置包括：地砖图像获取模块，用于地砖图像的获取，所述地砖图像包括地砖阴影图像以及地砖无阴影图像；分割模块，用于将所述地砖阴影图像进行阈值分割得到地砖阴影图像的mask掩码；处理模块，用于构建基于空间自适应归一化与特征融合的处理模型以及权重损失函数；训练模块，用于使用所述无阴影图像以及所述mask掩码对所述处理模型进行训练直至所述权重损失函数满足要求；识别模块，用于使用训练好的处理模型处理目标地砖图像以去除目标地砖图像中的阴影。
35.在本实施例中，上述各个模块是本发明相应方法步骤的模块化，对于上述各个模块的解释说明请参考本发明方法部分的内容，本发明实施例在此不再赘述。
36.图7示出了一个实施例中计算机设备的内部结构图。如图7所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现本发明实施例提供的地砖图像阴影去除方法。该内存储器中也可储存有计算机程序，该计算
机程序被处理器执行时，可使得处理器执行本发明实施例提供的地砖图像阴影去除方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
37.本领域技术人员可以理解，图7中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
38.在一个实施例中，本发明实施例提供的地砖图像阴影去除装置可以实现为一种计算机程序的形式，计算机程序可在如图7所示的计算机设备上运行。计算机设备的存储器中可存储组成该xx装置的各个程序模块，比如，图6所示的地砖图像获取模块、分割模块、处理模块、训练模块和识别模块。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本发明各个实施例的地砖图像阴影去除方法中的步骤。
39.例如，图7所示的计算机设备可以通过如图6所示的地砖图像阴影去除装置中的地砖图像获取模块执行步骤s100；计算机设备可通过分割模块执行步骤s200；计算机设备可通过处理模块执行步骤s300；计算机设备可通过训练模块执行步骤s400；计算机设备可通过识别模块执行步骤s500。
40.在一个实施例中，提出了一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取地砖图像，所述地砖图像包括地砖阴影图像以及地砖无阴影图像；将所述地砖阴影图像进行阈值分割得到地砖阴影图像的mask掩码；构建基于空间自适应归一化与特征融合的处理模型以及权重损失函数；使用所述无阴影图像以及所述mask掩码对所述处理模型进行训练直至所述权重损失函数满足要求；使用训练好的处理模型处理目标地砖图像以去除目标地砖图像中的阴影。
41.在一个实施例中，提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：获取地砖图像，所述地砖图像包括地砖阴影图像以及地砖无阴影图像；将所述地砖阴影图像进行阈值分割得到地砖阴影图像的mask掩码；构建基于空间自适应归一化与特征融合的处理模型以及权重损失函数；使用所述无阴影图像以及所述mask掩码对所述处理模型进行训练直至所述权重损失函数满足要求；使用训练好的处理模型处理目标地砖图像以去除目标地砖图像中的阴影。
42.应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流
或者交替地执行。
43.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（rom）、可编程rom（prom）、电可编程rom（eprom）、电可擦除可编程rom（eeprom）或闪存。易失性存储器可包括随机存取存储器（ram）或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram（sram）、动态ram（dram）、同步dram（sdram）、双数据率sdram（ddrsdram）、增强型sdram（esdram）、同步链路（synchlink） dram（sldram）、存储器总线（rambus）直接ram（rdram）、直接存储器总线动态ram（drdram）、以及存储器总线动态ram（rdram）等。
44.以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
45.以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。