图像处理方法、装置和存储介质与流程

1.本发明涉及一种图像处理方法、装置和存储介质，属于图像处理技术领域。


背景技术：

2.在旧房改造、房屋局部设计、地毯瓷砖销售的场景下，客户往往希望替换房间局部的纹理材质，期望快速得到替换后的效果图。
3.目前常用的处理方法包括：获取户型图，根据户型图通过三维建模再渲染的方式来模拟不同材质、纹理的地面在用户房间内的展示效果。上述方法很难展示用户家中已有的软装家具的效果，用户只能通过不精确的展示效果去想象实际的地面结合软装家具之后的效果，这往往导致了实际装修完成之后发现与当初预期不符的情况，也即上述方法中生成的替换效果准确率较差。


技术实现要素：

4.本发明的目的在于提供一种图像处理方法、装置和存储介质，用于解决现有技术中存在的问题。
5.为达到上述目的，本发明提供如下技术方案：
6.根据第一方面，本发明实施例提供了一种图像处理方法，所述方法包括：
7.获取通过相机采集到的目标空间的空间分布图；
8.根据所述空间分布图识别所述目标空间中的目标区域；
9.获取目标图样；
10.将所述目标区域中的图样替换为所述目标图样。
11.可选地，所述根据所述空间分布图识别所述目标空间中的目标区域，包括：
12.将所述空间分布图输入至语义分割网络，通过所述语义分割网络识别所述空间分布图中的各个像素所属的区域类别；
13.根据各个像素所属的区域类别确定属于所述目标区域的各个像素，进而识别得到所述目标区域。
14.可选地，所述将所述目标区域中的图样替换为所述目标图样，包括：
15.获取所述目标区域的三维平面坐标与所述目标区域在所述空间分布图中的二维坐标的对应关系；
16.根据所述对应关系，将所述目标图样投影至所述空间分布图中的所述目标区域。
17.可选地，所述获取所述目标区域的三维平面坐标与所述目标区域在所述空间分布图中的二维坐标的对应关系，包括：
18.通过消失点检测算法检测所述空间分布图中的消失点；
19.根据检测得到的消失点计算所述相机的焦距以及相机坐标系和世界坐标系的旋转矩阵；
20.根据计算得到的所述焦距和所述旋转矩阵确定所述对应关系。
21.可选地，所述根据所述对应关系，将所述目标图样投影至所述空间分布图中的所述目标区域，包括：
22.将所述目标图样根据所述对应关系进行投影变换，得到所述目标区域的纹理前景；
23.将所述空间分布图中的亮度信息合成至所述纹理前景；
24.将合成亮度信息后的所述纹理前景与所述空间分布图进行合成，得到替换后的所述空间分布图。
25.可选地，所述将合成亮度信息后的所述纹理前景与所述空间分布图进行合成，得到替换后的所述空间分布图，包括：
26.获取所述空间分布图中的前景和背景的比例关系；
27.将合成亮度信息后的所述纹理前景与所述空间分布图按照所述比例关系进行合成，得到替换后的所述空间分布图。
28.可选地，所述获取所述空间分布图中的前景和背景的比例关系，包括：
29.获取所述空间分布图的像素掩码图；
30.将所述空间分布图以及所述像素掩码图输入至抠图神经网络，通过所述抠图神经网络获取得到所述比例关系。
31.可选地，所述将所述空间分布图以及所述像素掩码图输入至抠图神经网络，包括：
32.对所述像素掩码图进行图像增强；
33.将所述空间分布图以及增强后的所述像素掩码图输入至所述抠图神经网络。
34.可选地，所述对所述像素掩码图进行图像增强，包括：
35.提取所述像素掩码图中的拓扑骨架；
36.对所述像素掩码图进行膨胀腐蚀；
37.将所述拓扑骨架和膨胀腐蚀后的所述像素掩码图进行叠加，得到增强后的所述像素掩码图。
38.第二方面，提供了一种图像处理装置，所述装置包括存储器和处理器，所述存储器中存储有至少一条程序指令，所述处理器通过加载并执行所述至少一条程序指令以实现如第一方面所述的方法。
39.第三方面，提供了一种计算机存储介质，所述计算机存储介质中存储有至少一条程序指令，所述至少一条程序指令被处理器加载并执行以实现如第一方面所述的方法。
40.通过获取通过相机采集到的目标空间的空间分布图；根据所述空间分布图识别所述目标空间中的目标区域；获取目标图样；将所述目标区域中的图样替换为所述目标图样。解决了现有技术中由于缺少实际的场景信息进而导致替换效果准确率较差的问题，达到了可以结合拍摄得到的空间分布图进行替换，提高替换后的准确率的效果。另外，由于本技术中通过拍摄得到的空间分布图进行替换，使得替换后用户可以直观的查看整体效果，提高了用户的体验。
41.此外，本技术中通过语义分割网络来识别目标区域，实现了在短时间内得到替换后的效果，缩短图样替换时间，提高替换效率的效果。
42.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。
附图说明
43.图1为本发明一个实施例提供的图像处理方法的方法流程图；
44.图2为本发明一个实施例提供的获取得到的空间分布图的一种可能的示意图；
45.图3为本发明一个实施例提供的生成的图2所示的空间分布图的掩码图；
46.图4为本发明一个实施例提供的用户选择的目标图样的一种可能的示意图；
47.图5为本发明一个实施例提供的对图4所示的目标图样投影之后得到的纹理前景的一种可能的示意图；
48.图6为本发明一个实施例提供的前景背景比例关系的原理示意图；
49.图7为本发明一个实施例提供的输出得到的图2所示的空间分布图中的前景背景的比例关系的示意图；
50.图8为本发明一个实施例提供的对图2所示的空间分布图中的地面替换为图4所示的目标图样之后的分布图。
具体实施方式
51.下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
52.在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
53.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
54.此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
55.请参考图1，其示出了本技术一个实施例提供的图像处理方法的方法流程图，如图1所示，所述方法包括：
56.步骤101，获取通过相机采集到的目标空间的空间分布图；
57.用户需要更改某一空间的装修设计进而预览更改后的设计效果时，用户可以通过相机拍摄一张该目标空间的照片，进而得到空间分布图。比如，用户想要更改房间的地砖款式时，用户可以拍摄包括房间地面的图片；又比如，用户想要更改客厅墙布款式时，用户可以拍摄包括客厅墙面的图片等等，本技术对此并不做限定。
58.其中，相机可以为数码相机、手机中的相机、电脑中的摄像头等等，也即本技术所述的相机可以为任意形式的可以采集图片的装置，对其具体形式并不做限定。
59.在一种可能的实施例中，若用户想要更改自己房间的地砖纹理，则用户可以拍摄
得到图2所示的房间图片。相应的，可以获取拍摄得到的房间图片。
60.其中，空间分布图可以为本地预先存储的照片，也可以为来自互联网的照片，对此并不做限定。
61.步骤102，根据所述空间分布图识别所述目标空间中的目标区域；
62.在获取得到空间分布图之后，可以识别空间分布图中的目标区域。其中，目标区域为需要更改设计图样的区域，目标区域可以为地面、墙面等等。设计图样可以瓷砖颜色、纹理、花色，或者可以为墙布的颜色、花色等等，本技术对此并不做限定。
63.可选地，本步骤可以包括：
64.第一，将所述空间分布图输入至语义分割网络，通过所述语义分割网络识别所述空间分布图中的各个像素所属的区域类别；
65.语义分割网络为预先训练并存储的网络。在将空间分布图输入至语义分割网络之后，即可输出得到h*w*c的矩阵。其中，w、h代表矩阵长宽，对应空间分布图中的各个像素点。每个像素点位置上有一个长度为c的向量表示该像素属于c个类别的概率大小。c个类别为空间分布图中包括的多种对象，比如，对于图2所示的空间分布图，c个类别可以为地面、墙面、柜子、桌子等等。当然，实际实现时，c个类别还可以为目标区域和非目标区域。比如，对于图2所示的空间分布图，c个类别包括地面和非地面。
66.第二，根据各个像素所属的区域类别确定属于所述目标区域的各个像素，进而识别得到所述目标区域。
67.在语义分割网络输出上述矩阵之后，即可根据各个像素点所属的区域类别确定属于目标区域的各个像素点，进而将确定的各个像素点所组成的区域识别为目标区域。可选地，可以选择概率值最大的区域类别作为各个像素点所属的类别。
68.比如，对于某一像素点，矩阵中的向量为(地面：0.7；非地面：0.3)，则可以将该像素点识别为地面中的像素点。
69.可选地，可以根据上述矩阵生成掩码图，掩码图中包括经过上述识别后的各个区域。比如，对于图2所示的空间分布图，可以生成得到图3所示的掩码图。
70.步骤103，获取目标图样；
71.目标图样为用户设置的替换后的图像。可选地，用户可以从图样库中选择目标图样，或者通过本地文件上传该目标图样，对此并不做限定。
72.请参考图4，其示出了用户选择的目标图样的一种可能的示意图。
73.步骤104，将所述目标区域中的图样替换为所述目标图样。
74.在确定目标区域以及目标区域替换后的目标图样后，即可将目标区域中的内容替换为目标图样。可选地，本步骤可以包括：
75.第一，获取所述目标区域的三维平面坐标与所述目标区域在所述空间分布图中的二维坐标的对应关系；
76.相机获取空间分布图的相机坐标系和三位平面中的世界坐标系不同，因此，本技术为了保证替换后的图像精度，可以获取目标区域的三维平面坐标与二维图像坐标的对应关系。
77.可选地，获取对应关系的步骤可以包括：
78.(1)、通过消失点检测算法检测所述空间分布图中的消失点；
79.(2)、根据检测得到的消失点计算所述相机的焦距以及相机坐标系和世界坐标系的旋转矩阵；
80.可选地，可以根据检测得到的水平消失点和相互垂直的消失点来计算相机的焦距。具体的，假设相机坐标系的原点与世界坐标系的原点重合，相机内参矩阵相机坐标系与世界坐标系中的旋转矩阵r＝[r
1 r
2 r3]，位移为t＝0，以水平消失点v1为例，其满足：
[0081][0082]
利用旋转矩阵的正交性，选取两个相互垂直的消失点vi和vj，由可推导出即可求解得到相机的焦距f。
[0083]
对于旋转矩阵，则可以通过至少两个消失点进行恢复，本技术对此并不做限定。具体的，由上述公式即可得知：
[0084]
r1＝k-1
v1[0085]
此后，采用类似计算方式即可计算得到r2和r3，进而恢复得到旋转矩阵。
[0086]
(3)、根据计算得到的所述焦距和所述旋转矩阵确定所述对应关系。
[0087]
可选地，地面的三维平面坐标p与其在空间分布图中投影的2d像素坐标p之间的对应关系为：
[0088]
p＝k[r t]p＝k[r
1 r
2 r3]p。
[0089]
第三，根据所述对应关系，将所述目标图样投影至所述空间分布图中的所述目标区域。
[0090]
可选地，本步骤包括：
[0091]
(1)、将所述目标图样根据所述对应关系进行投影变换，得到所述目标区域的纹理前景；
[0092]
可选地，可以将目标图样按照上述对应关系进行投影变换，得到符合透视关系的目标区域的纹理前景。
[0093]
比如，请参考图5，将对图4所示的目标图样进行投影之后，即可得到图5所示的纹理前景。
[0094]
(2)、将所述空间分布图中的亮度信息合成至所述纹理前景；
[0095]
可选地，可以将空间分布图中的亮度信息按照透明度(alpha通道)合成至变换得到的纹理前景中，进而模拟光照与阴影。
[0096]
(3)、将合成亮度信息后的所述纹理前景与所述空间分布图进行合成，得到替换后的所述空间分布图。
[0097]
需要补充说明的是，为了进一步提高替换后的空间分布图的替换效果，本步骤可以包括：
[0098]
第一，获取所述空间分布图中的前景和背景的比例关系；
[0099]
实际实现时，本步骤可以包括：
[0100]
(1)、获取所述空间分布图的像素掩码图；
[0101]
其中，像素掩码图可以为步骤102中通过语义分割网络确定得到的掩码图，本步骤仅需读取步骤102获取得到掩码图即可。
[0102]
(2)、将所述空间分布图以及所述像素掩码图输入至抠图神经网络，通过所述抠图神经网络获取得到所述比例关系。
[0103]
实际实现时，可以先对像素掩码图进行图像增强，进而将图像增强后的像素掩码图和空间分布图输入至抠图神经网络。
[0104]
具体的，对像素掩码图进行图像增强的步骤可以包括：提取所述像素掩码图中的拓扑骨架；对所述像素掩码图进行膨胀腐蚀；将所述拓扑骨架和膨胀腐蚀后的所述像素掩码图进行叠加，得到增强后的所述像素掩码图。
[0105]
当然，实际实现时，还可以通过其他图像增强方式对像素掩码图进行图像增强，本技术对其具体实现并不做限定。
[0106]
任意一张图片c可以看做由前景f和背景b两张图像经过alpha通道线性相加得到。比如，请参考图6，本技术所述的前景和背景的比例关系指的是α的值，该值决定了图中每个像素是由多少比例的前景像素和背景像素合成得到的。
[0107]
比如，在将图2所示的空间分布图以及图3所示的掩码图增强后输入至抠图神经网络之后，即可输出图7所示的前景和背景关系。
[0108]
第二，将合成亮度信息后的所述纹理前景与所述空间分布图按照所述比例关系进行合成，得到替换后的所述空间分布图。
[0109]
在上述举例中，在将地面替换为图3所示的目标图样之后，即可得到图8所示的分布图。
[0110]
综上所述，通过获取通过相机采集到的目标空间的空间分布图；根据所述空间分布图识别所述目标空间中的目标区域；获取目标图样；将所述目标区域中的图样替换为所述目标图样。解决了现有技术中由于缺少实际的场景信息进而导致替换效果准确率较差的问题，达到了可以结合拍摄得到的空间分布图进行替换，提高替换后的准确率的效果。另外，由于本技术中通过拍摄得到的空间分布图进行替换，使得替换后用户可以直观的查看整体效果，提高了用户的体验。
[0111]
此外，本技术中通过语义分割网络来识别目标区域，实现了在短时间内得到替换后的效果，缩短图样替换时间，提高替换效率的效果。
[0112]
本技术还提供了一种图像处理装置，所述装置包括存储器和处理器，所述存储器中存储有至少一条程序指令，所述处理器通过加载并执行所述至少一条程序指令以实现如上所述的方法。
[0113]
本技术还提供了一种计算机存储介质，所述计算机存储介质中存储有至少一条程序指令，所述至少一条程序指令被处理器加载并执行以实现如上所述的方法。
[0114]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0115]
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来
说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。