房屋模型的修复方法、装置、电子设备和可读存储介质与流程

1.本技术属于房屋模型建模技术领域，具体涉及一种房屋模型的修复方法、房屋模型的修复装置、电子设备和可读存储介质。


背景技术：

2.近些年来，随着深度相机精度的不断提高，基于深度相机的房屋建模方法越来越受到欢迎。现有技术中，由于相机拍摄过程中受强光因素影响，强光区域无法获取有效深度，导致房屋模型中会存在一定程度的空洞。


技术实现要素：

3.本技术实施例的目的是提供一种房屋模型的修复方法、装置、电子设备和可读存储介质，能够准确查找到全景图像中存在空洞的待修复区域，并根据全景图像的点云信息对检测到的待修复区域进行精准修复，提高了修复的可控性，以及修复位置的准确性。
4.第一方面，本技术实施例提供了一种房屋模型的修复方法，包括：获取房屋模型中的全景图像；识别全景图像中的目标图像特征；根据目标图像特征，确定全景图像中的待修复区域；获取目标图像特征的点云信息；根据点云信息对待修复区域进行修复。
5.第二方面，本技术实施例提供了一种房屋模型的修复装置，应用于虚拟现实设备，包括：获取模块，用于获取房屋模型中的全景图像；识别模块，用于识别全景图像中的目标图像特征；确定模块，用于根据目标图像特征，确定全景图像中的待修复区域；获取模块，还用于获取目标图像特征的点云信息；修复模块，用于根据点云信息对待修复区域进行修复。
6.第三方面，本技术实施例提供了一种电子设备，包括处理器，存储器及存储在存储器上并可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面的方法的步骤。
7.第四方面，本技术实施例提供了一种可读存储介质，该可读存储介质上存储程序或指令，该程序或指令被处理器执行时实现如第一方面的房屋模型的修复方法的步骤。
8.第五方面，本技术实施例提供了一种芯片，该芯片包括处理器和通信接口，该通信接口和该处理器耦合，该处理器用于运行程序或指令，实现如第一方面的房屋模型的修复方法的步骤。
9.第六方面，本技术实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面的房屋模型的修复方法。
10.本技术实施例中，获取房屋模型对应的全景图像，对全景图像进行语义分割，能够得到全景图中的各个图像特征，从而识别得到全景图像中的目标图像特征。其中，目标图像特征为房屋模型中容易产生空洞的图像特征。对目标特征中的待修复区域进行检测，并获取目标图像特征中的点云信息。根据点云信息对待修复区域进行空洞修复。
11.本技术实施例通过对全景图像中的目标图像特征进行识别，能够准确查找到全景图像中存在空洞的待修复区域，并根据全景图像的点云信息对检测到的待修复区域进行精
准修复，提高了修复的可控性，以及修复位置的准确性。
附图说明
12.图1示出了本技术实施例提供的房屋模型的修复方法的流程示意图之一；
13.图2示出了本技术实施例提供的房屋模型的修复方法的流程示意图之二；
14.图3示出了本技术实施例提供的房屋模型的修复方法的流程示意图之三；
15.图4示出了本技术实施例提供的房屋模型的修复方法的流程示意图之四；
16.图5示出了本技术实施例提供的房屋模型的修复方法的流程示意图之五；
17.图6示出了本技术实施例提供的房屋模型的修复方法的示意图；
18.图7示出了本技术实施例提供的房屋模型的修复装置的结构框图；
19.图8示出了本技术实施例提供的电子设备的结构框图；
20.图9示出了本技术实施例的一种电子设备的硬件结构示意图。
具体实施方式
21.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本技术保护的范围。
22.本技术的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
23.下面结合附图1至图9，通过具体的实施例及其应用场景对本技术实施例提供的房屋模型的修复方法、房屋模型的修复装置、电子设备和可读存储介质进行详细地说明。
24.在本技术实施例提供了一种房屋模型的修复方法，图1示出了本技术实施例提供的房屋模型的修复方法的流程示意图之一，如图1所示，房屋模型的修复方法，包括：
25.步骤102，获取房屋模型中的全景图像；
26.步骤104，识别全景图像中的目标图像特征；
27.步骤106，根据目标图像特征，确定全景图像中的待修复区域；
28.步骤108，获取目标图像特征的点云信息；
29.步骤110，根据点云信息对待修复区域进行修复。
30.该实施例给出了通过语义分割技术对全景图像进行语义分割，并对分割得到的目标图像特征中的由于强光造成的空洞进行修复的方案。
31.本技术实施例中，获取房屋模型对应的全景图像，对全景图像进行语义分割，能够得到全景图中的各个图像特征，从而识别得到全景图像中的目标图像特征。其中，目标图像特征为房屋模型中容易产生空洞的图像特征。对目标特征中的待修复区域进行检测，并获取目标图像特征中的点云信息。根据点云信息对待修复区域进行空洞修复。
32.具体来说，在获取到的房屋模型对应的全景图像之后，通过识别全景图像中容易
受强光影响产生空洞的目标图像特征，从而精准查找全景图像中的待修复区域，并对全景图像中的待修复区域进行修复。
33.在相关技术中，存在通过借助深度学习框架，自适应修复图像中的空洞区域，该方式依赖大量数据训练集，存在修复结果不可控的问题。还存在对整张图像进行色彩识别，以确定空洞存在的待修复位置，对由于强光导致的深度图空洞区域难以检测，影响修复的准确性。
34.值得说明的是，由于本技术通过识别全景图像中的目标图像特征，并据此对全景图像中的待修复区域进行定位，故本技术提供的对房屋模型中由于强光导致的空洞问题进行修复的方案，具有简单易用，并且具有良好扩展性的优势。
35.本技术实施例通过对全景图像中的目标图像特征进行识别，能够准确查找到全景图像中存在空洞的待修复区域，并根据全景图像的点云信息对检测到的待修复区域进行精准修复，提高了修复的可控性，以及修复位置的准确性。
36.在本技术的一些实施例中，识别全景图像中的目标图像特征，包括：将全景图像输入至语义分割网络，以得到目标图像特征；其中，目标图像特征包括以下一项或组合：墙面特征、地面特征、桌面特征、床面特征。
37.该实施例给出了通过语义分割技术对全景图像中的目标图像特正经进行识别的方案。
38.本技术实施例中，在获取到房屋模型中的全景图像之后，将全景图像输入至语义分割网络进行语义分割，从而得到全景图像中的目标图像特征。
39.具体来说，通过语义分割技术，识别全景图像中的墙面特征、地面特征、桌面特征和床面特征中的一项或组合。
40.可以理解的是，在对房屋模型进行建模的过程中，采集到的房屋的全景图像中，房屋的墙面、地面、桌面和床面容易受到强光影响而产生空洞。本技术通过训练能够识别墙面特征、地面特征、桌面特征、床面特征的语义分割网络，并通过该语义分割网络对上述的目标图像特征进行识别，能够便于后续根据目标图像特征确定全景图像中的待修复区域。
41.值得说明的是，通过语义分割网络不仅能够识别到目标图像特征，还能够获取对应点的掩码信息。
42.本技术实施例通过借助深度学习框架，获取墙面、地面、桌面以及床面的语义分割信息，确定全景图像中的目标图像特征，便于后续根据目标图像特征确定全景图像中的待修复区域。
43.在本技术的一些实施例中，图2示出了本技术实施例提供的房屋模型的修复方法的流程示意图之二，如图2所示，根据目标图像特征，确定全景图像中的待修复区域，包括：
44.步骤202，根据目标图像特征的掩码信息，确定目标图像特征在全景图像中的位置信息；
45.步骤204，根据目标图像特征的亮度信息和位置信息，确定全景图像中的待修复区域。
46.在该实施例中给出了根据目标图像特征，查找全景图像中待修复区域的方案。
47.本技术实施例中，通过语义分割网络不仅能够识别全景图像中的目标图像特征，还能够获取目标图像特征对应的掩码信息。根据掩码信息能够获取目标图像特征在全景图
中对应的位置信息。获取全景图像的亮度信息，根据位置信息查找到目标图像特征的亮度信息，根据亮度信息能够筛选得到在目标图像特征中的空洞区域，即全景图像中的待修复区。
48.具体来说，目标图像特征包括墙面特征、地面特征、桌面特征、床面特征中的一项或组合，上述每个特征均对应有相应的掩码信息。根据掩码信息能够确定对应的特征在全景图中的对应区域，从而确定目标图像特征在全景图像中的位置信息。通过识别全景图像的亮度信息，并根据位置信息能够确定目标图像特征的亮度信息，并据此筛选全景图像中的强光区，即待修复区域。
49.本技术实施例中，通过语义分割技术，识别到目标图像特征，以及目标图像特征对应的掩码信息，并据此对全景图像中的待修复区域进行准确定位，提高了后续对全景图像中待修复区域进行修复的准确性。
50.在本技术的一些实施例中，图3示出了本技术实施例提供的房屋模型的修复方法的流程示意图之三，如图3所示，根据目标图像特征的亮度信息和位置信息，确定全景图像中的待修复区域，包括：
51.步骤302，获取全景图像的直方图信息；
52.其中，直方图信息对应的直方图为亮度信息与像素数直方图；
53.步骤304，根据直方图信息和位置信息，确定待修复区域。
54.该实施例给出了根据全景图像的直方图信息和目标图像特征的位置信息，对全景图像中的待修复区域进行准确定位的方案。
55.本技术实施例中，提取全景图像中每个像素的亮度信息，根据每个像素的亮度信息，能够获取全景图像的直方图信息。根据目标图像特征的位置信息，能够和直方图信息能够确定全景图像中的强光区域，即待修复区域。
56.本技术实施例通过全景图像的直方图信息，以及目标图像特征在全景图像中的位置信息，能够准确对待修复区域进行定位，避免了由于难以检测到待修复区域造成的为全景图像的空洞修复不准确的问题。
57.在本技术的一些实施例中，图4示出了本技术实施例提供的房屋模型的修复方法的流程示意图之四，如图4所示，获取全景图像的直方图信息，包括：
58.步骤402，对全景图像进行色彩空间转换；
59.步骤404，根据色彩空间转换后的全景图像的亮度信息，确定直方图信息。
60.该实施例给出了将全景图像由rgb(红、绿、蓝)空间转换至hsv(色调、饱和度、明度)空间，并根据其中的亮度信息确定直方图信息的方案。
61.本技术实施例中，在获取全景图像的直方图信息之前，将全景图像由rgb空间映射至hsv空间，根据hsv空间中的亮度信息，建立全景图像的直方图信息。
62.本技术实施例通过将全景图像由rgb空间映射至hsv空间，能够更加准确地确定全景图像的亮度信息，使得到的直方图信息更加准确，进而提高了对全景图像中空洞进行修复的准确性。
63.在本技术的一些实施例中，图5示出了本技术实施例提供的房屋模型的修复方法的流程示意图之五，如图5所示，根据点云信息对待修复区域进行修复，包括：
64.步骤502，通过点云信息，确定目标图像特征的平面信息；
65.步骤504，根据全景图像的相机参数和平面信息，确定待修复区域中像素对应的三维点；
66.步骤506，根据三维点的深度信息，以对待修复区域进行修复。
67.该实施例给出了根据点云信息对全景图像中的待修复区域进行修复的方案。
68.值得说明的是，在对全景图像进行语义分割之后，不仅能够确定目标图像信息，还能够得到经过语义分割后的目标图像特征对应的点云信息。
69.本技术实施例中，根据目标图像特征对应的点云信息，通过最小二乘技术能够确定该目标图像特征对应的平面信息。全景图像中的待修复区域中包括多个像素，根据全景图像中的相机参数和平面信息，能够确定待修复区域中每个像素的三维点。三维点与待修复区域中的像素一一对应，通过将三维点的深度信息配置到待修复区域中对应的像素上，从而完成对待修复区域的修复。
70.具体来说，目标图像特征包括墙面特征、地面特征、桌面特征、床面特征中的一项或组合，目标图像特征对应的平面信息为通过点云信息确定的平面模型。利用全景图像的相机模型，以相机模型的光心作为原点，对待修复区域中的每个像素均连接一条射线，并将该射线与平面模型求交，求交的得到的交点为待修复区域像素所对应的三维点，进而将三维点的深度信息填充至对应的待修复区域的像素上，从而完成对待修复区域的修复。
71.本技术实施例中通过相机模型的相机参数，以及根据点云信息确定的平面信息，能够确定待修复区域中每个像素所对应的三维点。然后根据三维点的深度信息对待修复区域中的对应的像素进行填充深度，从而对由于强光造成的空洞问题进行修复，使修复完成的全景图像不存在由于强光产生的空洞，并且填充后的待修复区域与周围场景深度相匹配。
72.在本技术的一些实施例中，通过所述点云信息，确定目标图像特征的平面信息，包括：滤除点云信息中的异常信息；确定滤除异常信息的点云信息对应的平面信息。
73.该实施例给出了通过点云信息确定平面信息的方案。
74.本技术实施例中，全景图像进行语义分割能够确定目标图像特征的点云信息。为提高点云信息的准确性，需要将点云信息中的异常信息进行滤除，再通过滤除异常信息的点云信息通过最小二乘确定平面信息。
75.具体来说，根据语义分割信息，可以提取目标图像特征所对应的点云信息。由于语义精度的不准确，首先对获取的点云进行ransac(random sample consensus，计算机视觉算法)来剔除一些outliers(异常信息)，然后利用最小二乘来估计平面信息。
76.本技术实施例中通过对语义分割得到的点云信息进行异常信息的滤除，能够提高通过最小二乘确定的平面信息的准确性，进一步提高了对待修复区域进行修复的准确性，从而有效解决强光下模型空洞问题。
77.在本技术的一些实施例中，图6示出了本技术实施例提供的房屋模型的修复方法的流程示意图，如图6所示，房屋模型的修复方法包括：输入全景图像、语义分割、检测待修复区域、提取点云信息，修复深度图。
78.其中，语义分割：借助深度学习框架，获取房屋中墙面、地面、桌面及床面的语义分割信息，即目标图像特征。并获取与之对应的掩码信息。
79.检测待修复区域：根据语义分割得到的掩码信息，获取某一类别的目标图像特征
在全景图像中的对应区域，然后将全景图像的rgb空间映射至hsv空间中，然后对v通道(亮度通道)计算对应的直方图信息，最后根据直方图信息确定待修复区域。
80.提取点云信息：根据语义分割信息，能够提取目标图像特征对应的点云信息。由于语义存在精度较低的问题，首先对获取的点云信息进行ransac来剔除一些outliers，然后利用最小二乘来估计平面信息。
81.修复深度图：利用相机模型，以光心为原点，对待修复区域中的像素连接一条射线，并对该射线与平面信息进行求交。交点为待修复区域像素所对应的三维点，进而填充交点深度为待修复区域的深度值。
82.本技术实施例提供的房屋模型的修复方法，执行主体可以为房屋模型的修复装置。本技术实施例中以房屋模型的修复装置执行房屋模型的修复方法为例，说明本技术实施例提供的房屋模型的修复装置。
83.在本技术的一些实施例中提供了一种房屋模型的修复装置，图7示出了本技术实施例提供的房屋模型的修复装置的结构框图，如图7所示，房屋模型的修复装置700，房屋模型的修复装置700包括：
84.获取模块702，用于获取房屋模型中的全景图像；
85.识别模块704，用于识别全景图像中的目标图像特征；
86.确定模块706，用于根据目标图像特征，确定全景图像中的待修复区域；
87.获取模块702，还用于获取目标图像特征的点云信息；
88.修复模块708，用于根据点云信息对待修复区域进行修复。
89.本技术实施例通过对全景图像中的目标图像特征进行识别，能够准确查找到全景图像中存在空洞的待修复区域，并根据全景图像的点云信息对检测到的待修复区域进行精准修复，提高了修复的可控性，以及修复位置的准确性。
90.在本技术的一些实施例中，房屋模型的修复装置700还包括：
91.输入模块，用于将全景图像输入至语义分割网络，以得到目标图像特征；其中，目标图像特征包括以下一项或组合：墙面特征、地面特征、桌面特征、床面特征。
92.本技术实施例通过借助深度学习框架，获取墙面、地面、桌面以及床面的语义分割信息，确定全景图像中的目标图像特征，便于后续根据目标图像特征确定全景图像中的待修复区域。
93.在本技术的一些实施例中，确定模块706，还用于根据目标图像特征的掩码信息，确定目标图像特征在全景图像中的位置信息；
94.确定模块706，还用于根据目标图像特征的亮度信息和位置信息，确定全景图像中的待修复区域。
95.本技术实施例中，通过语义分割技术，识别到目标图像特征，以及目标图像特征对应的掩码信息，并据此对全景图像中的待修复区域进行准确定位，提高了后续对全景图像中待修复区域进行修复的准确性。
96.在本技术的一些实施例中，获取模块702，还用于获取全景图像的直方图信息；
97.其中，直方图信息对应的直方图为亮度信息与像素数直方图；
98.确定模块706，还用于根据直方图信息和位置信息，确定待修复区域。
99.本技术实施例通过全景图像的直方图信息，以及目标图像特征在全景图像中的位
置信息，能够准确对待修复区域进行定位，避免了由于难以检测到待修复区域造成的为全景图像的空洞修复不准确的问题。
100.在本技术的一些实施例中，房屋模型的修复装置700还包括：
101.转换模块，用于对所述全景图像进行色彩空间转换；
102.确定模块706，还用于根据色彩空间转换后的所述全景图像的所述亮度信息，确定所述直方图信息。
103.本技术实施例通过将全景图像由rgb空间映射至hsv空间，能够更加准确地确定全景图像的亮度信息，使得到的直方图信息更加准确，进而提高了对全景图像中空洞进行修复的准确性。
104.在本技术的一些实施例中，确定模块706，还用于通过点云信息，确定目标图像特征的平面信息；
105.确定模块706，还用于根据全景图像的相机参数和平面信息，确定待修复区域中像素对应的三维点；
106.修复模块708，还用于根据所述三维点的深度信息，以对所述待修复区域进行修复。
107.本技术实施例中通过相机模型的相机参数，以及根据点云信息确定的平面信息，能够确定待修复区域中每个像素所对应的三维点。然后根据三维点的深度信息对待修复区域中的对应的像素进行填充深度，从而对由于强光造成的空洞问题进行修复，使修复完成的全景图像不存在由于强光产生的空洞，并且填充后的待修复区域与周围场景深度相匹配。
108.在本技术的一些实施例中，房屋模型的修复装置700还包括：
109.滤除模块，用于滤除点云信息中的异常信息；
110.确定模块706，还用于确定滤除异常信息的点云信息对应的平面信息。
111.本技术实施例中通过对语义分割得到的点云信息进行异常信息的滤除，能够提高通过最小二乘确定的平面信息的准确性，进一步提高了对待修复区域进行修复的准确性，从而有效解决强光下模型空洞问题。
112.本技术实施例中的房屋模型的修复装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(mobile internet device，mid)、增强现实(augmented reality，ar)/虚拟现实(virtual reality，vr)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，umpc)、上网本或者个人数字助理(personal digital assistant，pda)等，还可以为服务器、网络附属存储器(network attached storage，nas)、个人计算机(personal computer，pc)、电视机(television，tv)、柜员机或者自助机等，本技术实施例不作具体限定。
113.本技术实施例中的房屋模型的修复装置可以为具有操作系统的装置。该操作系统可以为安卓(android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本技术实施例不作具体限定。
114.本技术实施例提供的房屋模型的修复装置能够实现上述方法实施例实现的各个
过程，为避免重复，这里不再赘述。
115.可选地，本技术实施例还提供一种电子设备，图8示出了根据本技术实施例的电子设备的结构框图，如图8所示，电子设备800包括处理器802和存储器804，存储器804上存储有可在处理器802上运行的程序或指令，该程序或指令被处理器802执行时实现上述方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
116.需要说明的是，本技术实施例中的电子设备包括上述的移动电子设备和非移动电子设备。
117.图9为实现本技术实施例的一种电子设备的硬件结构示意图。
118.该电子设备900包括但不限于：射频单元901、网络模块902、音频输出单元903、输入单元904、传感器905、显示单元906、用户输入单元907、接口单元908、存储器909、以及处理器910等部件。
119.本领域技术人员可以理解，电子设备900还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器910逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图9中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
120.其中，处理器910，用于获取房屋模型中的全景图像；
121.处理器910，用于识别全景图像中的目标图像特征；
122.处理器910，用于根据目标图像特征，确定全景图像中的待修复区域；
123.处理器910，还用于获取目标图像特征的点云信息；
124.处理器910，用于根据点云信息对待修复区域进行修复。
125.本技术实施例通过对全景图像中的目标图像特征进行识别，能够准确查找到全景图像中存在空洞的待修复区域，并根据全景图像的点云信息对检测到的待修复区域进行精准修复，提高了修复的可控性，以及修复位置的准确性。
126.进一步地，处理器910，用于将全景图像输入至语义分割网络，以得到目标图像特征；其中，目标图像特征包括以下一项或组合：墙面特征、地面特征、桌面特征、床面特征。
127.本技术实施例通过借助深度学习框架，获取墙面、地面、桌面以及床面的语义分割信息，确定全景图像中的目标图像特征，便于后续根据目标图像特征确定全景图像中的待修复区域。
128.进一步地，处理器910，还用于根据目标图像特征的掩码信息，确定目标图像特征在全景图像中的位置信息；
129.处理器910，还用于根据目标图像特征的亮度信息和位置信息，确定全景图像中的待修复区域。
130.本技术实施例中，通过语义分割技术，识别到目标图像特征，以及目标图像特征对应的掩码信息，并据此对全景图像中的待修复区域进行准确定位，提高了后续对全景图像中待修复区域进行修复的准确性。
131.进一步地，处理器910，还用于获取全景图像的直方图信息；
132.其中，直方图信息对应的直方图为亮度信息与像素数直方图；
133.处理器910，还用于根据直方图信息和位置信息，确定待修复区域。
134.本技术实施例通过全景图像的直方图信息，以及目标图像特征在全景图像中的位置信息，能够准确对待修复区域进行定位，避免了由于难以检测到待修复区域造成的为全景图像的空洞修复不准确的问题。
135.进一步地，处理器910，用于对所述全景图像进行色彩空间转换；
136.处理器910，还用于根据色彩空间转换后的所述全景图像的所述亮度信息，确定所述直方图信息。
137.本技术实施例通过将全景图像由rgb空间映射至hsv空间，能够更加准确地确定全景图像的亮度信息，使得到的直方图信息更加准确，进而提高了对全景图像中空洞进行修复的准确性。
138.进一步地，处理器910，还用于通过点云信息，确定目标图像特征的平面信息；
139.处理器910，还用于根据全景图像的相机参数和平面信息，确定待修复区域中像素对应的三维点；
140.处理器910，还用于根据所述三维点的深度信息，以对所述待修复区域进行修复。
141.本技术实施例中通过相机模型的相机参数，以及根据点云信息确定的平面信息，能够确定待修复区域中每个像素所对应的三维点。然后根据三维点的深度信息对待修复区域中的对应的像素进行填充深度，从而对由于强光造成的空洞问题进行修复，使修复完成的全景图像不存在由于强光产生的空洞，并且填充后的待修复区域与周围场景深度相匹配。
142.进一步地，处理器910，用于滤除点云信息中的异常信息；
143.处理器910，还用于确定滤除异常信息的点云信息对应的平面信息。
144.本技术实施例中通过对语义分割得到的点云信息进行异常信息的滤除，能够提高通过最小二乘确定的平面信息的准确性，进一步提高了对待修复区域进行修复的准确性，从而有效解决强光下模型空洞问题。
145.应理解的是，本技术实施例中，输入单元904可以包括图形处理器(graphics processing unit，gpu)9041和麦克风9042，图形处理器9041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元906可包括显示面板9061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板9061。用户输入单元907包括触控面板9071以及其他输入设备9072中的至少一种。触控面板9071，也称为触摸屏。触控面板9071可包括触摸检测装置和触摸控制器两个部分。其他输入设备9072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
146.存储器909可用于存储软件程序以及各种数据。存储器909可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器909可以包括易失性存储器或非易失性存储器，或者，存储器909可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory，ram)，静态随机存取存储器(static ram，sram)、动态
随机存取存储器(dynamic ram，dram)、同步动态随机存取存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram，ddrsdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synch link dram，sldram)和直接内存总线随机存取存储器(direct rambus ram，drram)。本技术实施例中的存储器909包括但不限于这些和任意其它适合类型的存储器。
147.处理器910可包括一个或多个处理单元；可选的，处理器910集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器910中。
148.本技术实施例还提供一种可读存储介质，可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述房屋模型的修复方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
149.其中，处理器为上述实施例中的电子设备中的处理器。可读存储介质，包括计算机可读存储介质，如计算机只读存储器rom、随机存取存储器ram、磁碟或者光盘等。
150.本技术实施例另提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现上述房屋模型的修复方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
151.应理解，本技术实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
152.本技术实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述房屋模型的修复方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
153.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本技术实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
154.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本技术各个实施例的方法。
155.上面结合附图对本技术的实施例进行了描述，但是本技术并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员
在本技术的启示下，在不脱离本技术宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本技术的保护之内。