一种图像矫正方法、装置、电子设备及存储介质与流程

一种图像矫正方法、装置、电子设备及存储介质
1.分案申请
2.本技术是分案申请，原申请的申请号为：201911241547.x，申请日为2019年12月06日，发明名称为“一种图像矫正方法、电子设备及存储介质”。
技术领域
3.本发明实施例涉及图像处理领域，特别涉及一种图像矫正方法、装置、电子设备及存储介质。


背景技术：

4.在摄像头采集的时候，如果摄像头镜头上有污点(比如泥点等)，就会导致后续采集出来的图像或者视频数据中的部分数据被污染(被泥点遮挡的部分所采集的数据会失真)。
5.然而，发明人发现现有技术中至少存在如下问题：为减少污点对采集的图像的影响，通过需要通过外置的清理设备来清理摄像头上的污点，成本高。


技术实现要素：

6.本发明实施方式的目的在于提供一种图像矫正方法、装置、电子设备及存储介质，使得减少图像中的被遮挡区域对图像质量的影响，无需额外的清洗设备，降低了成本。
7.为解决上述技术问题，本发明的实施方式提供了一种图像矫正方法，包括以下步骤：当摄像头存在污点时，确定所述摄像头拍摄的第一图像中的被遮挡区域；根据所述被遮挡区域的实际尺寸信息和偏移角度的第一约束关系确定偏移角度；通过电子设备控制所述摄像头按照所述偏移角度调整所述拍摄角度，并拍摄第二图像，所述第二图像与所述第一图像为同一摄像头拍摄；提取所述第二图像中与所述被遮挡区域相对应的区域图像，根据所述摄像头调整的拍摄角度与提取的区域图像的元素值的第二约束关系，对所述提取的区域图像进行调整，得到替换图像；用所述替换图像替换所述第一图像中所述被遮挡区域的图像进行图像修正。
8.本发明的实施方式还提供了一种图像矫正装置，包括：区域确定模块，用于当摄像头存在污点时，确定所述摄像头拍摄的第一图像中的被遮挡区域；角度确定模块，用于根据所述被遮挡区域的实际尺寸信息和偏移角度的第一约束关系确定偏移角度；摄像头控制模块，用于通过电子设备控制所述摄像头按照所述偏移角度调整所述拍摄角度，并拍摄第二图像，所述第二图像与所述第一图像为同一摄像头拍摄；图像调整模块，用于提取所述第二图像中与所述被遮挡区域相对应的区域图像，根据所述摄像头调整的拍摄角度与提取的区域图像的元素值的第二约束关系，对所述提取的区域图像进行调整，得到替换图像；图像修正模块，用于用所述替换图像替换所述第一图像中所述被遮挡区域的图像进行图像修正。
9.本发明的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令
被至少一个处理器执行，以使至少一个处理器能够执行如上述实施方式提及的图像矫正方法。
10.本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述实施方式提及的图像矫正方法。
11.进一步的，所述根据所述被遮挡区域的实际尺寸信息和偏移角度的第一约束关系确定偏移角度，具体包括：根据所述被遮挡区域的图像尺寸信息，确定所述被遮挡区域的实际尺寸信息；根据所述实际尺寸信息，以及预设的实际尺寸信息和偏移角度的第一约束关系，确定偏移角度。
12.进一步的，所述被遮挡区域的实际尺寸信息为所述被遮挡区域对应的空间的实际高度，所述第一约束关系为：偏移角度＝第一比例参数*实际高度
÷
摄像头的焦距。
13.进一步的，所述提取所述第二图像中与所述被遮挡区域相对应的区域图像，根据所述摄像头调整的拍摄角度与提取的区域图像的元素值的第二约束关系，对所述提取的区域图像进行调整，得到替换图像，具体包括：将与所述被遮挡区域相对应的区域的图像作为候选图像；根据所述摄像头调整的角度和候选图像的像素的元素值的第二约束关系，确定所述替换图像中各像素的元素值；对所述候选图像进行调整，得到所述替换图像。
14.进一步的，所述根据所述摄像头调整的角度和候选图像的像素的元素值的第二约束关系，确定所述替换图像中各像素的元素值，具体包括：根据所述摄像头调整的角度，以及候选图像的像素的元素值、摄像头调整的角度和替换图像的像素的元素值的第二约束关系，确定所述替换图像中各像素的元素值；其中，所述第二约束关系为：替换图像中的像素的元素值＝候选图像的像素的元素值*第二比例参数，所述第二比例参数根据所述摄像头调整的角度确定。
15.进一步的，所述图像矫正方法还包括：提取所述第一图像的图像特征；将所述第一图像的图像特征与图像数据集中存储的第三图像的图像特征进行比较，根据比较结果，判断所述第一图像中是否存在被遮挡区域。
16.进一步的，所述根据比较结果，判断所述第一图像中是否存在被遮挡区域，具体包括：若所述第一图像与所述图像数据集中所有图像的比较结果中，指示所述第一图像中存在被遮挡区域的比较结果的个数不小于n，则确定所述第一图像中存在被遮挡区域；若指示所述第一图像中存在被遮挡区域的比较结果的个数小于n，则确定所述第一图像中不存在被遮挡区域。
17.进一步的，所述确定第二图像中与被遮挡区域相对应的区域，具体方法包括：确定所述第一图像中被遮挡区域的左边界坐标和右边界坐标，将所述被遮挡区域的左边界坐标作为所述第二图像中与所述被遮挡区域相对应的区域的左边界坐标，将所述被遮挡区域的右边界坐标作为所述第二图像中与所述被遮挡区域相对应的区域的右边界坐标；根据所述摄像头调整的角度和摄像头的焦距，确定上边界坐标和下边界坐标的调整量；确定所述第一图像中所述被遮挡区域的上边界坐标和下边界坐标，将所述被遮挡区域的上边界坐标加调整量得到的值，作为所述第二图像中与所述被遮挡区域相对应的区域的上边界坐标，将所述被遮挡区域的下边界坐标加调整量得到的值，作为所述第二图像中与所述被遮挡区域相对应的区域的下边界坐标。
18.本发明实施方式相对于现有技术而言，在第一图像中存在被遮挡区域的情况下，
可以自动调整摄像头的拍摄角度，以获取包含被遮挡区域的图像的第二图像。基于第二图像对第一图像进行修正，可以减少第一图像中被遮挡区域的大小，减少了由于污点等遮挡物的存在导致图像数据丢失的情况，使得减少图像中的被遮挡区域对图像质量的影响。由于该图像矫正方法无需额外的清洗设备对污点进行清洗，降低了成本。
附图说明
19.一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
20.图1是根据本发明的第一实施方式的图像矫正方法的流程图；
21.图2是根据本发明的第一实施方式的摄像头和拍摄物体的位置关系示意图；
22.图3a是根据本发明的第一实施方式的第一图像的示意图；
23.图3b是根据本发明的第一实施方式的第二图像的示意图；
24.图3c是根据本发明的第一实施方式的修正后的第一图像的示意图；
25.图4是根据本发明的第二实施方式的图像矫正方法的流程图；
26.图5是根据本发明的第三实施方式的图像矫正装置的结构示意图；
27.图6是根据本发明的第四实施方式的图像矫正装置的结构示意图；
28.图7是根据本发明的第五实施方式的图像矫正装置的结构示意图；
29.图8是根据本发明的第五实施方式的电子设备的结构示意图。
具体实施方式
30.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本技术而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本技术所要求保护的技术方案。
31.除非上下文明确要求，否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。
32.在本发明公开的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明公开的描述中，除非另有说明，“多个”的含义是两个或两个以上。
33.本发明的第一实施方式涉及一种图像矫正方法，应用于电子设备，如终端或服务器。如图1所示，图像矫正方法包括以下步骤：
34.步骤101：当摄像头存在污点时，确定所述摄像头拍摄的第一图像中的被遮挡区域。
35.具体地说，当摄像头存在污点，或被拍摄物体被其他物体遮挡时，电子设备认为第一图像中存在被遮挡区域。
36.步骤102：根据所述被遮挡区域的实际尺寸信息和偏移角度的第一约束关系确定偏移角度。
37.以下对电子设备调整摄像头的拍摄角度的方式进行举例说明。
38.方式a，电子设备按照预设的偏移角度，控制摄像头转动偏移角度。
39.方式b，电子设备根据被遮挡区域的图像尺寸信息，确定被遮挡区域的实际尺寸信息；根据实际尺寸信息，以及预设的实际尺寸信息和偏移角度的第一约束关系，确定偏移角度；控制摄像头转动偏移角度。
40.在一个实施例中，被遮挡区域的实际尺寸信息为被遮挡区域对应的空间的实际高度。第一约束关系为：偏移角度＝第一比例参数*实际高度
÷
摄像头的焦距。其中，第一比例参数可以根据实际测量结果得到，取值范围为-90
°
～90
°
。摄像头11和拍摄物体12的位置关系示意图如图2所示，假设，图像偏移对应的空间的实际高度为d，摄像头的焦距为f，由图2可知，摄像头偏移角度b和偏移的高度呈正比例关系，因此，可以偏移角度和被遮挡区域的高度的函数关系为：b＝k*d/f。
41.需要说明的是，被遮挡区域尺寸和偏移角度之间还可以是其他约束关系，本实施方式仅为举例说明，不限制被遮挡区域尺寸和偏移角度的具体约束关系。
42.步骤103：通过电子设备控制所述摄像头按照所述偏移角度调整所述拍摄角度，并拍摄第二图像，所述第二图像与所述第一图像为同一摄像头拍摄。
43.当摄像头存在污点，或被拍摄物体被其他物体遮挡时，电子设备认为第一图像中存在被遮挡区域的情况下，电子设备通过调整摄像头的拍摄角度，根据步骤102中确定的偏移角度来拍摄第二图像，以使污点或其他物体遮挡的部分或全部图像出现在第二图像中。
44.具体地说，由于第二图像中包括被污点或其他物体遮挡的部分或全部图像，电子设备可以基于第二图像，完善第一图像，以减少第一图像中被遮挡区域的大小。
45.步骤104：提取所述第二图像中与所述被遮挡区域相对应的区域图像，根据所述摄像头调整的拍摄角度与提取的区域图像的元素值的第二约束关系，对所述提取的区域图像进行调整，得到替换图像。
46.步骤105：用所述替换图像替换所述第一图像中所述被遮挡区域的图像进行图像修正。
47.对于步骤104和105，具体地，在一个实施例中，电子设备修正第一图像的过程包括：根据第一图像中被遮挡区域的位置信息，以及摄像头调整的角度，确定第二图像中与被遮挡区域相对应的区域；提取第二图像中与被遮挡区域相对应的区域的图像，得到替换图像；用替换图像替换第一图像中被遮挡区域的图像。
48.在一个实施例中，电子设备确定第二图像中与被遮挡区域相对应的区域的方法是：确定第一图像中被遮挡区域的左边界坐标和右边界坐标，将被遮挡区域的左边界坐标作为第二图像中与被遮挡区域相对应的区域的左边界坐标，将被遮挡区域的右边界坐标作为第二图像中与被遮挡区域相对应的区域的右边界坐标。根据摄像头调整的角度和摄像头的焦距，确定上边界坐标和下边界坐标的调整量。确定第一图像中被遮挡区域的上边界坐标和下边界坐标，将被遮挡区域的上边界坐标加调整量得到的值，作为第二图像中与被遮挡区域相对应的区域的上边界坐标，将被遮挡区域的下边界坐标加调整量得到的值，作为第二图像中与被遮挡区域相对应的区域的下边界坐标。
49.需要说明的是，本领域技术人员可以理解，实际应用中，还可以通过其他方式来确定第二图像中与被遮挡区域相对应的区域的位置，本实施方式不限制电子设备确定第二图
像中与被遮挡区域相对应的区域的位置的方法。
50.在一个实施例中，替换图像的获取过程包括：电子设备将第二图像中与被遮挡区域相对应的区域的图像作为候选图像；根据摄像头调整的角度，对候选图像进行调整，得到替换图像。
51.在一个实施例中，电子设备对候选图像进行调整的过程包括：根据摄像头调整的角度，以及候选图像的像素的元素值、摄像头调整的角度和替换图像的像素的元素值的第二约束关系，确定替换图像中各像素的元素值；其中，第二约束关系为：替换图像中的像素的元素值＝候选图像的像素的元素值*第二比例参数，第二比例参数根据摄像头调整的角度确定。其中，第二比例参数取值范围为0～1。
52.例如，电子设备可以通过图像的非线性拉升，转化候选图像，得到替换图像，以使替换图像与第一图像更贴合。具体地说，电子设备可以将候选图像的图像信息可以转化为矩阵数据进行存储，构造矩阵数据src，表示该候选图像的图像信息，构造矩阵数据dst，用于表示替换图像的图像信息。假设src中，位置(i，j)的元素值为s，把src的位置(i，j)的元素映射到dst的位置(i，j)上，该映射关系与摄像头调整的角度相关，可以建立如下的映射关系：t＝s*k(b)，其中，t表示dst的位置(i，j)上的元素值，s表示src的位置(i，j)的元素值，k(b)是关于调整角度b的函数，即第二比例参数，可以根据实际测量结果得到。
53.需要说明的是，本领域技术人员可以理解，第二比例参数和摄像头调整的角度之间的约束关系可以根据需要设置，本实施方式不作限制。
54.需要说明的是，本领域技术人员可以理解，实际应用中，第二约束关系可以根据需要设置，本实施方式仅为举例说明。
55.例如，摄像头拍摄的第一图像如图3a所示，第二图像如图3b所示，图3b中虚线框表示与第一图像中的被遮挡区域相对应的区域，通过本实施方式提及的图像矫正方法，可以将图3b中虚线框的图像与第一图像进行合成，以修正第一图像，修正后的第一图像如图3c所示。
56.需要说明的是，以上仅为举例说明，并不对本发明的技术方案构成限定。
57.与现有技术相比，本实施方式中提供的图像矫正方法，在第一图像中存在被遮挡区域的情况下，可以自动调整摄像头的拍摄角度，以获取包含被遮挡区域的图像的第二图像。基于第二图像对第一图像进行修正，可以减少第一图像中被遮挡区域的大小，减少了由于污点等遮挡物的存在导致图像数据丢失的情况，使得减少图像中的被遮挡区域对图像质量的影响。由于该图像矫正方法无需额外的清洗设备对污点进行清洗，降低了成本。
58.本发明的第二实施方式涉及一种图像矫正方法，本实施方式中，举例说明了第一实施方式中，电子设备确定第一图像中存在被遮挡区域的方法。
59.具体的说，如图4所示，在本实施方式中，电子设备确定第一图像中存在被遮挡区域的方法包括以下步骤：
60.步骤201：提取第一图像的图像特征。
61.具体地说，电子设备对当前采集的第一图像的图像特征进行提取。
62.需要说明的是，图像特征可以是图像的灰度值、亮度值等特征中的任意一个或任意组合，本实施方式不作限制。
63.步骤202：将第一图像的图像特征与图像数据集中存储的第三图像的图像特征进
行比较，根据比较结果，判断第一图像中是否存在被遮挡区域。
64.具体地说，图像数据集中可以包括预存图像，和/或，摄像头在拍摄第一图像之前拍摄的第三图像。若图像数据集中的第三图像为不存在被遮挡区域的图像，则第一图像中存在被遮挡区域时，第一图像的图像特征和第三图像的图像特征存在差异。若图像数据集中第三图像为存在被遮挡区域的图像，则第一图像中存在被遮挡区域时，第一图像的图像特征与该区域也被遮挡的第三图像的图像特征相近。
65.以下以第三图像为不存在被遮挡区域的图像为例，对电子设备确定比较结果的过程进行举例说明。
66.在一个实施例中，第一图像拍摄的场景为静态场景。电子设备将第一图像的图像特征与图像数据集的该场景的第三图像的图像特征进行比较。可选的，电子设备将第一图像划分为多个区域，若第一图像某个区域的图像特征与第三图像的图像特征不相近，则第一图像与该第三图像的比较结果指示第一图像存在被遮挡区域。若第一图像的所有区域的图像特征与第三图像的图像特征均相近，则第一图像与该第三图像的比较结果指示第一图像不存在被遮挡区域。其中，两个区域的图像特征是否相近的判断标准可以是，判断这两个区域的图像特征的差值是否大于预设值，若大于预设值，则认为两者不相近，若不大于预设值，则认为两者相近。
67.在一个实施例中，第一图像拍摄的场景为动态场景，电子设备将第一图像的图像特征与图像数据集中该场景的第三图像的图像特征进行比较。可选的，电子设备将第一图像划分为多个区域，若第一图像某个区域的图像特征与第三图像的图像特征相近，则第一图像与该第三图像的比较结果指示第一图像存在被遮挡区域。若第一图像中所有区域的图像特征与第三图像的图像特征均不相近，则第一图像与该第三图像的比较结果指示第一图像不存在被遮挡区域。
68.需要说明的是，电子设备判定第一图像和第三图像的比较结果的方式可以根据需要设置，本实施方式仅为举例说明。
69.在一个实施例中，电子设备可以根据第一图像中，与第三图像的图像特征相近的区域在第一图像中的占比，判断当前拍摄的场景为静态场景还是动态场景。例如，若占比大于预设比值，则认为当前拍摄的场景为静态场景，若不大于预设的比值，则认为当前拍摄的场景为动态场景。
70.需要说明的是，实际应用中，电子设备也可以根据外部输入，或者其他方式，判断当前拍摄的场景是静态场景还是动态场景，本实施方式仅为举例说明。
71.在一个实施例中，若第一图像与图像数据集中所有图像的比较结果中，指示第一图像中存在被遮挡区域的比较结果的个数不小于n，则确定第一图像中存在被遮挡区域；若指示第一图像中存在被遮挡区域的比较结果的个数小于n，则确定第一图像中不存在被遮挡区域。其中，n可以根据需要设置为任意正整数。
72.值得一提的是，在n个比较结果指示第一图像中存在被遮挡区域后，才判定第一图像存在被遮挡区域，执行步骤101和步骤102所示的图像矫正方法，减少了由于将不存在被遮挡区域的图像判为存在被遮挡区域的图像造成的计算资源浪费。
73.在另一实施例中，第一图像依次与图像数据集中的第三图像进行比较，图像数据集中的任意一幅图像的图像特征与第一图像的图像特征的比较结果指示第一图像存在被
遮挡区域时，则认为第一图像存在被遮挡区域。
74.值得一提的是，在任一比较结果指示第一图像存在被遮挡区域的情况下，判定第一图像存在被遮挡区域，提高了电子设备检查图像是否存在被遮挡区域的查全率。
75.需要说明的是，本领域技术人员可以理解，实际应用中，可以根据需要设置第一图像存在被遮挡区域的判断标准，上述实施例仅为举例说明，本实施方式不限制其具体判断过程。
76.需要说明的是，以上仅为举例说明，并不对本发明的技术方案构成限定。
77.与现有技术相比，本实施方式中提供的图像矫正方法，电子设备将第一图像的图像特征与图像数据集中的第三图像的图像特征进行比较，以确定第一图像中是否存在被遮挡区域，实现了第一图像的被遮挡区域的自动检测，提高了电子设备的智能性。
78.上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
79.本发明的第三实施方式涉及一种图像矫正装置，如图5所示，包括：摄像头控制模块501和图像修正模块502。摄像头控制模块501用于在确定摄像头拍摄的第一图像中存在被遮挡区域后，控制摄像头调整拍摄角度，并拍摄第二图像。图像修正模块502用于根据第二图像，修正第一图像中被遮挡区域的图像。
80.具体更详尽的，如图6所示，所述图像矫正装置包括：区域确定模块505、角度确定模块506、摄像头控制模块501、图像调整模块507和图像修正模块502。
81.区域确定模块505，用于当摄像头存在污点时，确定所述摄像头拍摄的第一图像中的被遮挡区域；
82.角度确定模块506，用于根据所述被遮挡区域的实际尺寸信息和偏移角度的第一约束关系确定偏移角度；
83.摄像头控制模块501，用于通过电子设备控制所述摄像头按照所述偏移角度调整所述拍摄角度，并拍摄第二图像，所述第二图像与所述第一图像为同一摄像头拍摄；
84.图像调整模块507，用于提取所述第二图像中与所述被遮挡区域相对应的区域图像，根据所述摄像头调整的拍摄角度与提取的区域图像的元素值的第二约束关系，对所述提取的区域图像进行调整，得到替换图像；
85.图像修正模块502，用于用所述替换图像替换所述第一图像中所述被遮挡区域的图像进行图像修正。
86.其中，区域确定模块505、角度确定模块506、摄像头控制模块501、图像调整模块507和图像修正模块502的具体执行功能可参考图1中的相关步骤方法的执行。
87.不难发现，本实施方式为与第一实施方式相对应的系统实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。
88.值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单
memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
99.本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。