一种图像获取方法、装置、设备及存储介质与流程

1.本发明涉及图像获取技术领域，尤其涉及一种图像获取方法、装置、设备及存储介质。


背景技术：

2.视觉定位技术是一种基于当前获取的图像进行定位的技术，目前被广泛应用于无人驾驶、机器人等领域。
3.可靠的视觉定位依赖于高质量的图像，但现实中某些外界环境会降低图像的质量，例如快速运动容易使图像模糊，光照变化容易使图像过度曝光或曝光不足等。从这些低质量的图像中很难提取到足够的特征，从而导致视觉定位的精度较低，甚至失败。


技术实现要素：

4.本发明实施例提供一种图像获取方法、装置、设备及存储介质，可以提高图像的质量。
5.第一方面，本发明实施例提供了一种图像获取方法，包括：
6.获取图像采集装置采集的原始图像，以及惯性传感器在预设方向上的加速度，图像采集装置与惯性传感器位于同一电子设备上；
7.根据原始图像的图像信息，或者惯性传感器在预设方向上的加速度，确定原始图像的异常类型；
8.执行与异常类型对应的操作，得到目标图像。
9.第二方面，本发明实施例提供了一种图像获取装置，包括：
10.第一获取模块，用于获取图像采集装置采集的原始图像，以及惯性传感器在预设方向上的加速度，图像采集装置与惯性传感器位于同一电子设备上；
11.异常类型确定模块，用于根据原始图像的图像信息，或者惯性传感器在预设方向上的加速度，确定原始图像的异常类型；
12.第二获取模块，用于执行与异常类型对应的操作，得到目标图像。
13.第三方面，本发明实施例提供了一种电子设备，包括：
14.图像采集装置，用于采集图像；
15.惯性传感器，用于测量加速度；
16.处理器；
17.存储器，用于存储计算机程序指令；
18.当计算机程序指令被处理器执行时，实现如第一方面所述的方法。
19.第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现如第一方面所述的方法。
20.本发明实施例提供的图像获取方法、装置、设备及存储介质，根据获取的原始图像的图像信息或惯性传感器在预设方向上的加速度，确定原始图像的异常类型，并执行与异
常类型对应的操作，得到目标图像，提高了目标图像的质量。
附图说明
21.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
22.图1为本发明实施例提供的一种图像获取方法的流程图；
23.图2为本发明实施例提供的另一种图像获取方法的流程图；
24.图3为本发明实施例提供的另一种图像获取方法的流程图；
25.图4为本发明实施例提供的一种图像获取装置的结构图；
26.图5为本发明实施例提供的一种电子设备的结构图。
具体实施方式
27.下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
28.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
29.目前应用于视觉定位的图像主要是在正常条件下获取的，通过简单的图像处理即可进行视觉定位。这里的正常条件通常为采集图像的装置处于低速运动，或者光照变化较慢等。
30.当采集图像的装置处于快速运动，或光照变化较快，或处于雨天、雾天等异常天气时，采集的图像的质量通常较低，从而影响视觉定位的精度，甚至定位失败。
31.为此，本发明实施例提供一种图像获取方法，可以提高异常条件下的图像质量，进而提高异常条件下视觉定位的精度。另外，本发明实施例提供的图像获取方法，执行主体可以是图像获取装置，或者该图像获取装置中的用于执行图像获取方法的获取模块。本发明实施例以图像获取装置执行图像获取方法为例，对本发明实施例提供的图像获取方法进行详细说明。
32.图1为本发明实施例提供的一种图像获取方法的流程图。
33.如图1所示，该图像获取方法可以包括如下所示的s110
‑
s130。
34.s110、获取图像采集装置采集的原始图像，以及惯性传感器在预设方向上的加速度。
and mapping，slam)技术，实现视觉定位。当然也可以采用其他方式，本发明实施例对视觉定位的方式不做具体限定。
55.以应用于视觉定位领域为例，在一个实施例中，以根据惯性传感器在预设方向上的加速度，确定原始图像的异常类型为例，如图2所示，本发明实施例提供的图像获取方法还可以包括如下所示的s210
‑
s260。
56.s210、获取惯性传感器在预设方向上的加速度。
57.s220、确定加速度在设定时间内的变化率。
58.当惯性传感器的载体发生剧烈震动时，容易导致图像采集装置采集的原始图像模糊，进而影响视觉定位的精度。
59.根据加速度在设定时间内的变化率可以检测惯性传感器的载体是否发生剧烈震动，例如本发明实施例可以检测图像采集装置或电子设备是否发生剧烈震动。
60.具体地，可以根据惯性传感器在设定时间内的加速度，确定其在设定时间内的变化率，设定时间的大小可以根据实际需要设定。
61.s230、当变化率大于或等于第一设定阈值时，确定原始图像的异常类型为第一异常类型，第一异常类型用于表示原始图像的清晰度小于第二设定阈值。
62.当变化率大于或等于第一设定阈值时，可以确定图像采集装置发生剧烈震动。这里的变化率大于或等于第一设定阈值，可以是变化率在短时间内增大至大于或等于第一设定阈值，也即变化率在短时间内骤增。
63.当图像采集装置发生剧烈震动时，容易导致采集的图像的清晰度较差。本发明实施例将因图像采集装置发生剧烈震动而导致原始图像异常的类型记为第一异常类型，该异常类型用于表示原始图像的清晰度小于第二设定阈值，也即原始图像模糊。第一设定阈值和第二设定阈值的大小可以根据实际需要设定。
64.s240、根据加速度在设定时间内的变化率，确定图像采集装置的第一曝光时间。
65.可以理解，当图像采集装置发生剧烈震动时，图像采集装置的曝光时间越长，采集的原始图像越模糊。因此，可以降低图像采集装置的曝光时间，从而减轻图像的模糊程度。
66.在一个实施例中，当原始图像的异常类型为第一异常类型时，可以根据加速度的变化率，查找第一映射关系表，获取与变化率对应的曝光时间，也即第一曝光时间。
67.第一映射关系表用于存储加速度变化率与曝光时间的关联关系。该关联关系可以是函数关系，也可以是一一对应的数值关系，即一个变化率对应一个曝光时间。加速度变化率与曝光时间的关联关系可以预先基于大量实验确定。通过第一映射关系表可以快速确定图像采集装置的曝光时间，进而快速获取高质量的图像。
68.s250、根据第一曝光时间调整图像采集装置，使图像采集装置按照第一曝光时间采集图像，得到目标图像。
69.具体地，可以将图像采集装置的曝光时间减小至第一曝光时间，使图像采集装置基于第一曝光时间采集图像，由此可以减轻图像的模糊程度。
70.s260、根据目标图像进行视觉定位，得到定位结果。
71.由此，在基于惯性传感器的加速度变化率确定图像采集装置发生剧烈震动时，可以降低图像采集装置的曝光时间，从而在硬件上减轻图像的模糊程度，进而提高视觉定位的精度。
72.在一个实施例中，当图像采集装置发生剧烈震动时，也可以从软件层面对原始图像进行图像处理，降低原始图像的模糊程度。例如可以采用盲去卷积方法对原始图像进行去模糊处理，具体过程本发明实施例不做限定。
73.在一个实施例中，以根据原始图像的图像信息，确定所述原始图像的异常类型为例，如图3所示，本发明实施例提供的图像获取方法还可以包括如下所示的s310
‑
s3130。
74.s310、获取图像采集装置采集的原始图像。
75.s320、根据原始图像，生成图像直方图，图像直方图包括原始图像中各像素点的强度值。
76.在类似于进出隧道的场景中，通常会发生图像过度曝光或曝光不足的现象，影响视觉定位。为此，可以对原始图像的光照情况进行检测。
77.在一个实施例中，可以借助图像直方图确定原始图像的光照情况。图像直方图是一种将图像数据以左暗右亮的方式呈现出来的技术。本发明实施例的图像直方图包括原始图像的各像素点的强度值。
78.例如当各像素点的强度值主要分布在左侧时，可以确定原始图像对应的光照不足；当各像素点的强度值主要分布在右侧时，可以确定原始图像对应的光照较强；当各像素点的强度值合理的分布在左右两侧之间时，可以确定原始图像对应的光照正常。
79.s330、根据各像素点的强度值，确定各像素点的分布区域。
80.可以以强度值作为横坐标，像素点个数作为纵坐标，统计原始图像中各强度值具有的像素点个数，以此确定各像素点的分布区域。其中，最左侧代表强度值最小，对应的光线最暗，越往右强度值越大，对应的光线也越强。
81.根据强度值可以对区域进行划分，例如可以将强度值小于第三设定阈值的区域记为第一区域，将强度值大于第五设定阈值的区域记为第二区域，将强度值介于第三设定阈值和第五设定阈值之间的区域记为第三区域。第三设定阈值和第五设定阈值的大小可以根据实际需要设定。
82.当原始图像的像素点主要分布在第一区域时，认为该原始图像的各像素点分布在第一区域，类似的，当原始图像的像素点主要分布在第二区域时，认为该原始图像的各像素点分布在第二区域，当原始图像的像素点主要分布在第三区域时，认为该原始图像的各像素点分布在第三区域。
83.s340、像素点是否分布在第一区域，若是，执行s350，否则执行s360。
84.这里，第一区域为强度值小于第三设定阈值的区域。
85.图3是以先判断原始图像的各像素点是否分布在第一区域为例，当然也可以先判断原始图像的各像素点是否分布在第二区域或第三区域。
86.s350、确定原始图像的异常类型为第二异常类型，第二异常类型用于表示原始图像的曝光度小于第四设定阈值。
87.当确定原始图像的各像素点分布在第一区域时，可以确定该原始图像的曝光度小于第四设定阈值，也即曝光不足，对应的异常类型为第二异常类型。第四设定阈值的大小可以根据实际需要设定。
88.s360、像素点是否分布在第二区域，若是，则执行s370，否则执行s3130。
89.这里，第二区域为强度值大于第五设定阈值的区域。
90.当确定原始图像的各像素点不在第一区域时，可以进一步确定其是否分布在第二区域，当然也可以进一步确定其是否分布在第三区域，图3以前者为例。
91.s370、确定原始图像的异常类型为第三异常类型，第三异常类型用于表示原始图像的曝光度大于第六设定阈值。
92.当确定原始图像的各像素点分别在第二区域时，可以确定该原始图像的曝光度大于第五设定阈值，也即曝光过度，对应的异常类型为第三异常类型。
93.s380、根据预先训练的第一曝光处理模型，确定图像采集装置的第一增益和第二曝光时间。
94.当确定原始图像的异常类型为第二异常类型时，表示原始图像曝光不足。在一个实施例中，可以调整图像采集装置的增益和曝光时间。
95.在一个实施例中，可以将原始图像输入预先训练的第一曝光处理模型，由第一曝光处理模型输出与该异常类型对应的增益和曝光时间，本发明实施例分别将该增益和曝光时间记为第一增益和第二曝光时间。
96.第一曝光处理模型的结构可以根据实际需要设定，例如可以采用深度卷积神经网络模型。应用之前，可以选取大量曝光不足的图像对第一曝光处理模型进行训练。
97.s390、根据第一增益和第二曝光时间，调整图像采集装置，使所述图像采集装置按照第一增益和第二曝光时间采集图像，得到目标图像。
98.第一增益和第二曝光时间确定后，可以根据第一增益和第二曝光时间调整图像采集装置，使图像采集装置按照第一增益和第二曝光时间采集图像，以从硬件上采集到高质量的图像。
99.s3100、根据预先训练的第二曝光处理模型，确定图像采集装置的第二增益和第三曝光时间。
100.当确定原始图像的异常类型为第三异常类型，也即原始图像曝光过度时，在一个实施例中，可以调整图像采集装置的增益和曝光时间。
101.在一个实施例中，可以将原始图像输入预先训练的第二曝光处理模型，由第二曝光处理模型输出与该异常类型对应的增益和曝光时间，本发明实施例分别将该增益和曝光时间记为第二增益和第三曝光时间。
102.第二曝光处理模型的结构可以根据实际需要设定，例如可以采用深度卷积神经网络模型。应用之前，可以利用大量曝光过度的图像对第二曝光处理模型进行训练。
103.第二曝光处理模型和第一曝光处理模型的结构可以相同，也可以不同，为简化操作，可以采用结构相同的模型，即可以利用同一模型对曝光不足或曝光过度的图像进行处理。
104.s3110、根据第二增益和第三曝光时间，调整图像采集装置，使图像采集装置按照第二增益和第三曝光时间采集图像，得到目标图像。
105.第二增益和第三曝光时间确定后，可以根据第二增益和第三曝光时间调整图像采集装置，使图像采集装置按照第二增益和第三曝光时间采集图像，以从硬件上采集到高质量的图像。
106.s3120、根据目标图像进行视觉定位，得到定位结果。
107.s3130、根据原始图像进行视觉定位，得到定位结果。
108.当原始图像的各像素点既不在第一区域，也不在第二区域时，可以认为其分布在第三区域，也即光照正常，由此，可以直接根据原始图像进行视觉定位。
109.由此，当原始图像的光照异常，例如曝光不足或曝光过度时，可以确定不同异常类型下图像采集装置的增益和曝光时间，以从硬件上改善图像的质量，提高视觉定位的精度。
110.在一个实施例中，当原始图像的光照异常时，还可以通过调节图像对比度的方式改善原始图像的质量。
111.应当理解，异常天气也会影响图像的质量，例如雨天、雾天、雪天或冰雹天等，会给图像增加很多噪声。基于此，在一个实施例中，根据原始图像的图像信息，确定原始图像的异常类型，还可以包括：
112.根据预先训练的天气特征确定模型，确定原始图像中的天气特征；
113.当天气特征为预设天气特征时，确定原始图像的异常类型为第四异常类型，第四异常类型用于表示预设天气特征对应的天气的可见度小于预设可见度。
114.天气特征确定模型可以是用于确定天气特征的模型，例如可以采用深度学习模型。应用之前，可以利用标注好的包含雨天、雾天、霾天、晴天或冰雹等天气的图像训练天气特征确定模型，直至得到的天气特征确定模型具备良好的收敛效果。
115.预设天气特征可以是异常天气对应的天气特征，异常天气可以是可见度小于预设可见度的天气，例如雨天、雾天、霾天或冰雹天等。本发明实施例的预设天气特征可以是一种，也即原始图像对应的天气特征为一种。
116.当原始图像中的天气特征为预设天气特征时，可以确定原始图像对应的天气异常，对应的异常类型为第四异常类型。
117.在一个实施例中，当确定原始图像的异常类型为第四异常类型时，可以对原始图像进行处理，以降低异常天气对原始图像的影响，提高图像质量。
118.例如当预设天气特征为雾天对应的天气特征时，可以采用暗通道去雾算法对原始图像进行去雾处理，也可以采用卷积神经网络dehazenet对原始图像进行去雾处理。再如，当预设天气特征为雨天对应的天气特征时，可以采用稀疏编码字典学习和分类器的方式对原始图像进行去雨处理。
119.由此，本发明实施例可以对异常条件下的原始图像进行检测，确定异常类型，并针对不同的异常类型，执行相应的操作，从而提高了异常条件下的图像质量，以及视觉定位的精度。
120.基于相同的发明构思，本发明实施例还提供了一种图像获取装置，该装置可以设置于具备自动驾驶功能的电子设备中。下面结合图4对本发明实施例提供的图像获取装置进行详细说明。
121.图4为本发明实施例提供的一种图像获取装置的结构图。
122.如图4所示，该图像获取装置可以包括：
123.第一获取模块41，用于获取图像采集装置采集的原始图像，以及惯性传感器在预设方向上的加速度，图像采集装置与惯性传感器位于同一电子设备上；
124.异常类型确定模块42，用于根据原始图像的图像信息，或者惯性传感器在预设方向上的加速度，确定原始图像的异常类型；
125.第二获取模块43，用于执行与异常类型对应的操作，得到目标图像。
126.下面对上述的图像获取装置进行详细说明，具体如下：
127.在一个实施例中，异常类型确定模块42，具体用于：
128.确定加速度在设定时间内的变化率；
129.当变化率大于或等于第一设定阈值时，确定原始图像的异常类型为第一异常类型，第一异常类型用于表示原始图像的清晰度小于第二设定阈值。
130.在一个实施例中，异常类型确定模块42，具体用于：
131.根据原始图像，生成图像直方图，图像直方图包括原始图像中各像素点的强度值；
132.根据各像素点的强度值，确定各像素点的分布区域；
133.当像素点分布在第一区域时，确定原始图像的异常类型为第二异常类型，第一区域为强度值小于第三设定阈值的区域，第二异常类型用于表示原始图像的曝光度小于第四设定阈值；
134.当像素点分布在第二区域时，确定原始图像的异常类型为第三异常类型，第二区域为强度值大于第五设定阈值的区域，第三异常类型用于表示原始图像的曝光度大于第六设定阈值。
135.在一个实施例中，异常类型确定模块42，具体用于：
136.根据预先训练的天气特征确定模型，确定原始图像中的天气特征；
137.当天气特征为预设天气特征时，确定原始图像的异常类型为第四异常类型，第四异常类型用于表示预设天气特征对应的天气的可见度小于预设可见度。
138.在一个实施例中，第二获取模块43，具体用于：
139.当异常类型为第一异常类型时，根据加速度在设定时间内的变化率，确定图像采集装置的第一曝光时间；
140.根据第一曝光时间调整图像采集装置，使图像采集装置按照第一曝光时间采集图像，得到目标图像。
141.在一个实施例中，第二获取模块43，具体用于：
142.当异常类型为第二异常类型时，根据预先训练的第一曝光处理模型，确定图像采集装置的第一增益和第二曝光时间；根据第一增益和第二曝光时间，调整图像采集装置，使图像采集装置按照第一增益和第二曝光时间采集图像，得到目标图像；
143.当异常类型为第三异常类型时，根据预先训练的第二曝光处理模型，确定图像采集装置的第二增益和第三曝光时间；根据第二增益和第三曝光时间，调整图像采集装置，使图像采集装置按照第二增益和第三曝光时间采集图像，得到目标图像。
144.在一个实施例中，该装置还可以包括：
145.定位模块，用于在执行与异常类型对应的操作，得到目标图像之后，根据目标图像进行视觉定位，得到定位结果。
146.图4所示装置中的各个模块具有实现图1
‑
图3中各个步骤的功能并能达到相应的技术效果，为简洁描述，此处不再赘述。
147.基于相同的发明构思，本发明实施例还提供了一种电子设备，该电子设备具备自动驾驶功能，下面结合图5对本发明实施例提供的电子设备进行详细说明。
148.如图5所示，该电子设备可以包括用于采集图像的图像采集装置51、用于测量加速度的惯性传感器52、处理器53以及用于存储计算机程序指令的存储器54。
integrated circuit，asic)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、rom、闪存、可擦除rom(erom)、软盘、cd
‑
rom、光盘、硬盘、光纤介质、射频(radio frequency，rf)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
159.还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
160.上面参考根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明实施例的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
161.以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。