图像修正方法和装置、电子设备和存储介质与流程

1.本公开涉及图像处理技术，尤其是一种图像修正方法和装置、电子设备和存储介质。


背景技术：

2.目前，车载相机主要包括支持全局曝光的ccd(charge coupled device，电荷耦合器件)相机和支持卷帘曝光的cmos(complementary metal oxide semiconductor，互补金属氧化物半导体)相机，与全局曝光的ccd相机相比，卷帘曝光的cmos相机(下文简称卷帘曝光相机)在成本上具有更好的优势。卷帘曝光相机由于具有较为明显的成本优势，广泛的应用于车载环视等领域，但卷帘曝光相机的成像原理是逐行轮流曝光一定时间进而成像，存在其原理上的缺陷，如当目标与相机之间存在明显相对运动时，卷帘曝光相机逐行曝光过程中会产生“果冻效应”，导致目标倾斜或拉长，造成实际目标的尺寸在图像中出现畸变，进而影响目标检测和分割时的精度。因此，需要一种图像修正的技术方案。


技术实现要素：

3.为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种图像修正方法和装置、电子设备和存储介质。
4.根据本公开实施例的第一方面，提供了一种图像修正方法，包括：获取图像采集装置采集单组像素的采集时间信息；其中，所述图像采集装置安装在可移动设备上；获取与所述采集时间信息相对应的所述可移动设备的第一位姿变化信息；基于所述第一位姿变化信息确定与所述单组像素相对应的所述图像采集装置的第二位姿变化信息；根据所述第二位姿变化信息对所述单组像素进行修正，使用经过修正后的所述单组像素拼接帧图像。
5.根据本公开实施例的第二方面，提供了一种图像修正装置，包括：采集时间获取模块，用于获取图像采集装置采集单组像素的采集时间信息；其中，所述图像采集装置安装在可移动设备上；第一位姿确定模块，用于获取与所述采集时间信息相对应的所述可移动设备的第一位姿变化信息；第二位姿确定模块，用于基于所述第一位姿变化信息确定与所述单组像素相对应的所述图像采集装置的第二位姿变化信息；图像处理模块，用于根据所述第二位姿变化信息对所述单组像素进行修正，使用经过修正后的所述单组像素拼接帧图像。
6.根据本公开实施例的第三方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述的图像修正方法。
7.根据本公开实施例的第三方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述的图像修正方法。
8.基于本公开上述实施例提供的图像修正方法和装置、电子设备和存储介质，基于图像采集装置随着可移动设备移动时产生的第一位姿变化信息，对图像采集装置在车辆行
驶过程中的成像进行修正，从而可避免成像出现“果冻效应”，使得成像逐行拼接时的拼接精度更高；由于避免了成像的“果冻效应”，从而成像质量更高，可以提升后续图像的目标检测正确率及语义分割精度，提高客户的使用感受度。
9.下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
10.通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
11.图1为本公开的图像修正方法的一个实施例的流程图；
12.图2为本公开的图像修正方法的一个实施例中的计算相机位姿变化的流程图；
13.图3为本公开的图像修正方法的另一个实施例中的计算相机位姿变化的流程图；
14.图4为本公开的图像修正方法的一个实施例中的拼接帧图像的流程图；
15.图5为本公开的图像修正方法的一个实施例中的裁剪图像的流程图；
16.图6为本公开的图像修正装置的一个实施例的结构示意图；
17.图7是本公开的电子设备的一个实施例的结构图。
具体实施方式
18.下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
19.应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
20.本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
21.还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
22.还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
23.另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
24.还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
25.同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
26.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开
及其应用或使用的任何限制。
27.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
28.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
29.本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：车机终端、个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
30.终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
31.申请概述
32.在实现本公开的过程中，发明人发现，当目标与相机之间存在明显相对运动时，卷帘曝光相机逐行曝光过程中会产生“果冻效应”，导致目标倾斜或拉长，造成实际目标的尺寸在图像中出现畸变，进而影响目标检测和分割时的精度。
33.本公开提供的图像修正方法，获取图像采集装置采集单组像素的采集时间信息，获取与采集时间信息相对应的可移动设备的第一位姿变化信息；基于第一位姿变化信息确定与单组像素相对应的图像采集装置的第二位姿变化信息；根据第二位姿变化信息对单组像素进行修正，使用经过修正后的单组像素拼接帧图像；基于图像采集装置随着可移动设备移动时产生的第一位姿变化信息，对图像采集装置在车辆行驶过程中的成像进行修正，从而可避免成像出现“果冻效应”，使得成像逐行拼接时的拼接精度更高；由于避免了成像的“果冻效应”，从而成像质量更高，可以提升后续图像的目标检测正确率及语义分割精度。
34.示例性方法
35.随着汽车智能化的发展，车载相机越来越广泛的应用于目标检测、目标分类、图像分割等环境感知领域。目前，车载相机主要有支持全局曝光的ccd相机和支持卷帘曝光的cmos相机。与全局曝光的ccd相机相比，卷帘曝光的cmos相机在成本上具有更好的优势。卷帘曝光的cmos相机的成像原理是逐行轮流曝光一定时间进而成像，当相机拍摄存在相对运动的物体时会出现“果冻效应”，造成实际目标的尺寸在图像中出现畸变，进而影响目标检测和分割时的精度。
36.图1为本公开的图像修正方法的一个实施例的流程图，如图1所示的方法包括步骤：s101和s104。下面对各步骤分别进行说明。
37.s101，获取图像采集装置采集单组像素的采集时间信息；其中，图像采集装置安装在可移动设备上。
38.在一个实施例中，图像采集装置包括采用卷帘曝光方式的相机等，可移动设备包括车辆等，车辆可以为家用汽车、工程车辆等。例如，在家用汽车上安装采用卷帘曝光方式的cmos相机，可以获取cmos相机采集单组像素的采集时间信息。单组像素可以为cmos相机采集的每帧图像中的每一行像素集合。
39.s102，获取与采集时间信息相对应的可移动设备的第一位姿变化信息。
40.s103，基于第一位姿变化信息确定与单组像素相对应的图像采集装置的第二位姿变化信息。
41.在一个实施例中，获取车辆的方向盘转角和车速等信息，计算车辆在采集单组像素的采集时间内的位姿变化信息，作为第一位姿变化信息，第一位姿变化信息包括车辆的位置和航向角等的变化信息。
42.基于第一位姿变化信息确定在采集单组像素的采集时间内的cmos相机的第二位姿变化信息，第二位姿变化信息包括cmos相机的平移和旋转等的变化信息。如果相机的第二位姿变化信息较为明显，则需要对该相机的图像进行运动补偿。
43.s104，根据第二位姿变化信息对单组像素进行修正，使用经过修正后的单组像素拼接帧图像。
44.上述实施例中的图像修正方法，应用于卷帘曝光相机的图像拼接，在车辆等可移动设备运动过程中利用其运动信息，对卷帘曝光后的图像进行运动补偿，提高图像的拼接精度。
45.在一个实施例中，获取图像采集装置采集单组像素的采集时间信息可以采用多种方法。例如，获取与单组像素相对应的曝光时间戳信息，基于曝光时间戳信息确定采集时间信息。
46.获取可移动设备的第一位姿变化信息可以采用多种方法。例如，获取可移动设备的结构信息、与采集时间信息相对应的可移动设备的运动信息，根据结构信息以及运动信息确定在可移动设备的坐标系下的第一位姿变化信息。
47.当可移动设备为车辆时，结构信息包括车轴转距及转向转动比，运动信息包括方向盘转角及车辆速度。利用车辆的方向盘转角和车速信息计算可以得到较为准确的车辆位姿变化信息，即第一位姿变化信息，利用第一位姿变化信息能够推算较为准确的相机位姿变化信息，即第二位姿变化信息。
48.基于第一位姿变化信息确定与单组像素相对应的图像采集装置的第二位姿变化信息可以采用多种方法。图2为本公开的图像修正方法的一个实施例中的计算相机位姿变化的流程图，如图2所示的方法包括步骤：s201和s202。下面对各步骤分别进行说明。
49.s201，获取图像采集装置在可移动设备的坐标系下的外参。
50.s202，基于外参和第一位姿变化信息确定第二位姿变化信息。
51.图3为本公开的图像修正方法的另一个实施例中的计算相机位姿变化的流程图，如图3所示的方法包括步骤：s301和s303。下面对各步骤分别进行说明。
52.s301,输入方向盘转角、车速及相机的外参信息。
53.在一个实施例中，获取车辆运动及结构信息，包括方向盘转角、车速、车辆轴距及转向传动比等信息。获取相机在车辆坐标系下的外参信息，相机外参信息是包括世界坐标系中的参数信息，例如相机的位置、旋转方向等信息。
54.s302,利用ackermann转向几何计算车辆的位姿变化。
55.在一个实施例中，可以采用现有阿克曼转向ackermann转向模型，并通过车辆的运动及结构信息计算出车辆的位姿变化信息。
56.s303,根据相机的外参信息计算各个相机的位姿变化。
57.在一个实施例中，由于相机和车辆之间可视为刚性连接，可以采用现有的多种方法在已知车辆位姿变化的情况下求出个相机的位姿变化信息。
58.图4为本公开的图像修正方法的一个实施例中的拼接帧图像的流程图，如图4所示的方法包括步骤：s401和s403。下面对各步骤分别进行说明。
59.s401，确定组成帧图像的全部单组像素以及组合顺序。预先获取组成帧图像的全部单组像素，并记录全部单组像素的组合顺序。
60.s402，获取与全部单组像素中的各单组像素相对应的第二位姿变化信息，用以对全部单组像素进行相应的修正。
61.在一个实施例中，可以采用现有的多种方法对全部单组像素进行相应的修正。例如使用张正友标定法等方法基于第二位姿变化信息对相机位姿进行校正，用以对全部单组像素进行修正。
62.获取相机的位姿变化信息以及图像的曝光时间信息，根据曝光时间内的相机的位姿变化，推算出相机进行逐行曝光时每行的位姿变化量，根据每行曝光时的位姿变化量来对图像进行运动补偿。
63.s403使用经过修正后的全部单组像素并根据组合顺序进行拼接处理，生成帧图像。
64.图5为本公开的图像修正方法的一个实施例中的裁剪图像的流程图，如图5所示的方法包括步骤：s501和s502。下面对各步骤分别进行说明。
65.s501，根据第二位姿变化信息对单组像素进行修正。
66.s502,获取修正后的所述单组像素并进行裁剪处理。
67.在一个实施例中，在根据第二位姿变化信息对单组像素进行修正之后，获取修正后的单组像素并进行裁剪处理，用以拼接帧图像。例如，使用各行修正后的像素集合进行拼接，生成帧图像。
68.上述实施例中的图像修正方法，利用卷帘相机的曝光特性并结合车辆的运动信息，逐行的对曝光后的图像进行修正，减少了卷帘相机曝光产生的“果冻效应”带来的问题，进而提高图形的拼接精度，同时也对基于拼接图的检测和分割效果带来了提升；在车辆运动状态下，对静态目标而言，目标的检测和分割精度会得到较为明显提升，对于低速的动态目标而言，目标的检测和分割精度也会得到一定的改善。
69.示例性装置
70.在一个实施例中，如图6所示，本公开提供一种图像修正装置，包括：采集时间获取模块501、第一位姿确定模块502、第二位姿确定模块503和图像处理模块504。采集时间获取模块501获取图像采集装置采集单组像素的采集时间信息，其中，图像采集装置安装在可移动设备上。
71.第一位姿确定模块502获取与采集时间信息相对应的可移动设备的第一位姿变化信息。第二位姿确定模块503基于第一位姿变化信息确定与单组像素相对应的图像采集装
置的第二位姿变化信息。图像处理模块504根据第二位姿变化信息对单组像素进行修正，使用经过修正后的单组像素拼接帧图像。
72.在一个实施例中，采集时间获取模块501获取与单组像素相对应的曝光时间戳信息，基于曝光时间戳信息确定采集时间信息。
73.在一个实施例中，第一位姿确定模块502获取可移动设备的结构信息、与采集时间信息相对应的可移动设备的运动信息，根据结构信息以及运动信息确定在可移动设备的坐标系下的第一位姿变化信息。
74.在一个实施例中，可移动设备包括车辆等，结构信息包括车轴转距及转向转动比，所述运动信息包括方向盘转角及车辆速度等。
75.在一个实施例中，第二位姿确定模块503获取图像采集装置在可移动设备的坐标系下的外参，基于外参和第一位姿变化信息确定第二位姿变化信息。
76.在一个实施例中，图像处理模块504确定组成帧图像的全部单组像素以及组合顺序，获取与全部单组像素中的各单组像素相对应的第二位姿变化信息，用以对全部单组像素进行相应的修正。
77.在一个实施例中，图像处理模块504使用经过修正后的全部单组像素并根据组合顺序进行拼接处理，生成帧图像。图像处理模块504在根据第二位姿变化信息对单组像素进行修正之后，获取修正后的单组像素并进行裁剪处理。
78.示例性电子设备
79.如图7所示，电子设备包括一个或多个处理器601和存储器602。处理器601可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。
80.存储器602可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器601可以运行所述程序指令，以实现上文所述的本公开的各个实施例的图像修正方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
81.在一个示例中，电子设备还可以包括：输入装置603和输出装置604，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
82.例如，在该电子设备是第一设备100或第二设备200时，该输入装置603可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。在该电子设备是单机设备时，该输入装置603可以是通信网络连接器，用于从第一设备100和第二设备200接收所采集的输入信号。
83.此外，该输入设备13还可以包括例如键盘、鼠标等等。
84.该输出装置604可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
85.当然，为了简化，图7中仅示出了该电子设备中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备还可以
包括任何其他适当的组件。
86.示例性计算机程序产品和计算机可读存储介质
87.除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的图像修正方法中的步骤。
88.所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c 等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
89.此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的图像修正方法中的步骤。
90.所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
91.以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
92.本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
93.本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
94.可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据
本公开的方法的程序的记录介质。
95.还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
96.提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
97.为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。