一种环视图像融合拼接方法、装置、电子设备及存储介质与流程

1.本发明属于图像处理领域，尤其涉及一种环视图像融合拼接方法、装置、电子设备及存储介质。


背景技术：

2.常见的倒车影像只在车尾安装摄像头，视角只能覆盖车尾有限的区域，而车头及车身两侧的视野盲区无疑会增加安全驾驶的隐患，在狭窄拥堵的道路或停车场容易发生碰撞和剐蹭。目前，为了扩大驾驶员视野，会在一些车辆上安装环视相机，通过视频合成、图像拼接等得到车身周围全方位影像，提升感知视野。
3.然而，现有的图像拼接方法会基于复杂的图像拼接算法，对重叠部分进行融合优化，如基于深度学习的计算拼接参数、优化目标区域，此类方法虽然融合拼接效果较好，但实现过程过于复杂，对车端融合计算能力有较高要求。


技术实现要素：

4.有鉴于此，本发明实施例提供了一种环视图像融合拼接方法、装置、电子设备及存储介质，用于解决现有环视图像融合拼接过程较为复杂、对车端计算能要求较高的问题。
5.在本发明实施例的第一方面，提供了一种环视图像融合拼接方法，包括：
6.采集车辆的环视图像，对环视图像去畸变处理后，基于相机外参将环视图像转换为俯视图；
7.获取俯视图中图像重叠处对应的矩形区域，根据矩形区域中像素点位置，对矩形区域中重叠图像rgb值加权，以融合拼接重叠图像。
8.在本发明实施例的第二方面，提供了一种环视图像融合拼接装置，包括：
9.图像转换模块，用于采集车辆的环视图像，对环视图像去畸变处理后，基于相机外参将环视图像转换为俯视图；
10.融合拼接模块，用于获取俯视图中图像重叠处对应的矩形区域，根据矩形区域中像素点位置，对矩形区域中重叠图像rgb值加权，融合拼接重叠图像。
11.在本发明实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例第一方面所述方法的步骤。
12.在本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例第一方面提供的所述方法的步骤。
13.本发明实施例中，对采集的环视图像去畸变及俯视图转换后，通过对环视图像中重叠部分像素加权求和，得到融合拼接图像，从而可以实现环视图像的无缝拼接，简化融合拼接过程，降低车端计算能力需求，可以提高融合处理速度，并提高融合拼接的容错率，降低对采集图像的要求。
附图说明
14.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述的附图仅仅是本发明的一些实施例，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他附图。
15.图1为本发明实施例提供的一种环视图像融合拼接方法的流程示意图；
16.图2为本发明实施例提供的传统环视图像拼接结果示意图；
17.图3为本发明的实施例提供的水平方向区块划分示意图；
18.图4为本发明的实施例提供的垂直方向区块划分示意图；
19.图5为本发明的实施例提供的对角区域划分示意图；
20.图6为本发明的实施例提供的环视图像融合拼接效果示意图；
21.图7为本发明的实施例提供的一种环视图像融合拼接装置的结构示意图；
22.图8为本发明的实施例提供的电子设备的结构示意图。
具体实施方式
23.为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
24.应当理解，本发明的说明书或权利要求书及上述附图中的术语“包括”以及其他相近意思表述，意指覆盖不排他的包含，如包含一系列步骤或单元的过程、方法或系统、设备没有限定于已列出的步骤或单元。此外，“第一”“第二”用于区分不同对象，并非用于描述特定顺序。
25.请参阅图1，本发明实施例提供的一种环视图像融合拼接方法的流程示意图，包括：
26.s101、采集车辆的环视图像，对环视图像去畸变处理后，基于相机外参将环视图像转换为俯视图；
27.所述环视图像是通过环视相机采集的图像，环视相机一般由四个鱼眼相机组成，得到的原始环视图像通常由四张视角为180
°
的图像组成。对于原始环视图像需要进行去畸变处理，消除原始图像畸变。
28.利用标定板标定鱼眼相机的外参，具体的，将4个标定板放到相邻两个相机的公共视野位置，4个标定板两两平行，然后量出4个标定板的间距，在4张图片上找到4个标定板的角点，可以通过标定工具标出4个鱼眼相机的外参矩阵。
29.根据鱼眼相机的外参矩阵将去畸变后的环视图像转换为俯视图，将4张俯视图放置于同一张360环视图片中，可以得到一个有缝隙的360环视图片，如图2所示，可以明显看出拼接的缝隙，光照差异。
30.s102、获取俯视图中图像重叠处对应的矩形区域，根据矩形区域中像素点位置，对矩形区域中重叠图像rgb值加权，以融合拼接重叠图像。
31.对于四张俯视图，相邻两张图片间存在重叠部分，将两张图片间的重叠部分的矩形区域作为需要融合拼接的区域，对重叠的两张图像进行加权，得到融合拼接的图像。
32.其中，所述矩形区域为相邻两张俯视图中重叠区域，一般为矩形。对于矩形区域的像素点，其通过rgb值表示，具体通过对两张重叠图像的rgb颜色通道值加权计算得到，即分别对r通道、g通道、b通道颜色加权计算。
33.具体的，将矩形区域按预定方式划分为四个区块后，分别在水平方向和垂直方向上，根据像素点所属区块及像素点在区块中的位置，计算加权后像素点相应的rgb值。
34.将矩形区域划分为四个区块后，在水平方向上，根据像素点位置，计算水平方向上像素点的rgb值，如图3所示；在垂直方向上，根据像素点位置，计算垂直方向上像素点的rgb值，如图4所示。
35.其中，以矩形区域中靠近车身一侧的顶点为中心，作对角线及中心点与相对的两条边上预定位置的连线，将矩形区域划分为四个区块。即以邻近车身一侧顶点作对角线，将矩形区域划分为两个区块，在将该顶点与矩形中不相邻的两条边上某一位置相连，通过两条连线将矩形区域划分为四个区块。
36.进一步的，将第一图片的重叠像素赋值给第一区块，将第二图片的重叠像素赋值给第四区块；其中，第一区块邻近第一图片的一侧，第四区块邻近第二图片的一侧，矩形区域为第一图片与第二图片的重叠部分；
37.第二区块、第三区块的像素值根据像素点位置在水平或垂直方向上与矩形区域边界的距离，对第一图片、第二图片对应位置像素点的rgb颜色通道值加权求和。
38.所述第一图片和第二图片均为原始图像去畸变后的俯视图，所述第一区块、第二区块、第三区块、第四区块为矩形区域划分得到的四个区块，可以按顺时针或逆时针顺序编号得到。
39.示例性的，如图3所示，在水平方向上，将第一图片像素值赋值给第一区块，即a部分，将第二图片像素值赋值给第四区块，即d部分。
40.对于第二区块，即b部分，按公式(1)计算像素值：
41.{1－[(x－a)/b＊0.5]}＊p1 [(x－a)/b＊0.5]＊p2；
[0042]
式中，x表示像素点位置，a表示第一区块水平方向长度，b表示第二区块水平方向长度，p1表示第一图片相应位置(即x位置)颜色通道值，p2表示第二图片相应位置(即x位置)颜色通道值。
[0043]
如图4所示，在垂直方向上，将第一图片像素值赋值给第一区块，即e部分，将第二图片像素值赋值给第四区块，即h部分。
[0044]
对于第三区块，即g部分，按公式(2)计算像素值：
[0045]
{1－[(y－f－e)/g＊0.5]}＊p1 [(y－f－e)/g＊0.5]＊p2；
[0046]
式中，y表示像素点位置，e表示第一区块垂直方向长度，f表示第二区块垂直方向长度，g表示第三区块垂直方向长度，p1表示第一图片相应位置(即y位置)颜色通道值，p2表示第二图片相应位置(即y位置)颜色通道值。
[0047]
优选的，将矩形区域按两条对角线划分为四个区域，将水平方向像素点相应的rgb值填充至第一对角区域、将垂直方向上像素点相应的rgb值填充至第二对角两个区域。
[0048]
所述第一对角区域、第二对角两个区域即为对角的两个区域，如图5所示，将矩形
区域划分为四个区域后，a和b为对角区域，c和d为对角区域，将水平方向像素点相应的rgb值填充至对角区域ab或cd，将垂直方向上像素点相应的rgb值填充至另一对角区域，至此可以得到融合后矩形区域，最终得到的融合拼接图片如图6所示。
[0049]
本实施例中，可以实现环视图像的无缝拼接，简化拼接过程，提升融合拼接效率，降低对车端计算能力需求，提高拼接后的容错率，摄像头因路面颠簸导致3
°
内的晃动对拼接图片没有影响。
[0050]
应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
[0051]
图7为本发明实施例提供的一种环视图像融合拼接装置的结构示意图，该装置包括：
[0052]
图像转换模块710，用于采集车辆的环视图像，对环视图像去畸变处理后，基于相机外参将环视图像转换为俯视图；
[0053]
融合拼接模块720，用于获取俯视图中图像重叠处对应的矩形区域，根据矩形区域中像素点位置，对矩形区域中重叠图像rgb值加权，融合拼接重叠图像。
[0054]
具体的，将矩形区域按预定方式划分为四个区块后，分别在水平方向和垂直方向上，根据像素点所属区块及像素点在区块中的位置，计算加权后像素点相应的rgb值。
[0055]
进一步的，将第一图片的重叠像素赋值给第一区块，将第二图片的重叠像素赋值给第四区块；其中，第一区块邻近第一图片的一侧，第四区块邻近第二图片的一侧，矩形区域为第一图片与第二图片的重叠部分；
[0056]
第二区块、第三区块的像素值根据像素点位置在水平或垂直方向上与矩形区域边界的距离，对第一图片、第二图片对应位置像素点的rgb颜色通道值加权求和。
[0057]
优选的，将矩形区域按两条对角线划分为四个区域，将水平方向像素点相应的rgb值填充至第一对角区域、将垂直方向上像素点相应的rgb值填充至第二对角两个区域。
[0058]
其中，所述将矩形区域按预定方式划分为四个区块包括：
[0059]
以矩形区域中靠近车身一侧的顶点为中心，作对角线及中心与相对的两条边上预定位置的连线，将矩形区域划分为四个区块。
[0060]
所述领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程可以参考前述方法实施例中对应的过程，在此不再赘述。
[0061]
图8是本发明一实施例提供的一种电子设备的结构示意图。所述电子设备用于环视图像融合拼接。如图8所示，该实施例的电子设备8包括：存储器810、处理器820以及系统总线830，所述存储器810包括存储其上的可运行的程序8101，本领域技术人员可以理解，图8中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0062]
下面结合图8对电子设备的各个构成部件进行具体的介绍：
[0063]
存储器810可用于存储软件程序以及模块，处理器820通过运行存储在存储器810的软件程序以及模块，从而执行电子设备的各种功能应用以及数据处理。存储器810可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据(比如缓存数据)等。此外，存储器810可以包括高速随机存取存储器，还可以
包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0064]
在存储器810上包含网络请求方法的可运行程8101，所述可运行程序8101可以被分割成一个或多个模块/单元，所述一个或多个模块/单元被存储在所述存储器810中，并由处理器820执行，以实现数据融合标注等，所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序8101在所述电子设备8中的执行过程。例如，所述计算机程序8101可以被分割为图像转换模块和融合拼接模块。
[0065]
处理器820是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器810内的软件程序和/或模块，以及调用存储在存储器810内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体状态监控。可选的，处理器820可包括一个或多个处理单元；优选的，处理器820可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器820中。
[0066]
系统总线830是用来连接计算机内部各功能部件，可以传送数据信息、地址信息、控制信息，其种类可以是例如pci总线、isa总线、vesa总线等。处理器820的指令通过总线传递至存储器810，存储器810反馈数据给处理器820，系统总线830负责处理器820与存储器810之间的数据、指令交互。当然系统总线830还可以接入其他设备，例如网络接口、显示设备等。
[0067]
在本发明实施例中，该电子设备所包括的处理820执行的可运行程序包括：
[0068]
采集车辆的环视图像，对环视图像去畸变处理后，基于相机外参将环视图像转换为俯视图；
[0069]
获取俯视图中图像重叠处对应的矩形区域，根据矩形区域中像素点位置，对矩形区域中重叠图像rgb值加权，以融合拼接重叠图像。
[0070]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0071]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0072]
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。