一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

图像处理方法和装置、车辆、可读存储介质与流程

2022-06-01 08:30:00 来源:中国专利 TAG:


1.本公开涉及图像处理技术领域,尤其涉及一种图像处理方法和装置、车辆、可读存储介质。


背景技术:

2.无人驾驶,是依靠人工智能、视觉计算、雷达、监控装置和全球定位系统协同合作,让电脑可以在没有任何人类主动的操作下,自动地操作交通工具。
3.然而,现有的无人驾驶汽车受到传感器数量的限制会存在视野盲区,导致在一些特殊场景下无法保证驾驶安全,降低使用体验。


技术实现要素:

4.本公开提供一种图像处理方法和装置、车辆、可读存储介质,以解决相关技术的不足。
5.根据本公开实施例的第一方面,提供一种图像处理方法,所述方法包括:
6.获取车辆的实时位姿以及获取第一数量帧初始纹理图像;
7.根据所述实时位姿和各帧初始纹理图像获取各帧初始纹理图像对应的第一纹理图像;
8.将所述第一纹理图像转换到所述车辆所在坐标系并获取所述车辆的底部对应的区域,得到第二纹理图像;
9.将所述第一数量帧初始纹理图像对应的第二纹理图像进行混合渲染,获得表征所述车辆底部区域场景的目标图像。
10.可选地,获取第一数量帧初始纹理图像,包括:
11.以指定位置中最新的初始纹理图像为第一帧,按照预设时间间隔获取其他帧初始纹理图像,得到所述第一数量帧初始纹理图像;
12.所述第一数量帧初始纹理图像中相邻两帧之间的时间间隔超过所述预设时间间隔。
13.可选地,获取第一数量帧初始纹理图像,包括:
14.以指定位置中已存储的最新的初始纹理图像为第一帧,按照预设距离阈值获取其他帧初始纹理图像,得到所述第一数量帧初始纹理图像;
15.所述第一数量帧初始纹理图像中相邻两帧图像的距离超过所述预设距离阈值。
16.可选地,所述方法还包括生成指定位置中初始纹理图像的步骤,具体包括:
17.获取所述车辆在每个采集周期内的位姿,以及获取每个采集周期的环视图像;所述环视图像由设置在所述车辆上至少4个摄像头采集的图像拼接而成;
18.对所述环视图像进行渲染处理和变形处理,获得变形后的纹理图像;
19.绑定所述车辆的位姿和所述变形后的纹理图像,获得所述初始纹理图像。
20.可选地,对所述环视图像进行渲染处理和变形处理,包括:
21.将所述环视图像通过帧缓存方式进行渲染,得到中间渲染图像;
22.将所述中间渲染图像投影到预设的碗状区域进行变形处理,得到所述变形后的纹理图像;其中所述碗状区域的形状与所述车辆所处场景的形状相匹配。
23.可选地,获取车辆的实时位姿,包括:
24.获取所述车辆的惯性传感器采集的惯性数据、所述车辆的脉冲传感器采集的脉冲数量、所述车辆的前一周期的前一位置和前一导航角度;
25.基于预设的位姿模型,根据所述惯性数据、所述脉冲数据、所述前一位置和所述前一导航角度计算所述车辆在当前采集周期的实时位姿;所述实时位姿包括所述车辆的当前位置和当前导航角度。
26.可选地,根据所述实时位姿和各帧初始纹理图像获取各帧初始纹理图像对应的第一纹理图像,包括:
27.获取各帧初始纹理图像的位姿;
28.获取各帧初始纹理图像的位姿与所述实时位姿之间的变换矩阵;
29.获取各帧初始纹理图像的变换矩阵的旋转子矩阵和平移子矩阵,并将所述旋转子矩阵和所述平移子矩阵调整为目标变换矩阵;
30.渲染所述目标变换矩阵对应的初始纹理图像,获得各帧初始纹理图像对应的第一纹理图像。
31.可选地,将所述第一纹理图像转换到所述车辆所在坐标系并获取所述车辆的底部对应的区域,得到第二纹理图像,包括:
32.将各帧初始纹理图像对应的第一纹理图像转换到所述车辆所在坐标系,以使所述第一纹理图像中车辆底部区域与所述车辆底部经过区域相匹配;
33.获取各帧第一纹理图像中车辆底部区域的底部区域图像,得到第一数量帧底部区域图像并将所述底部区域图像作为第二纹理图像。
34.可选地,对所述第一数量帧底部区域图像进行混合渲染,获得表征所述车辆底部区域场景的目标图像,包括:
35.针对所述第一数量帧底部区域图像的同一位置的像素点,获取所述同一位置的像素点中各颜色分量的最大值;
36.将所述各颜色分量的取值更新为对应的最大值,获得渲染后的图像,并将所述渲染后的图像作为表征所述车辆底部区域场景的目标图像。
37.可选地,所述方法还包括:
38.将所述目标图像呈现在所述车辆对应模型的底部区域。
39.根据本公开实施例的第二方面,提供一种图像处理装置,所述装置包括:
40.实时位姿获取模块,用于获取车辆的实时位姿
41.初始图像获取模块,用于获取第一数量帧初始纹理图像;
42.第一图像获取模块,用于根据所述实时位姿和各帧初始纹理图像获取各帧初始纹理图像对应的第一纹理图像;
43.第二图像获取模块,用于将所述第一纹理图像转换到所述车辆所在坐标系并获取所述车辆的底部对应的区域,得到第二纹理图像;
44.目标图像获取模块,用于将所述第一数量帧初始纹理图像对应的第二纹理图像进
行混合渲染,获得表征所述车辆底部区域场景的目标图像。
45.可选地,所述初始图像获取模块包括:
46.第一获取子模块,用于以指定位置中最新的初始纹理图像为第一帧,按照预设时间间隔获取其他帧初始纹理图像,得到所述第一数量帧初始纹理图像;
47.所述第一数量帧初始纹理图像中相邻两帧之间的时间间隔超过所述预设时间间隔。
48.可选地,所述初始图像获取模块包括:
49.第二获取子模块,用于以指定位置中已存储的最新的初始纹理图像为第一帧,按照预设距离阈值获取其他帧初始纹理图像,得到所述第一数量帧初始纹理图像;
50.所述第一数量帧初始纹理图像中相邻两帧图像的距离超过所述预设距离阈值。
51.可选地,所述装置还包括初始图像生成模块,用于生成指定位置中初始纹理图像;所述初始图像生成模块包括:
52.车辆位姿获取子模块,用于获取每个采集周期内所述车辆的位姿;
53.环视图像获取子模块,用于获取每个采集周期的环视图像;所述环视图像由设置在所述车辆上至少4个摄像头采集的图像拼接而成;
54.变形图像获取子模块,用于对所述环视图像进行渲染处理和变形处理,获得变形后的纹理图像;
55.初始图像获取子模块,用于绑定所述车辆的位姿和所述变形后的纹理图像,获得所述初始纹理图像。
56.可选地,所述变形图像获取子模块包括:
57.中间图像获取单元,用于将所述环视图像通过帧缓存方式进行渲染,得到中间渲染图像;
58.变形图像获取单元,用于将所述中间渲染图像投影到预设的碗状区域进行变形处理,得到所述变形后的纹理图像;其中所述碗状区域的形状与所述车辆所处场景的形状相匹配。
59.可选地,所述实时位姿获取模块包括:
60.车辆数据获取子模块,用于获取所述车辆的惯性传感器采集的惯性数据、所述车辆的脉冲传感器采集的脉冲数量、所述车辆的前一周期的前一位置和前一导航角度;
61.实时位姿计算子模块,用于基于预设的位姿模型,根据所述惯性数据、所述脉冲数据、所述前一位置和所述前一导航角度计算所述车辆在当前采集周期的实时位姿;所述实时位姿包括所述车辆的当前位置和当前导航角度。
62.可选地,所述第一图像获取模块包括:
63.位姿获取子模块,用于获取各帧初始纹理图像的位姿;
64.变换矩阵获取子模块,用于获取各帧初始纹理图像的位姿与所述实时位姿之间的变换矩阵;
65.目标矩阵获取子模块,用于获取各帧初始纹理图像的变换矩阵的旋转子矩阵和平移子矩阵,并将所述旋转子矩阵和所述平移子矩阵调整为目标变换矩阵;
66.第一图像获取子模块,用于渲染所述目标变换矩阵对应的初始纹理图像,获得各帧初始纹理图像对应的第一纹理图像。
67.可选地,所述第二图像获取模块包括:
68.第一图像转换子模块,用于将各帧初始纹理图像对应的第一纹理图像转换到所述车辆所在坐标系,以使所述第一纹理图像中车辆底部区域与所述车辆底部经过区域相匹配;
69.底部图像转换子模块,用于获取各帧第一纹理图像中车辆底部区域的底部区域图像,得到第一数量帧底部区域图像并将所述底部区域图像作为第二纹理图像。
70.可选地,所述底部图像渲染子模块包括:
71.颜色分量获取单元,用于针对所述第一数量帧底部区域图像的同一位置的像素点,获取所述同一位置的像素点中各颜色分量的最大值;
72.颜色分量更新单元,用于将所述各颜色分量的取值更新为对应的最大值,获得渲染后的图像。
73.可选地,所述装置还包括:
74.目标图像呈现模块,用于将所述目标图像呈现在所述车辆对应模型的底部区域。
75.根据本公开实施例的第三方面,提供一种车辆,包括:车辆本体和设置在所述车辆本体上的存储器与处理器;
76.所述存储器用于存储所述处理器可执行的计算机程序;
77.所述处理器用于执行所述存储器中的计算机程序,以实现如第一方面所述的方法。
78.可选地,还包括至少4个摄像头;所述至少4个摄像头设置在所述车辆本体的预设位置,以采集所述车辆对应方向的图像;所述至少4个摄像头采集的图像拼接后获得环视图像,所述环视图像用于获取初始纹理图像。
79.可选地,还包括惯性传感器和脉冲传感器;所述惯性传感器用于采集所述车辆的惯性数据,所述脉冲传感器用于采集所述车辆的脉冲数据;所述惯性数据和所述脉冲数据用于计算所述车辆的位姿。
80.可选地,还包括定位传感器;所述定位传感器用于采集车辆的当前位置,所述当前位置用于计算所述车辆的位姿。
81.根据本公开实施例的第四方面,提供一种计算机可读存储介质,当所述存储介质中的可执行的计算机程序由处理器执行时,能够实现如第一方面所述的方法。
82.本公开的实施例提供的技术方案可以包括以下有益效果:
83.由上述实施例可知,本公开实施例提供的方案可以获取车辆的实时位姿以及获取第一数量帧初始纹理图像;然后,根据所述实时位姿和各帧初始纹理图像获取各帧初始纹理图像对应的第一纹理图像;之后,将所述第一纹理图像转换到所述车辆所在坐标系并获取所述车辆的底部对应的区域,得到第二纹理图像;最后,将所述第一数量帧初始纹理图像对应的第二纹理图像进行混合渲染,获得表征所述车辆底部区域场景的目标图像。这样,本实施例通过获得车辆底部区域场景的目标图像,可以监控车辆底部路面情况,扩大视野范围即减少视野盲区,有利于提升无人驾驶车辆的安全性。
84.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
85.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
86.图1是根据一示例性实施例示出的一种图像处理方法的流程图。
87.图2是根据一示例性实施例示出的一种获取实时位姿的流程图。
88.图3是根据一示例性实施例示出的一种获取初始纹理图像的流程图。
89.图4是根据一示例性实施例示出的一种获取第一纹理图像的流程图。
90.图5是根据一示例性实施例示出的一种获取第二纹理图像的流程图。
91.图6是根据一示例性实施例示出的一种图像处理装置的框图。
92.图7是根据一示例性实施例示出的一种车辆的框图。
具体实施方式
93.这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性所描述的实施例并不代表与本公开相一致的所有实施例。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置例子。需要说明的是,在不冲突的情况下,下述的实施例及实施方式中的特征可以相互组合。
94.为解决上述技术问题,本公开实施例提供了一种图像处理方法,可以适用于车辆上的处理器。其中,上述处理器可以是车辆无人驾驶控制系统的处理器或者控制器,可适用于无人驾驶车辆的场景;上述处理器还可以是车辆的辅助驾驭系统的处理器或者控制器,可适用于具有辅助驾驶功能的车辆,以在部分场景下替代驾驶员驾驶的场景。或者说,上述处理器可以至少具有图像处理功能,从而获取为无人驾驶控制系统或者驾驶员提供相应的目标图像,以扩大视野范围,提升驾驶的安全性。为方便描述,本公开后续实施例中均以车辆的处理器作为执行主体实现上述图像处理方法,但不构成对本公开的限定。
95.图1是根据一示例性实施例示出的一种图像处理方法的流程图。参见图1,一种图像处理方法,包括步骤11~步骤14。
96.在步骤11中,获取车辆的实时位姿以及获取第一数量帧初始纹理图像。
97.本实施例中,车辆的处理器可以获取车辆的实时位姿,参见图2,包括步骤21和步骤22。
98.在步骤21中,处理器可以获取车辆上惯性传感器采集的惯性数据、车辆的脉冲传感器采集的脉冲数据、车辆的前一周期的前一位置和前一导航角度。
99.其中,车辆的惯性传感器可以包括加速度传感器或者陀螺仪,以及它们的单、双和/或三轴组合成惯性测量单元(imu)或者姿态参考参数(ahrs)。惯性传感器在三个空间方向x、y、z上检测加速度数据。车辆具有基准坐标系(cog),惯性传感器具有坐标系l,当惯性传感器在车辆本体上的安装位置已知的情况下,可以根据惯性传感器的安装位置确定坐标系l和基准坐标系cog的转换关系,并预置到惯性传感器之内。因此,惯性传感器可以结合上述转换关系将检测到加速度数据转换到基准坐标系下,得到车辆的惯性数据。
100.其中,车辆的脉冲传感器可以包括磁电式传感器、霍尔式传感器或者光电式传感器。车轮在旋转过程中,每当旋转一圈,上述脉冲传感器可以生成一个脉冲,即根据脉冲传
感器的脉冲数据可以检测车辆的旋转圈数,在车轮的周长已知时可以确定出车辆的车速等数据。
101.其中,车辆还设置有定位传感器,例如北斗定位模组等,用于采集车辆的位置数据。本实施例中,考虑定位传感器按照设定周期采集位置数据,因此,可以将本次计算的周期作为当前周期,当前周期之前的一个周期作为前一周期。
102.可理解的是,在确定数据来源之后,处理器可以与相应的传感器通信获取对应的数据,例如处理器与惯性传感器通信获得惯性数据,又如与脉冲传感器通信获得脉冲数据等。当然,各传感器可以将采集的数据存储到指定位置,如本地存储器、缓存或者云端,处理器可以从指定位置读取数据。最终,处理器可以获取到惯性数据、脉冲数据、前一位置和前一导航角度。
103.在步骤22中,基于预设的位姿模型,处理器可以根据惯性数据、脉冲数据、前一位置和前一导航角度计算车辆在当前采集周期的实时位姿;所述实时位姿包括所述车辆的当前位置和当前导航角度。其中,位姿模型可以通过以下表达式(1)表示:
[0104][0105]
表达式(1)中,θ表示车辆的导航角度,x,y分别表示车辆的横坐标和纵坐标,ω表示车辆的偏转角速度,ωb为车辆在t-1时刻的偏转角速度,δt表示一个采集周期,δc表示一个周期内脉冲的变化量,k为常量系数。
[0106]
本实施例中,车辆的处理器可以获取第一数量帧初始纹理图像,该初始纹理图像为预先存储到指定位置的图像。其中,指定位置存储若干帧初始纹理图像。
[0107]
在一实施例中,处理器可以指定位置中最新的初始纹理图像为第一帧,按照时间顺序选择第一数量帧图像,从而得到第一数量帧初始纹理图像,处理方式比较简单,处理效率较高。
[0108]
在另一实施例中,处理器可以以采集方式来获取第一数量帧图像,包括:
[0109]
在一示例中,以时间采集方式获取,此方式下使用每一帧初始纹理图像的时间数据。处理器可以以指定位置中最新的初始纹理图像为第一帧,按照预设时间间隔获取其他帧初始纹理图像,得到所述第一数量帧初始纹理图像。其中,第一数量帧初始纹理图像中相邻两帧之间的时间间隔超过所述预设时间间隔。上述预设时间间隔的范围为0.1s~0.5s,可以根据具体场景选择。这样,本示例的方案通过时间间隔来获取到不同位置采集的图像,从而增加初始纹理图像的区别度,避免初始纹理图像过于类似而影响到后续效果,可以适用于车速较高和较低的场景并且在车速较低(如小于10km/h,可设置)的场景中效果更佳。
[0110]
在另一示例中,以空间采样方式获取,此方式下使用每一帧初始纹理图像的位置数据。处理器可以以指定位置中最新的初始纹理图像为第一帧,按照预设距离阈值获取其他帧初始纹理图像,得到所述第一数量帧初始纹理图像。其中,第一数量帧初始纹理图像中相邻两帧图像的距离超过所述预设距离阈值。上述预设距离阈值的范围为1cm~10cm,可以根据具体场景选择。这样,本示例的方案通过距离阈值来获取到不同位置采集的图像,从而增加初始纹理图像的区别度,避免初始纹理图像过于类似而影响到后续效果,可以适用于车速较高和较低的场景并且在车速较高(如大于40km/h,可设置)的场景中效果更佳。
[0111]
在又一示例中,以时间采样和空间采样组合方式获取。参见时间方式和空间方式的方案,在此不作限定。这样,本示例可以在最大程度上提高初始纹理图像的区别度而不丢失关键帧,适于各种车速场景即对车速要求更宽松,有利于提高后续的图像的精确度。
[0112]
在一实施例中,处理器可以获取初始纹理图像并存储到指定位置,参见图3,包括步骤31~步骤33。
[0113]
在步骤31中,处理器可以获取车辆在各个采集周期内的位姿,以及获取每个采集周期的环视图像;所述环视图像由设置在所述车辆上至少4个摄像头采集的图像拼接而成。其中,获取每个采集周期的位姿可以参见图2所示实施例的内容,在此不再赘述。处理器获取每个采集周期的环视图像,是指至少4个摄像头在同一个采集周期内采集的图像按照摄像头的顺序(顺时针或者逆时针)依次拼接而成。以车辆上设置4个摄像头为例,这4个摄像头分别朝向车辆的前后左右,每个摄像头的视场角可以范围至少90度的范围,这样4个摄像头可以覆盖车辆周围360度的范围。在一示例中,4个摄像头中相邻两个摄像头所采集的图像的边缘正好是同一边缘,那么处理器可以将4张图像按照顺时针拼接即可得到环视图像。在另一示例中,4个摄像头相邻两个摄像头所采集的图像存在重叠部分;处理器可以识别出重叠部分,然后再按照顺时针方向拼接4张图像得到环视图像。
[0114]
在步骤32中,处理器可以对所述环视图像进行渲染处理和变形处理,获得变形后的纹理图像。在一示例中,处理器可以将环视图像通过帧缓存方式进行渲染,得到中间渲染图像。可理解的是,实际应用中,处理器通常是将图像通过帧缓存方式渲染后进行显示,本步骤中是利用帧缓存方式可以渲染图像的功能来对环视图像进行渲染,无需增加单独的渲染功能。然后,处理器可以将中间渲染图像投影到预设的碗状区域进行变形处理,得到变形后的纹理图像。
[0115]
需要说明的是,其中所述碗状区域是变形处理时所使用的一个基准模型,该碗状区域的形状与车辆所处场景的形状相匹配。上述车辆所处场景是指至少4个摄像头采集车辆周围景物和车辆可以构成一个类似于碗状区域,其中每个摄像头能够采集到的景物构成碗边和部分碗底,车辆位于碗底。
[0116]
在步骤33中,处理器可以绑定所述车辆的位姿和所述变形后的纹理图像,获得所述初始纹理图像。本步骤中,处理器可以将车辆的位姿和变形后的纹理图像进行绑定,即每个采集周期内的车辆的位置和变形后的纹理图像是一一对应的,从而得到一帧初始纹理图像。然后,处理器可以将初始纹理图像存储到指定位置。重复步骤31~步骤33,最终可以在指定位置存储若干帧初始纹理图像。
[0117]
在步骤12中,根据所述实时位姿和各帧初始纹理图像获取各帧初始纹理图像对应的第一纹理图像;
[0118]
本实施例中,车辆的处理器可以获取各帧初始纹理图像对应的第一纹理图像,参见图4,包括步骤41~步骤44。
[0119]
在步骤41中,处理器可以获取各帧初始纹理图像的位姿。初始纹理图像包括位姿,此时处理器直接读取即可。在步骤42中,处理器可以获取各帧初始纹理图像的位姿与所述实时位姿之间的变换矩阵。在步骤43中,处理器可以获取各帧初始纹理图像的变换矩阵的旋转子矩阵和平移子矩阵,并将所述旋转子矩阵和所述平移子矩阵调整为目标变换矩阵。在步骤44中,处理器可以渲染所述目标变换矩阵对应的初始纹理图像,获得各帧初始纹理
图像对应的第一纹理图像。考虑到初始纹理图像的变换矩阵和渲染时所用的变换矩阵两者的格式不同,或者说相同关键内容在初始纹理图像的变换矩阵和渲染时所用的变换矩阵的位置不同,本示例中增加了步骤41~步骤44,可以保证渲染前后的内容保持一致,提高渲染的准确性。
[0120]
在步骤13中,将所述第一纹理图像转换到所述车辆所在坐标系并获取所述车辆的底部对应的区域,得到第二纹理图像;
[0121]
本实施例中,车辆的处理器可以基于第一纹理图像获取第二纹理图像,参见图5,包括步骤51~步骤52。在步骤51中,处理器可以将各帧初始纹理图像对应的第一纹理图像转换到车辆所在坐标系(即基准坐标系cog),以使第一纹理图像中车辆底部区域与车辆底部经过区域相匹配。在步骤52中,处理器可以获取各帧第一纹理图像中车辆底部区域的底部区域图像,得到第一数量帧底部区域图像并将所述底部区域图像作为第二纹理图像。例如,处理器可以获取车辆底部的矩形区域的坐标数据,由于第一纹理图像处于基准坐标系下,第一纹理图像中的车辆底部和车辆的实际底部是一一对应的,因此处理器可以根据坐标数据在第一纹理图像中裁切出底部区域图像,并将所述底部区域图像作为第二纹理图像。
[0122]
在步骤14中,将所述第一数量帧初始纹理图像对应的第二纹理图像进行混合渲染,获得表征所述车辆底部区域场景的目标图像
[0123]
本实施例中,车辆的处理器可以对第一数量帧第二纹理图像进行混合渲染得到目标图像。以max策略为例,针对第一数量帧底部区域图像的同一位置的像素点,处理器可以获取同一位置的像素点中各颜色分量的最大值。然后,处理器可以将各颜色分量的取值更新为对应的最大值,获得渲染后的图像即目标图像。目标图像可以具有统一的显示亮度,避免多帧图像绘制时引起的亮度不均匀的问题,有利于提升显示效果。
[0124]
在另一实施例中,处理器可以将目标图像呈现在车辆对应模型的底部区域中,以供用户使用。
[0125]
至此,本公开实施例提供的方案可以获取车辆的实时位姿以及获取第一数量帧初始纹理图像;然后,根据所述实时位姿和各帧初始纹理图像获取各帧初始纹理图像对应的第一纹理图像;之后,将所述第一纹理图像转换到所述车辆所在坐标系并获取所述车辆的底部对应的区域,得到第二纹理图像;最后,将所述第一数量帧初始纹理图像对应的第二纹理图像进行混合渲染,获得表征所述车辆底部区域场景的目标图像。这样,本实施例通过获得车辆底部区域场景的目标图像,可以监控车辆底部路面情况,扩大视野范围即减少视野盲区,有利于提升无人驾驶车辆的安全性。
[0126]
在本公开实施例提供的一种图像处理方法的基础上,本公开实施例还提供了一种图像处理装置,参见图6,所述装置包括:
[0127]
实时位姿获取模块61,用于获取车辆的实时位姿
[0128]
初始图像获取模块62,用于获取第一数量帧初始纹理图像;
[0129]
第一图像获取模块63,用于根据所述实时位姿和各帧初始纹理图像获取各帧初始纹理图像对应的第一纹理图像;
[0130]
第二图像获取模块64,用于将所述第一纹理图像转换到所述车辆所在坐标系并获取所述车辆的底部对应的区域,得到第二纹理图像;
[0131]
目标图像获取模块65,用于将所述第一数量帧初始纹理图像对应的第二纹理图像进行混合渲染,获得表征所述车辆底部区域场景的目标图像。
[0132]
在一实施例中,所述初始图像获取模块包括:
[0133]
第一获取子模块,用于以指定位置中最新的初始纹理图像为第一帧,按照预设时间间隔获取其他帧初始纹理图像,得到所述第一数量帧初始纹理图像;
[0134]
所述第一数量帧初始纹理图像中相邻两帧之间的时间间隔超过所述预设时间间隔。
[0135]
在一实施例中,所述初始图像获取模块包括:
[0136]
第二获取子模块,用于以指定位置中已存储的最新的初始纹理图像为第一帧,按照预设距离阈值获取其他帧初始纹理图像,得到所述第一数量帧初始纹理图像;
[0137]
所述第一数量帧初始纹理图像中相邻两帧图像的距离超过所述预设距离阈值。
[0138]
在一实施例中,所述装置还包括初始图像生成模块,用于生成指定位置中初始纹理图像;所述初始图像生成模块包括:
[0139]
车辆位姿获取子模块,用于获取每个采集周期内所述车辆的位姿;
[0140]
环视图像获取子模块,用于获取每个采集周期的环视图像;所述环视图像由设置在所述车辆上至少4个摄像头采集的图像拼接而成;
[0141]
变形图像获取子模块,用于对所述环视图像进行渲染处理和变形处理,获得变形后的纹理图像;
[0142]
初始图像获取子模块,用于绑定所述车辆的位姿和所述变形后的纹理图像,获得所述初始纹理图像。
[0143]
在一实施例中,所述变形图像获取子模块包括:
[0144]
中间图像获取单元,用于将所述环视图像通过帧缓存方式进行渲染,得到中间渲染图像;
[0145]
变形图像获取单元,用于将所述中间渲染图像投影到预设的碗状区域进行变形处理,得到所述变形后的纹理图像;其中所述碗状区域的形状与所述车辆所处场景的形状相匹配。
[0146]
在一实施例中,所述实时位姿获取模块包括:
[0147]
车辆数据获取子模块,用于获取所述车辆的惯性传感器采集的惯性数据、所述车辆的脉冲传感器采集的脉冲数量、所述车辆的前一周期的前一位置和前一导航角度;
[0148]
实时位姿计算子模块,用于基于预设的位姿模型,根据所述惯性数据、所述脉冲数据、所述前一位置和所述前一导航角度计算所述车辆在当前采集周期的实时位姿;所述实时位姿包括所述车辆的当前位置和当前导航角度。
[0149]
在一实施例中,所述第一图像获取模块包括:
[0150]
位姿获取子模块,用于获取各帧初始纹理图像的位姿;
[0151]
变换矩阵获取子模块,用于获取各帧初始纹理图像的位姿与所述实时位姿之间的变换矩阵;
[0152]
目标矩阵获取子模块,用于获取各帧初始纹理图像的变换矩阵的旋转子矩阵和平移子矩阵,并将所述旋转子矩阵和所述平移子矩阵调整为目标变换矩阵;
[0153]
第一图像获取子模块,用于渲染所述目标变换矩阵对应的初始纹理图像,获得各
帧初始纹理图像对应的第一纹理图像。
[0154]
在一实施例中,所述第二图像获取模块包括:
[0155]
第一图像转换子模块,用于将各帧初始纹理图像对应的第一纹理图像转换到所述车辆所在坐标系,以使所述第一纹理图像中车辆底部区域与所述车辆底部经过区域相匹配;
[0156]
底部图像转换子模块,用于获取各帧第一纹理图像中车辆底部区域的底部区域图像,得到第一数量帧底部区域图像并将所述底部区域图像作为第二纹理图像。
[0157]
在一实施例中,所述底部图像渲染子模块包括:
[0158]
颜色分量获取单元,用于针对所述第一数量帧底部区域图像的同一位置的像素点,获取所述同一位置的像素点中各颜色分量的最大值;
[0159]
颜色分量更新单元,用于将所述各颜色分量的取值更新为对应的最大值,获得渲染后的图像。
[0160]
在一实施例中,所述装置还包括:
[0161]
目标图像呈现模块,用于将所述目标图像呈现在所述车辆对应模型的底部区域。
[0162]
需要说明的是,本实施例中示出的装置与方法实施例的内容相匹配,可以参考上述方法实施例的内容,在此不再赘述。
[0163]
本公开实施例还提供了一种车辆,参见图7,包括:车辆本体和设置在所述车辆本体上的存储器与处理器;
[0164]
所述存储器用于存储所述处理器可执行的计算机程序;
[0165]
所述处理器用于执行所述存储器中的计算机程序,以实现如图1~图5所示的方法。
[0166]
在一实施例中,上述车辆还包括至少4个摄像头;所述至少4个摄像头设置在所述车辆本体的预设位置,以采集所述车辆对应方向的图像;所述至少4个摄像头采集的图像拼接后获得环视图像,所述环视图像用于获取初始纹理图像。
[0167]
在一实施例中,上述车辆还包括惯性传感器和脉冲传感器;所述惯性传感器用于采集所述车辆的惯性数据,所述脉冲传感器用于采集所述车辆的脉冲数据;所述惯性数据和所述脉冲数据用于计算所述车辆的位姿。
[0168]
在一实施例中,上述车辆还包括定位传感器;所述定位传感器用于采集车辆的当前位置,所述当前位置用于计算所述车辆的位姿。
[0169]
需要说明的是,本实施例中示出的车辆与方法实施例的内容相匹配,可以参考上述方法实施例的内容,在此不再赘述。
[0170]
在示例性实施例中,还提供了一种计算机可读存储介质,例如包括指令的存储器,上述可执行的计算机程序可由处理器执行。其中,可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0171]
本领域技术人员在考虑说明书及实践这里公开的公开后,将容易想到本公开的其它实施方案。本公开旨在涵盖任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
[0172]
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献