可达空间的边界确定方法、装置、终端及存储介质与流程

1.本技术涉及图像处理技术领域，特别涉及一种可达空间的边界确定方法、装置、终端及存储介质。


背景技术：

2.随着科学技术的快速发展，人们对终端的功能需求越来越多，相应的终端中可实现的功能也越来越多，比如，用户可以通过使用终端进行空间检测、播放音频、位置定位等。
3.其中，在空间检测方面，通常会使用摄像头采集周围环境的环境图像，并基于该环境图像对周围环境中的可达空间进行检测。目前，终端中使用的大多数的对可达空间进行检测的神经网络模型主要采用全局特征，利用全连接层输出可达空间的边界，该过程中如果神经网络模型采用的标本数量较少，预测出的可达空间的边界会出现锯齿化的现象，造成可达空间的边界不平滑，存在神经网络模型的鲁棒性低。


技术实现要素：

4.本技术实施例提供了一种可达空间的边界确定方法、装置、终端及存储介质，能够提高获取可达空间边界的神经网络模型的鲁棒性。
5.一个方面，本技术实施例提供了一种可达空间的边界确定方法，应用于终端，所述方法包括：
6.对第一鱼眼图像进行特征提取，得到特征金字塔，所述特征金字塔包括多层所述第一鱼眼图像的图像特征；
7.根据所述特征金字塔中目标层的图像特征以及回归模型，获取所述第一鱼眼图像中可达空间的初始边界，所述目标层是所述特征金字塔中包含特征数量最多的一层，所述回归模型是基于至少两个样本层训练并获取到与样本层相同宽度的初始边界的模型；
8.根据所述目标层以及热力图模型，获取所述目标层对应的目标热力图以及所述目标层对应的偏移图，所述热力图模型中生成所述偏移图的阈值函数的预测范围为整数，所述偏移图中像素点的像素值用于指示所述像素点在所述第一鱼眼图像中对应位置的偏移值；
9.根据所述初始边界以及所述偏移图，确定所述可达空间的实际边界。
10.可选的，所述根据所述目标层以及热力图模型，获取所述目标层对应的目标热力图以及所述目标层对应的偏移图，包括：
11.通过所述热力图模型对所述目标层进行热力特征提取，获取热力特征图，所述热力特征图的图像参数与所述目标层的相同，所述图像参数包括宽度、长度以及像素点的通道数；
12.通过所述热力图模型对所述热力特征图获取热力值，得到所述目标热力图，所述目标热力图是单通道图像，所述目标热力图的图像尺寸与所述目标层的图像尺寸相同；
13.通过所述热力图模型对所述热力特征图获取偏移值，得到所述偏移图，所述偏移
图是单通道图像，所述偏移图的图像尺寸与所述目标层的图像尺寸相同。
14.可选的，在所述将所述热力特征图通过所述第三卷积层进行卷积处理，获取所述偏移图之后，还包括：
15.在所述偏移图中，确定所述初始边界对应的第一像素点；
16.根据预设扩充规则对所述偏移图中所述初始边界包含的像素点进行扩充，得到扩充图像区域，所述预设扩充规则包括以所述初始边界对应的像素点为中心向两侧扩充n列，n为大于0的整数；
17.所述根据所述初始边界以及所述偏移图，确定所述可达空间的实际边界，包括：
18.根据所述初始边界以及所述偏移图中的所述扩充图像区域，确定所述可达空间的实际边界。
19.可选的，所述根据所述初始边界以及所述偏移图中的所述扩充图像区域，确定所述可达空间的实际边界，包括：
20.确定所述偏移图中所述扩充图像区域包含的各个像素点；
21.将所述初始边界与所述偏移图中所述扩充图像区域包含的各个像素点的像素值求和，确定所述可达空间的实际边界。
22.可选的，在所述根据所述初始边界以及所述偏移图，确定所述可达空间的实际边界之前，还包括：
23.在所述目标热力图中，确定所述初始边界对应的第二像素点；
24.在所述目标热力图中获取每个所述第二像素点的预设图像范围内各个像素点对应像素值的局部极大值；
25.按照各个局部极大值的像素点在所述第一鱼眼图像中的位置，更新所述初始边界；
26.所述根据所述初始边界以及所述偏移图，确定所述可达空间的实际边界，包括：
27.根据更新后的所述初始边界以及所述偏移图，确定所述可达空间的实际边界。
28.可选的，所述根据所述特征金字塔中的目标层以及回归模型，获取所述第一鱼眼图像中可达空间的初始边界，包括：
29.根据所述回归模型对所述目标层进行边界提取，获取所述目标层中可达空间的边界；
30.将所述目标层中可达空间的边界作为所述第一鱼眼图像中可达空间的初始边界，所述初始边界是单通道数组，所述初始边界的宽度与所述目标层的宽度相同。
31.将所述目标层按照所述第四卷积层进行卷积处理，提取所述回归特征图，所述回归特征图的图像参数与所述目标层的相同；
32.将所述回归特征图按照所述第五卷积层进行卷积处理，获取所述初始边界，
33.可选的，所述对第一鱼眼图像进行特征提取，得到特征金字塔，包括：
34.根据所述第一鱼眼图像以及目标残差网络，获取多层特征图像；
35.根据所述多层特征图像以及金字塔网络，生成所述特征金字塔。
36.另一个方面，本技术实施例提供了一种可达空间的边界确定装置，应用于终端，所述终端包括第一定时设备和目标接口，所述装置包括：
37.图像获取模块，用于对第一鱼眼图像进行特征提取，得到特征金字塔，所述特征金
字塔包括多层所述第一鱼眼图像的图像特征；
38.边界获取模块，用于根据所述特征金字塔中目标层的图像特征以及回归模型，获取所述第一鱼眼图像中可达空间的初始边界，所述目标层是所述特征金字塔中包含特征数量最多的一层，所述回归模型是基于至少两个样本层训练并获取到与样本层相同宽度的初始边界的模型；
39.偏移图获取模块，用于根据所述目标层以及热力图模型，获取所述目标层对应的目标热力图以及所述目标层对应的偏移图，所述热力图模型中生成所述偏移图的阈值函数的预测范围为整数，所述偏移图中像素点的像素值用于指示所述像素点在所述第一鱼眼图像中对应位置的偏移值；
40.边界确定模块，用于根据所述初始边界以及所述偏移图，确定所述可达空间的实际边界。
41.另一个方面，本技术实施例提供了一种终端，所述终端包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如上述一个方面及其任一可选实现放方式的可达空间的边界确定方法。
42.另一个方面，本技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述另一个方面及其可选方式所述的可达空间的边界确定方法。
43.本技术实施例提供的技术方案可以至少包含如下有益效果：
44.本技术的终端通过对第一鱼眼图像进行特征提取，得到特征金字塔；根据特征金字塔中目标层的图像特征以及回归模型，获取第一鱼眼图像中可达空间的初始边界；根据目标层以及热力图模型，获取目标层对应的目标热力图以及目标层对应的偏移图，热力图模型中生成偏移图的阈值函数的预测范围为整数，偏移图中像素点的像素值用于指示像素点在第一鱼眼图像中对应位置的偏移值；根据初始边界以及偏移图，确定可达空间的实际边界。本技术对第一鱼眼图像进行可达空间的边界检测过程中，结合阈值函数的预测范围为整数而获取的偏移图，使得偏移图的预测范围不受小数限制，增加了偏移图的输出范围，使得输出的可达空间的边界更加平滑，提高了获取可达空间边界的神经网络模型的鲁棒性。
附图说明
45.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
46.图1是本技术一示例性实施例涉及的一种终端中采集的鱼眼图像的示意图；
47.图2是本技术一示例性实施例提供的一种可达空间的边界确定方法的方法流程图；
48.图3是本技术一示例性实施例提供的一种可达空间的边界确定方法的方法流程图；
49.图4是本技术一示例性实施例涉及的另一种目标热力图的图像示意图；
50.图5是本技术一示例性实施例涉及的一种偏移图中显示的初始边界的示意图；
51.图6是本技术一示例性实施例提供的一种可达空间的边界确定装置的结构框图；
52.图7是本技术一示例性实施例提供的一种终端的结构示意图。
具体实施方式
53.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
54.在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
55.需要说明的是，本技术的说明书和权利要求书中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同的对象，而不是用于描述特定顺序。本技术实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
56.本技术提供的方案，可以用于在日常生活中通过使用终端对可达空间进行检测的场景中，为了便于理解，下面首先对本技术实施例涉及的一些专用名词和应用架构进行简单介绍。
57.神经网络(neural networks，nn)是由大量的、简单的处理单元(称为神经元)广泛地互相连接而形成的复杂网络系统，它反映了人脑功能的许多基本特征，是一个高度复杂的非线性动力学习系统。神经网络具有大规模并行、分布式存储和处理、自组织、自适应和自学能力，特别适合处理需要同时考虑许多因素和条件的、不精确和模糊的信息处理问题。神经网络的发展与神经科学、数理科学、认知科学、计算机科学、人工智能、信息科学、控制论、机器人学、微电子学、心理学、光计算、分子生物学等有关，是一门新兴的边缘交叉学科。
58.全局特征是指图像的整体属性，常见的全局特征包括颜色特征、纹理特征和形状特征，比如强度直方图等。由于是像素级的低层可视特征，因此，全局特征具有良好的不变性、计算简单、表示直观等特点，但特征维数高、计算量大是其致命弱点。此外，全局特征描述不适用于图像混叠和有遮挡的情况。局部特征则是从图像局部区域中抽取的特征，包括边缘、角点、线、曲线和特别属性的区域等。常见的局部特征包括角点类和区域类两大类描述方式。
59.线性整流函数(rectified linear unit，relu)，又称修正线性单元，是一种人工神经网络中常用的激活函数(activation function)，通常指代以斜坡函数及其变种为代表的非线性函数。
60.在日常生活中，各种各样的终端已经应用在各个领域中，比如，随着车辆领域的发展，车辆逐步向自动驾驶的方向发展，在自动驾驶领域中车载终端的使用必不可少，车辆会遇到各种各样的障碍物，比如，其他车辆、行人、电线杆、高楼等障碍物，汽车通过车载终端对周围环境的感知尤为重要，在环境感知方面，目前可以通过摄像头设备、超声波雷达等硬
件设备进行数据采集并计算，达到障碍物检测的效果。比如，常见的摄像头设备可以包括双目相机、单目相机、鱼眼相机等器件。
61.请参考图1，其示出了本技术一示例性实施例涉及的一种终端中采集的鱼眼图像的示意图。如图1所示，在该鱼眼图像100中包含了第一障碍物101，第二障碍物102。
62.其中，本技术中的终端是可以安装上述摄像头设备的终端设备，比如，可以安装鱼眼相机的终端，该终端可以是智能手机、平板电脑、电子书阅读器、智能眼镜、智能手表、mp3播放器(moving picture experts group audio layer iii，动态影像专家压缩标准音频层面3)、mp4(moving picture experts group audio layer iv，动态影像专家压缩标准音频层面4)播放器、笔记本电脑、膝上型便携计算机和台式计算机等等。
63.可选的，该终端可以是具有音频播放功能的物联网设备，如传感器设备、物联网终端的计算机，例如，可以是固定式、便携式、袖珍式、手持式、计算机内置的或者车载的装置。例如，站(station，sta)、订户单元(subscriber unit)、订户站(subscriber station)，移动站(mobile station)、移动台(mobile)、远程站(remote station)、接入点、远程终端(remote terminal)、接入终端(access terminal)、用户装置(user terminal)、用户代理(user agent)、用户设备(user device)。或者，该终端也可以是无人飞行器的设备。或者，该终端也可以是车载设备，比如，可以是具有音频播放功能的行车电脑，或者是外接行车电脑的无线通信设备。
64.在上述图1中，终端可以触发对鱼眼图像100进行可达空间的检测功能，其中，可达空间通常是指图像中可以抵达的空间。比如，车载终端通过该鱼眼图像获取自身可以行使的空间范围等。通常，终端可以通过预先训练好的神经网络模型，检测鱼眼图像100中的可达空间，获取鱼眼图像100对应的全局特征(包括第一障碍物101和第二障碍物102的位置)，基于全局特征并利用全连接层直接输出可达空间的纵坐标。可选的，终端输出纵坐标的顺序可以按照鱼眼图像中的横坐标由小到大排列，可选的，横坐标的数量和值可以是神经网络模型预先固定的，比如，横坐标的值为(0，1，
……
，319)。
65.在得到全连接层输出的可达空间的纵坐标之后，终端还可以结合热力图对可达空间的纵坐标进行修正，得到更加精确的纵坐标。目前，在通过热力图进行修正的过程中，采用的阈值函数的预测范围在0
‑
1之间，在终端中的神经网络对鱼眼图像采集的标注数量较少的情况下，容易出现预测的可达空间的边界出现锯齿化，使得修正后的可达空间的纵坐标准确性也较低，存在神经网络的鲁棒性低的问题。
66.为了提高获取可达空间边界的神经网络模型的鲁棒性，本技术提出了一种解决方案，通过在热力图模型获取热力图的过程中，对冗余输出的偏移图不做限制，将生成偏移图的阈值函数的预测范围设置为整数，增加偏移图中的真值，提高收敛后的神经网络的鲁棒性。
67.请参考图2，其示出了本技术一示例性实施例提供的一种可达空间的边界确定方法的方法流程图。该可达空间的边界确定方法可以应用于上述图1所示的场景架构中的终端，该方法可以由终端执行。如图2所示，该可达空间的边界确定方法可以包括如下几个步骤。
68.步骤201，对第一鱼眼图像进行特征提取，得到特征金字塔，特征金字塔包括多层第一鱼眼图像的图像特征。
69.可选的，第一鱼眼图像可以是终端通过鱼眼相机拍摄得到的鱼眼图像，或者，第一鱼眼图像也可以是终端通过普通相机拍摄获取到正常图像，并对正常图像进行畸变，获取到对应的鱼眼图像。本技术对第一鱼眼图像的获取方式并不限定。
70.可选的，终端通过预先设计的神经网络对终端获取的第一鱼眼图像进行特征提取，生成包含多层特征的特征金字塔，特征金字塔中各层都对应不同程度分辨率的特征。比如，第一鱼眼图像的图像参数是(h1，w1，3)，其中，h1表示第一鱼眼图像的高度，w1表示第一鱼眼图像的宽度，3表示每个像素点是3通道，通过对第一鱼眼图像进行特征提取之后，特征金字塔中每层特征可以如下：(h1/4，w1/4，64)，(h1/8，w1/8，128)，(h1/16，w1/16，256)。每层特征的图像参数与第一鱼眼图像的均不同。
71.步骤202，根据特征金字塔中目标层的图像特征以及回归模型，获取第一鱼眼图像中可达空间的初始边界。
72.其中，目标层是特征金字塔中包含特征数量最多的一层，回归模型是基于至少两个样本层训练并获取到与样本层相同宽度的初始边界的模型。
73.可选的，终端将特征金字塔中目标层的图像特征输入至回归模型，利用回归模型获取第一鱼眼图像中可达空间的初始边界。比如，按照上述特征金字塔中得到的每层特征如下：(h1/4，w1/4，64)，(h1/8，w1/8，128)，(h1/16，w1/16，256)。那么，目标层是(h1/16，w1/16，256)对应的那层。
74.可选的，回归模型可以由开发人员预先进行训练并设置在终端中。比如，开发人员利用至少两个样本层作为样本数据，对回归模型进行训练，将第一个样本层输入至回归模型中后，利用回归模型获取与该第一样本层相同宽度的初始边界，将第二个样本层输入至回归模型中后，利用回归模型获取与该第二样本层相同宽度的初始边界，并进行模型收敛等模型训练方式，最终得到可以获取到输入是目标层时，输入是与目标层相同宽度的初始边界的回归模型。其中，至少两个样本层可以是开发人员通过不同的鱼眼图像进行特征提取，得到特征金字塔，并对特征金字塔进行标注，得到各个样本层。
75.步骤203，根据目标层以及热力图模型，获取目标层对应的目标热力图以及目标层对应的偏移图，热力图模型中生成偏移图的阈值函数的预测范围为整数，偏移图中像素点的像素值用于指示像素点在第一鱼眼图像中对应位置的偏移值。
76.其中，终端将上述目标层输入至热力图模型中，利用热力图模型获取目标层对应的目标热力图，并且输出目标层对应的偏移图。目标热力图中各个像素点的像素值表示该点的热度，偏移图中像素点的像素值表示该点在第一鱼眼图像中对应位置的偏移值。可选的，热力图模型中生成偏移图的过程中使用的阈值函数的预测范围为大于1的整数，比如，2，3，4，5
……
等等。
77.步骤204，根据初始边界以及偏移图，确定可达空间的实际边界。
78.可选的，终端根据上述回归模型得到的初始边界以及热力图模型获取到的偏移图，对初始边界进行偏移，获取第一鱼眼图像中偏移后的边界，从而确定出可达空间的实际边界。
79.综上所述，本技术的终端通过对第一鱼眼图像进行特征提取，得到特征金字塔；根据特征金字塔中目标层的图像特征以及回归模型，获取第一鱼眼图像中可达空间的初始边界；根据目标层以及热力图模型，获取目标层对应的目标热力图以及目标层对应的偏移图，
热力图模型中生成偏移图的阈值函数的预测范围为整数，偏移图中像素点的像素值用于指示像素点在第一鱼眼图像中对应位置的偏移值；根据初始边界以及偏移图，确定可达空间的实际边界。本技术对第一鱼眼图像进行可达空间的边界检测过程中，结合阈值函数的预测范围为整数而获取的偏移图，使得偏移图的预测范围不受小数限制，增加了偏移图的输出范围，使得输出的可达空间的边界更加平滑，提高了获取可达空间边界的神经网络模型的鲁棒性。
80.在一种可能实现的方式中，上述热力图模型包括对目标层进行热力特征提取获取热力特征图，并基于热力特征图进行热力值提取以及偏移值提取，从而得到对应的目标热力图以及偏移图，并将提取的偏移值过程中采用的阈值函数的预测范围设置为整数，达到提高获取可达空间边界的神经网络模型的鲁棒性的效果。
81.请参考图3，其示出了本技术一示例性实施例提供的一种可达空间的边界确定方法的方法流程图。该可达空间的边界确定方法可以应用于上述图1所示的场景架构中的终端，该方法可以由终端执行。如图3所示，该可达空间的边界确定方法可以包括如下几个步骤。
82.步骤301，根据第一鱼眼图像以及目标残差网络，获取多层特征图像。
83.可选的，第一鱼眼图像的获取可以参照上述步骤201中的描述，此处不再赘述。本技术中，终端根据获取到的第一鱼眼图像，利用目标残差网络，获取多层特征图像。该目标残差网络是开发人员预先设计的用于提取第一鱼眼图像的多层特征。比如，该目标残差网络可以是resnet34残差网络。以第一鱼眼图形的图像参数是(h1，w1，3)为例，终端通过resnet34残差网络对第一鱼眼图像进行处理之后，得到的多层特征如下：(h1/4，w1/4，64)，(h1/8，w1/8，128)，(h1/16，w1/16，256)，(h1/32，w1/32，512)。
84.步骤302，根据多层特征图像以及金字塔网络，生成特征金字塔。
85.其中，特征金字塔包括多层第一鱼眼图像的图像特征。
86.可选的，终端根据上述目标残差网络处理后得到的多层特征图像以及金字塔网络，生成特征金字塔。金字塔网络与目标残差网络相同，也是由开发人员预先设计的并设置在终端中的。比如，该金字塔网络可以是特征金字塔网络(feature pyramid networks，fpn)，其中，fpn是一种自顶向下的特征融合方法，且fpn是一种多尺度的目标检测算法，即不只有一个特征预测层。虽然有些算法也采用多尺度特征融合来进行目标检测，但是它们往往只利用融合后得到的一种尺度的特征，这种做法虽然可以将顶层特征的语义信息和底层特征细节信息融合，但是在特征反卷积等过程中会造成一些偏差，只利用融合后得到的特征进行预测会对检测精度造成不良影响。fpn方法从上述问题出发，可以在多个不同尺度的融合特征上进行预测，实现检测精度的最大化。
87.步骤303，根据特征金字塔中目标层的图像特征以及回归模型，获取第一鱼眼图像中可达空间的初始边界，目标层是特征金字塔中包含特征数量最多的一层，回归模型是基于至少两个样本层训练并获取到与样本层相同宽度的初始边界的模型。
88.可选的，终端在得到特征金字塔之后，提取特征金字塔中包含特征数量最多的一层(即，目标层)，将目标层输入至回归模型中，利用回归模型获取第一鱼眼图像中可达空间的初始边界。
89.在一种可能实现的方式中，终端根据回归模型对目标层进行边界提取，获取目标
层中可达空间的边界；将目标层中可达空间的边界作为第一鱼眼图像中可达空间的初始边界，初始边界是单通道数组，初始边界的宽度与目标层的宽度相同。比如，终端利用回归模型中的第一卷积层和第二卷积层依次对目标层进行处理，提取目标层中可达空间的初始边界。
90.可选的，以上述第一鱼眼图像的图像参数是(h1，w1，3)，经过获取对应的特征金字塔，目标层的图像参数是(h1/4，w1/4，128)为例，第一卷积层可以是：conv(128*64*3*3)，其中，conv里面每个数字依次表示：输出通道(output channel)，输入通道(input channel)，通道宽度(kernel width)，通道高度(kernel height)。终端将目标层与该第一卷积层进行卷积，并对卷积结果依次进行批量归一化(batch normalization，bn)以及第一relu函数处理得到回归特征图，其中，回归特征图的图像参数与目标层的图像参数相同。回归特征图的图像参数也是(h1/4，w1/4，128)。
91.可选的，在回归模型中得到回归特征图之后，通过第二卷积层对回归特征图进行处理，提取目标层中可达空间的初始边界。其中，第二卷积层可以是：conv(320*128*w1/4*h1/4)，回归模型将上述得到的回归特征图与该第二卷积层进行卷积，并对卷积结果依次进行bn以及第二relu函数处理，得到目标层中可达空间的初始边界，并将获取到的该目标层中可达空间的初始边界作为第一鱼眼图像中可达空间的初始边界。可选的，初始边界可以用y_init表示，那么，基于上述的例子，本步骤得到的y_init是单通道数组，且初始边界的宽度与目标层的宽度相同，都为w1/4。
92.步骤304，根据目标层以及热力图模型，获取目标层对应的目标热力图以及目标层对应的偏移图，热力图模型中生成偏移图的阈值函数的预测范围为整数，偏移图中像素点的像素值用于指示像素点在第一鱼眼图像中对应位置的偏移值。
93.在一种可能实现的方式中，终端通过热力图模型对目标层进行热力特征提取，获取热力特征图。其中，热力特征图的图像参数与目标层的相同，图像参数包括宽度、长度以及像素点的通道数。比如，热力图模型中还包含第三卷积层，在终端将目标层输入至热力图模型中之后，热力图模型利用第三卷积层对目标层进行热力特征的提取，获取到热力特征。
94.可选的，仍以上述第一鱼眼图像的图像参数是(h1，w1，3)，经过获取对应的特征金字塔，目标层的图像参数是(h1/4，w1/4，128)为例，第三卷积层可以是：conv(128*64*3*3)，其中，终端将目标层与该第三卷积层进行卷积，并对卷积结果依次进行批量归一化(batch normalization，bn)以及第三relu函数处理得到热力特征图，其中，热力特征图的图像参数与目标层的图像参数相同。即，热力特征图的图像参数也是(h1/4，w1/4，128)。
95.在一种可能实现的方式中，终端通过热力图模型对热力特征图获取热力值，得到目标热力图，其中，目标热力图是单通道图像，目标热力图的图像尺寸与目标层的图像尺寸相同。可选的，热力图模型中还包含第四卷积层，在终端在通过热力图模型获取到热力特征图之后，将热力特征图与第四卷积层进行卷积，提取热力值，进而得到目标热力图。
96.可选的，以上述得到的热力特征图的图像参数是(h1/4，w1/4，128)为例，本过程中，第四卷积层可以是：conv(1*128*3*3)。终端将热力特征图与该第四卷积层进行卷积，并对卷积结果依次进行批量归一化(batch normalization，bn)以及第四relu函数处理得到目标热力图，其中，目标热力图是单通道图像，目标热力图的图像尺寸与目标层的图像尺寸相同。例如，得到的目标热力图可以用heatmap(h1/4，w1/4)表示。
97.在一种可能实现的方式中，终端通过热力图模型对热力特征图获取偏移值，得到偏移图，其中，偏移图是单通道图像，偏移图的图像尺寸与目标层的图像尺寸相同。可选的，热力图模型中还包含第五卷积层，在终端在通过热力图模型获取到热力特征图之后，将热力特征图与第五卷积层进行卷积，提取热力值，进而得到目标热力图。
98.可选的，以上述得到的热力特征图的图像参数是(h1/4，w1/4，128)为例，本过程中，第五卷积层可以是：conv(1*128*3*3)。终端将热力特征图与该第五卷积层进行卷积，并对卷积结果依次进行批量归一化(batch normalization，bn)处理以及第五relu函数处理转化得到偏移图，其中，偏移图也是单通道图像，偏移图的图像尺寸与目标层的图像尺寸相同。例如，得到的偏移图可以用offsetmap(h1/4，w1/4)表示。
99.在一种可能实现的方式中，终端还可以在目标热力图中，确定初始边界对应的第二像素点；在目标热力图中获取每个第二像素点的预设图像范围内各个像素点对应像素值的局部极大值；按照各个局部极大值的像素点在第一鱼眼图像中的位置，更新初始边界。比如，在终端得到目标热力图之后，在目标热力图中确定初始边界对应的各个第二像素点，并获取每个第二像素点的预设图像范围内各个像素点对应像素值的局部极大值，将第一鱼眼图像中初始边界对应的各个第二像素点替换为各个第二像素点在预设图像范围内像素值为局部极大值的各个像素点。
100.其中，预设图像范围可以由开发人员预先在终端中设置。比如，请参考图4，其示出了本技术一示例性实施例涉及的另一种目标热力图的图像示意图。如图4所示，在目标热力图400中包含了初始边界401，像素点一402，像素点二403，预设图像范围404。其中，终端通过上述方案得到第一鱼眼图像中初始边界，在目标热力图中确定出了初始边界401，初始边界401上包含的各个像素点是各个第二像素点，以第二像素点中的一个像素点(像素点一402)为例，终端可以根据像素点一402，确定预设图像范围404内的各个像素点，并对预设图像范围404内的各个像素点计算局部极大值，以局部极大值对应的像素点是像素点二403为例，终端将像素点一402替换为像素点二403，从而达到更新效果，将像素点二403对应在第一鱼眼图像中的位置更新为初始边界，从而实现对初始边界的初步修正。
101.可选的，上述初始边界是y_init表示，终端通过找到y_init中每个像素点在目标热力图中预设图像范围内的局部极大值，并对y_init进行更新，得到更加精准的初始边界用y_hm表示。
102.步骤305，在偏移图中，确定初始边界对应的第一像素点。
103.可选的，终端在通过上述热力图模型获取到偏移图之后，可以在偏移图中确定初始边界对应的第一像素点。
104.步骤306，根据预设扩充规则对偏移图中初始边界包含的像素点进行扩充，得到扩充图像区域。
105.其中，预设扩充规则包括以初始边界对应的像素点为中心向两侧扩充n列，n为大于0的整数。
106.可选的，以n＝1为例，将在偏移图中确定的初始边界对应的各个像素点所在的行向上一行扩充一行，将在偏移图中确定的初始边界对应的各个像素点所在的行向下一行扩充一行，从而得到了三行的像素点，在偏移图中，这三行的像素点是初始边界对应的像素点。例如，请参考图5，其示出了本技术一示例性实施例涉及的一种偏移图中显示的初始边
界的示意图。如图5所示，在偏移图500中包含了初始边界501，第一分段502，第一分段502是包含初始边界501中的一部分。其中，第一分段502的像素值可以如下：
107.[[
‑
9.99e 02，
‑
9.99e 02，
‑
9.99e 02，
‑
9.99e 02，
‑
9.99e 02]，
[0108]
[1.97e 00，1.97e 00，1.97e 00，1.97e 00，1.97e 00]，
[0109]
[9.70e 00，9.70e 00，9.70e 00，9.70e 00，9.70e 00]，
[0110]
[
‑
3.00e 00，
‑
3.00e 00，
‑
3.00e 00，
‑
3.00e 00，
‑
3.00e 00]，
[0111]
[
‑
9.99e 00，
‑
9.99e 00，
‑
9.99e 00，
‑
9.99e 00，
‑
9.99e 00]]
[0112]
初始边界501的一部分对应的是第一分段502中的[9.70e 00，9.70e 00，9.70e 00，9.70e 00，9.70e 00]，终端通过预设扩充规则，将该行的像素点进行扩充，得到包含该行的上一行[1.97e 00，1.97e 00，1.97e 00，1.97e 00，1.97e 00]，以及该行的下一行[
‑
3.00e 00，
‑
3.00e 00，
‑
3.00e 00，
‑
3.00e 00，
‑
3.00e 00]像素点，将各个像素点作为初始边界501在偏移图中包含的像素点。
[0113]
步骤307，根据初始边界以及偏移图中的扩充图像区域，确定可达空间的实际边界。
[0114]
在一种可能实现的方式中，终端确定偏移图中扩充图像区域包含的各个像素点；将初始边界与偏移图中扩充图像区域包含的各个像素点的像素值求和，确定可达空间的实际边界。即，将获取到的初始边界y_init与偏移图中扩充图像区域包含的各个像素点的像素值求和，出偏移之后的可达空间的实际边界。在上述一种实现方式中，对初始边界y_init进行更新，得到更加精准的初始边界用y_hm表示时，终端也可以采用更加精确的y_hm以及偏移图中的扩充图像区域，确定可达空间的实际边界。
[0115]
综上所述，本技术的终端通过对第一鱼眼图像进行特征提取，得到特征金字塔；根据特征金字塔中目标层的图像特征以及回归模型，获取第一鱼眼图像中可达空间的初始边界；根据目标层以及热力图模型，获取目标层对应的目标热力图以及目标层对应的偏移图，热力图模型中生成偏移图的阈值函数的预测范围为整数，偏移图中像素点的像素值用于指示像素点在第一鱼眼图像中对应位置的偏移值；根据初始边界以及偏移图，确定可达空间的实际边界。本技术对第一鱼眼图像进行可达空间的边界检测过程中，结合阈值函数的预测范围为整数而获取的偏移图，使得偏移图的预测范围不受小数限制，增加了偏移图的输出范围，使得输出的可达空间的边界更加平滑，提高了获取可达空间边界的神经网络模型的鲁棒性。
[0116]
下述为本技术装置实施例，可以用于执行本技术方法实施例。对于本技术装置实施例中未披露的细节，请参照本技术方法实施例。
[0117]
请参考图6，其示出了本技术一示例性实施例提供的一种可达空间的边界确定装置的结构框图，该可达空间的边界确定装置600可以应用于终端，所述可达空间的边界确定装置包括：
[0118]
图像获取模块601，用于对第一鱼眼图像进行特征提取，得到特征金字塔，所述特征金字塔包括多层所述第一鱼眼图像的图像特征；
[0119]
边界获取模块602，用于根据所述特征金字塔中目标层的图像特征以及回归模型，获取所述第一鱼眼图像中可达空间的初始边界，所述目标层是所述特征金字塔中包含特征数量最多的一层，所述回归模型是基于至少两个样本层训练并获取到与样本层相同宽度的
初始边界的模型；
[0120]
偏移图获取模块603，用于根据所述目标层以及热力图模型，获取所述目标层对应的目标热力图以及所述目标层对应的偏移图，所述热力图模型中生成所述偏移图的阈值函数的预测范围为整数，所述偏移图中像素点的像素值用于指示所述像素点在所述第一鱼眼图像中对应位置的偏移值；
[0121]
边界确定模块604，用于根据所述初始边界以及所述偏移图，确定所述可达空间的实际边界。
[0122]
综上所述，本技术的终端通过对第一鱼眼图像进行特征提取，得到特征金字塔；根据特征金字塔中目标层的图像特征以及回归模型，获取第一鱼眼图像中可达空间的初始边界；根据目标层以及热力图模型，获取目标层对应的目标热力图以及目标层对应的偏移图，热力图模型中生成偏移图的阈值函数的预测范围为整数，偏移图中像素点的像素值用于指示像素点在第一鱼眼图像中对应位置的偏移值；根据初始边界以及偏移图，确定可达空间的实际边界。本技术对第一鱼眼图像进行可达空间的边界检测过程中，结合阈值函数的预测范围为整数而获取的偏移图，使得偏移图的预测范围不受小数限制，增加了偏移图的输出范围，使得输出的可达空间的边界更加平滑，提高了获取可达空间边界的神经网络模型的鲁棒性。
[0123]
可选的，所述偏移图获取模块603，包括：第一获取单元，第二获取单元和第三获取单元；
[0124]
所述第一获取单元，用于通过所述热力图模型对所述目标层进行热力特征提取，获取热力特征图，所述热力特征图的图像参数与所述目标层的相同，所述图像参数包括宽度、长度以及像素点的通道数；
[0125]
所述第二获取单元，用于通过所述热力图模型对所述热力特征图获取热力值，得到所述目标热力图，所述目标热力图是单通道图像，所述目标热力图的图像尺寸与所述目标层的图像尺寸相同；
[0126]
所述第三获取单元，用于通过所述热力图模型对所述热力特征图获取偏移值，得到所述偏移图，所述偏移图是单通道图像，所述偏移图的图像尺寸与所述目标层的图像尺寸相同。
[0127]
可选的，所述装置还包括：
[0128]
第一确定模块，用于在所述将所述热力特征图通过所述第三卷积层进行卷积处理，获取所述偏移图之后，在所述偏移图中，确定所述初始边界对应的第一像素点；
[0129]
像素扩充模块，用于根据预设扩充规则对所述偏移图中所述初始边界包含的像素点进行扩充，得到扩充图像区域，所述预设扩充规则包括以所述初始边界对应的像素点为中心向两侧扩充n列，n为大于0的整数；
[0130]
所述边界确定模块604，还用于根据所述初始边界以及所述偏移图中的所述扩充图像区域，确定所述可达空间的实际边界。
[0131]
可选的，所述边界确定模块604，还用于确定所述偏移图中所述扩充图像区域包含的各个像素点；
[0132]
将所述初始边界与所述偏移图中所述扩充图像区域包含的各个像素点的像素值求和，确定所述可达空间的实际边界。
[0133]
可选的，所述装置还包括：
[0134]
第二确定模块，用于在所述根据所述初始边界以及所述偏移图，确定所述可达空间的实际边界之前，在所述目标热力图中，确定所述初始边界对应的第二像素点；
[0135]
极大值获取模块，用于在所述目标热力图中获取每个所述第二像素点的预设图像范围内各个像素点对应像素值的局部极大值；
[0136]
第一更新模块，用于按照各个局部极大值的像素点在所述第一鱼眼图像中的位置，更新所述初始边界；
[0137]
所述边界确定模块604，还用于根据更新后的所述初始边界以及所述偏移图，确定所述可达空间的实际边界。
[0138]
可选的，所述边界获取模块602，包括：第四获取单元和边界确定单元；
[0139]
所述第四获取单元，用于根据所述回归模型对所述目标层进行边界提取，获取所述目标层中可达空间的边界；
[0140]
所述边界确定单元，用于将所述目标层中可达空间的边界作为所述第一鱼眼图像中可达空间的初始边界，所述初始边界是单通道数组，所述初始边界的宽度与所述目标层的宽度相同。
[0141]
可选的，所述图像获取模块，包括：第五获取单元和金字塔生成单元；
[0142]
所述第五获取单元，用于根据所述第一鱼眼图像以及目标残差网络，获取多层特征图像；
[0143]
所述金字塔生成单元，用于根据所述多层特征图像以及金字塔网络，生成所述特征金字塔。
[0144]
图7是本技术一示例性实施例提供的一种终端的结构示意图。如图7所示，终端700包括中央处理单元(central processing unit，cpu)701、包括随机存取存储器(random access memory，ram)702和只读存储器(read only memory，rom)703的系统存储器704，以及连接系统存储器704和中央处理单元701的系统总线705。所述终端700还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(input/output system，i/o系统)708，和用于存储操作系统712、应用程序713和其他程序模块714的大容量存储设备707。
[0145]
所述基本输入/输出系统706包括有用于显示信息的显示器708和用于用户输入信息的诸如鼠标、键盘之类的输入设备709。其中所述显示器708和输入设备709都通过连接到系统总线705的输入输出控制器710连接到中央处理单元701。所述基本输入/输出系统706还可以包括输入输出控制器710以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器710还提供输出到显示屏、打印机或其他类型的输出设备。
[0146]
所述大容量存储设备707通过连接到系统总线705的大容量存储控制器(未示出)连接到中央处理单元701。所述大容量存储设备707及其相关联的计算机可读介质为终端700提供非易失性存储。也就是说，所述大容量存储设备707可以包括诸如硬盘或者cd
‑
rom(compact disc read
‑
only memory，只读光盘)驱动器之类的计算机可读介质(未示出)。
[0147]
所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括ram、rom、eprom
(erasable programmable read only memory，可擦除可编程只读存储器)、eeprom(electrically erasable programmable read
‑
only memory，带电可擦可编程只读存储器)、闪存或其他固态存储其技术，cd
‑
rom、dvd(digital video disc，高密度数字视频光盘)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器704和大容量存储设备707可以统称为存储器。
[0148]
终端700可以通过连接在所述系统总线705上的网络接口单元711连接到互联网或者其它网络设备。
[0149]
所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，中央处理单元701通过执行该一个或一个以上程序来实现本技术上述各个实施例提供的方法中，由终端执行的全部或者部分步骤。可选的，上述终端可以集成在车辆中作为车载终端。
[0150]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
[0151]
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，高密度数字视频光盘(digital video disc，dvd))、或者半导体介质(例如固态硬盘(solid state disk，ssd))等。
[0152]
本技术实施例还公开了一种车辆，该车辆包括车载终端，车载终端包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如上述方法实施例中的可达空间的边界确定方法。可选的，上述终端可以是本实施例中的车载终端。
[0153]
本技术实施例还公开了一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序被处理器执行时实现上述方法实施例中的方法。
[0154]
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本技术的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本技术所必须的。
[0155]
在本技术的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的
实施过程构成任何限定。
[0156]
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
[0157]
另外，在本技术各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0158]
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本技术的各个实施例上述方法的部分或全部步骤。
[0159]
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(read
‑
only memory，rom)、随机存储器(random access memory，ram)、可编程只读存储器(programmable read
‑
only memory，prom)、可擦除可编程只读存储器(erasable programmable read only memory，eprom)、一次可编程只读存储器(one
‑
time programmable read
‑
only memory，otprom)、电子抹除式可复写只读存储器(electrically
‑
erasable programmable read
‑
only memory，eeprom)、只读光盘(compact disc read
‑
only memory，cd
‑
rom)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
[0160]
以上对本技术实施例公开的一种可达空间的边界确定方法、装置、终端及存储介质进行了举例介绍，本文中应用了个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。