一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

数据发送方法、装置、设备和计算机可读介质与流程

2023-01-14 12:33:04 来源:中国专利 TAG:


1.本公开的实施例涉及计算机技术领域,具体涉及数据发送方法、装置、设备和计算机可读介质。


背景技术:

2.在自动驾驶车辆行驶过程中,提高对车辆的识别能力,进而提高对车辆的感知能力,对自动驾驶车辆的安全行驶至关重要。目前,在确定用于车辆识别的模型时,通常采用的方式为:基于识别效果(准确率和召回率)和识别速度训练车辆识别模型,并将训练得到的车辆识别模型数据发送至车载终端,以对采集的车辆图像进行车辆识别。
3.然而,发明人发现,当采用上述方式确定用于车辆识别的模型时,经常会存在如下技术问题:第一,仅重视识别效果和识别速度,未对识别结果起作用的各个特征做可解释性分析以及做相关的特征处理,导致车辆识别模型的泛化能力较弱,车辆识别的正确率较低,进而导致车辆行驶的安全性较低。
4.第二,未对识别结果起作用的各个特征做进一步可解释性细分处理以及做相关的细分特征处理,导致车辆识别模型的泛化能力较弱,车辆识别的正确率较低,进而导致车辆行驶的安全性较低。
5.该背景技术部分中所公开的以上信息仅用于增强对本发明构思的背景的理解,并因此,其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。


技术实现要素:

6.本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。
7.本公开的一些实施例提出了数据发送方法、装置、电子设备和计算机可读介质,来解决以上背景技术部分提到的技术问题中的一项或多项。
8.第一方面,本公开的一些实施例提供了一种数据发送的方法,该方法包括:获取目标车辆图像;根据上述目标车辆图像和预先训练的目标车辆识别模型,确定预测结果,其中,上述预测结果包括预测指标结果和识别结果;根据上述目标车辆图像,生成特征图;根据上述目标车辆图像,生成梯度矩阵;根据上述特征图和上述梯度矩阵,生成贡献度矩阵;根据上述贡献度矩阵,生成可解释矩阵;根据上述可解释矩阵和上述目标车辆图像,生成特征占比图;根据上述可解释矩阵、上述预测指标结果、上述识别结果和预设真值区域集合,生成特征调试信息;将上述特征占比图和上述特征调试信息发送至目标用户对应的终端设备,使得上述目标用户根据对应的应用场景对上述目标识别模型进行优化调整,得到优化调整处理后的目标车辆识别模型作为优化目标车辆识别模型;响应于接收到上述终端设备发送的优化目标车辆识别模型的模型数据,将上述模型数据发送至相关联的车载终端,使
得上述车载终端根据上述模型数据对应的优化目标车辆识别模型对采集的车辆图像进行车辆识别。
9.第二方面,本公开的一些实施例提供了一种数据发送装置,装置包括:获取单元,被配置成获取目标车辆图像;确定单元,被配置成根据上述目标车辆图像和预先训练的目标车辆识别模型,确定预测结果,其中,上述预测结果包括预测指标结果和识别结果;第一生成单元,被配置成根据上述目标车辆图像,生成特征图;第二生成单元,被配置成根据上述目标车辆图像,生成梯度矩阵;第三生成单元,被配置成根据上述特征图和上述梯度矩阵,生成贡献度矩阵;第四生成单元,被配置成根据上述贡献度矩阵,生成可解释矩阵;第五生成单元,被配置成根据上述可解释矩阵和上述目标车辆图像,生成特征占比图;第六生成单元,被配置成根据上述可解释矩阵、上述预测指标结果、上述识别结果和预设真值区域集合,生成特征调试信息;第一发送单元,被配置成将上述特征占比图和上述特征调试信息发送至目标用户对应的终端设备,使得上述目标用户根据对应的应用场景对上述目标识别模型进行优化调整,得到优化调整处理后的目标车辆识别模型作为优化目标车辆识别模型;第二发送单元,被配置成响应于接收到上述终端设备发送的优化目标车辆识别模型的模型数据,将上述模型数据发送至相关联的车载终端,使得上述车载终端根据上述模型数据对应的优化目标车辆识别模型对采集的车辆图像进行车辆识别。
10.第三方面,本公开的一些实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。
11.第四方面,本公开的一些实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,计算机程序被处理器执行时实现上述第一方面任一实现方式所描述的方法。
12.本公开的上述各个实施例具有如下有益效果:通过本公开的一些实施例的数据发送方法,提高了车辆识别模型的泛化能力,提高了车辆识别的正确率,从而提高了车辆行驶的安全性。具体来说,导致车辆识别模型的泛化能力较弱,车辆识别的正确率较低,进而导致车辆行驶的安全性较低的原因在于:仅重视识别效果和识别速度,未对识别结果起作用的各个特征做可解释性分析以及做相关的特征处理,导致车辆识别模型的泛化能力较弱,车辆识别的正确率较低,进而导致车辆行驶的安全性较低。基于此,本公开的一些实施例的数据发送方法,首先,获取目标车辆图像。根据上述目标车辆图像和预先训练的目标车辆识别模型,确定预测结果。其中,上述预测结果包括预测指标结果和识别结果。由此,可以得到预测结果,从而可以从识别效果和识别速度上衡量模型的泛化能力。然后,根据上述目标车辆图像,生成特征图。由此,可以得到特征图,从而可以用于获取关键特征区域。之后,根据上述目标车辆图像,生成梯度矩阵。由此,可以得到表征特征对识别结果重要程度的梯度矩阵。接着,根据上述特征图和上述梯度矩阵,生成贡献度矩阵。由此,可以得到表征各个特征对识别结果的贡献度的矩阵。其次,根据上述贡献度矩阵,生成可解释矩阵。由此,可以得到可解释矩阵,从而可以用于生成具有可视化效果的表征关键特征占比的特征占比图。然后,根据上述可解释矩阵和上述目标车辆图像,生成特征占比图。由此,可以得到表征关键特征部位的可视化效果的特征占比图。之后,根据上述可解释矩阵、上述预测指标结果、上述识别结果和预设真值区域集合,生成特征调试信息。由此,可以得到对识别结果起作用的各个特征的可解释性分析信息。从而,可以用于对目标车辆识别模型进行模型优化。接着,将上
述特征占比图和上述特征调试信息发送至目标用户对应的终端设备,使得上述目标用户根据对应的应用场景对上述目标识别模型进行优化调整,得到优化调整处理后的目标车辆识别模型作为优化目标车辆识别模型。由此,可以基于可解释分析结果对相关的特征做针对性的特征细分处理,从而可以获取泛化能力较强的目标车辆识别模型。最后,响应于接收到上述终端设备发送的优化目标车辆识别模型的模型数据,将上述模型数据发送至相关联的车载终端,使得上述车载终端根据上述模型数据对应的优化目标车辆识别模型对采集的车辆图像进行车辆识别。由此,可以利用鲁棒性较好的优化目标车辆识别模型对采集的车辆图像进行车辆识别,从而可以提高车辆的感知能力。也因为通过特征占比图,可以将关键特征可视化以及确定关键特征部位。还因为通过特征占比图和上述特征调试信息,可以对目标车辆识别模型进行优化调整,从而提高了目标车辆识别模型的泛化能力,提高了车辆识别的正确率。进而提高了车辆行驶的安全性。
附图说明
13.结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,元件和元素不一定按照比例绘制。
14.图1是根据本公开的数据发送方法的一些实施例的流程图;图2是根据本公开的数据发送装置的一些实施例的结构示意图;图3是适于用来实现本公开的一些实施例的电子设备的结构示意图。
具体实施方式
15.下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例。相反,提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
16.另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。
17.需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
18.需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
19.本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
20.下面将参考附图并结合实施例来详细说明本公开。
21.图1示出了根据本公开的数据发送方法的一些实施例的流程100。该数据发送方法,包括以下步骤:步骤101,获取目标车辆图像。
22.在一些实施例中,数据发送方法的执行主体(例如计算设备)可以通过有线连接方式或者无线连接方式从图像采集设备获取目标车辆图像。需要指出的是,上述无线连接方
式可以包括但不限于3g/4g连接、wifi连接、蓝牙连接、wimax连接、zigbee连接、uwb(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。上述图像采集设备可以是具有拍摄功能或截图功能的设备。例如,上述图像采集设备可以为车载摄像机。
23.步骤102,根据目标车辆图像和预先训练的目标车辆识别模型,确定预测结果。
24.在一些实施例中,根据上述目标车辆图像和预先训练的目标车辆识别模型,上述执行主体可以确定预测结果。其中,上述预测结果包括预测指标结果和识别结果。上述预测指标结果可以包括但不限于:准确率和召回率。上述识别结果可以表征目标车辆图像对应的车辆类型。上述识别结果包括但不限于:汽车、货车、摩托车和自行车。上述目标车辆识别模型可以为以车辆图像为输入,以车辆图像对应的预测结果为输出的网络模型。例如,上述目标车辆识别模型可以为cnn网络(convolutional neural network,卷积神经网络)。
25.实践中,上述执行主体可以将上述目标车辆图像输入至上述目标车辆识别模型,得到预测结果。
26.在一些实施例的一些可选的实现方式中,上述目标车辆识别模型是可以通过以下方式训练得到的:第一步,获取样本集。其中,上述样本集中的样本包括样本目标车辆图像,以及与样本目标车辆图像对应的样本预测指标结果和样本识别结果。其中,上述样本目标车辆图像可以为用于对上述目标车辆识别模型进行训练的车辆图像。上述样本预测指标结果和样本识别结果可以为与样本目标车辆图像对应的样本标签。需要说明的是,训练上述故障状态类型信息预测模型的执行主体可以是上述执行主体,也可以是其他计算设备。
27.第二步,基于样本集执行以下训练步骤:第一训练步骤,将样本集中的至少一个样本的样本目标车辆图像分别输入至初始目标车辆识别模型中,得到上述至少一个样本中的每个样本对应的预测指标结果和识别结果。其中,上述目标车辆识别模型可以是能够根据目标车辆图像得到预测指标结果和识别结果的初始神经网络。上述初始神经网络可以为待训练的神经网络。具体地,上述初始神经网络可以为卷积神经网络。例如,上述初始神经网络可以为cnn网络(convolutional neural network,卷积神经网络)。
28.第二训练步骤,将上述至少一个样本中的每个样本对应的预测指标结果和识别结果与对应的样本预测指标结果和识别结果进行比较。这里,首先,比较可以为上述至少一个样本中的每个样本对应的识别结果与对应的样本识别结果是否为同一个结果。然后,在识别结果相同的情况下,上述至少一个样本中的每个样本对应的预测指标结果与对应的样本预测指标结果大小的比较。
29.第三训练步骤,根据比较结果确定初始目标车辆识别模型是否达到预设的优化目标。其中,上述优化目标可以为在上述识别结果为同一个结果的情况下,上述预测指标结果是否达到预设阈值。上述预设阈值可以为预先设定的阈值。例如,上述预设阈值可以为0.9。
30.第四训练步骤,响应于确定初始目标车辆识别模型达到上述优化目标,将初始目标车辆识别模型确定为训练完成的目标车辆识别模型。
31.可选地,训练得到上述目标车辆识别模型的步骤还可以包括:第五训练步骤,响应于确定初始目标车辆识别模型未达到上述优化目标,调整初始目标车辆识别模型的网络参数,以及使用未用过的样本组成样本集,使用调整后的初始
目标车辆识别模型作为初始目标车辆识别模型,再次执行上述训练步骤。作为示例,可以采用反向传播算法(back propgation algorithm,bp算法)和梯度下降法(例如小批量梯度下降算法)对上述初始目标车辆识别模型的网络参数进行调整。
32.步骤103,根据目标车辆图像,生成特征图。
33.在一些实施例中,根据上述目标车辆图像,上述执行主体可以生成特征图。其中,上述特征图可以表征关键特征的特征图。
34.在一些实施例的一些可选的实现方式中,根据上述目标车辆图像,上述执行主体可以通过以下步骤生成特征图:第一步,对上述目标车辆图像进行卷积处理,得到卷积处理后的目标车辆图像作为第一卷积张量。其中,上述第一卷积张量可以表征高维的低级特征。例如,上述第一卷积张量可以为512*256*3维的表征目标车辆图像对应的车辆的边缘特征和线条特征的张量。“512”可以为上述第一卷积张量的行数。“256”可以为上述第一卷积张量的列数。“3”可以为上述第一卷积张量对应的rgb(红绿蓝)通道。
35.第二步,对上述第一卷积张量进行卷积处理,得到卷积处理后的第一卷积张量作为第二卷积张量。其中,上述第二卷积张量可以表征次高维的中级特征。例如,上述第二卷积张量可以为256*128*3维的表征目标车辆图像对应的车辆的纹理特征的张量。
36.第三步,对上述第二卷积张量进行卷积处理,得到卷积处理后的第二卷积张量作为第三卷积张量。其中,上述第三卷积张量可以表征低维的高级特征。例如,上述第三卷积张量以为128*64*3维的表征目标车辆图像对应的部位特征的张量。
37.第四步,将上述第三卷积张量确定为最终卷积张量。
38.第五步,对上述最终卷积张量进行池化处理,得到池化处理后的最终卷积张量作为特征图。其中,上述池化处理可以包括:最大池化处理和平均池化处理。实践中,上述执行主体可以对上述最终卷积张量进行平均池化处理,得到平均池化处理后的最终卷积张量作为特征图。
39.步骤104,根据目标车辆图像,生成梯度矩阵。
40.在一些实施例中,根据上述目标车辆图像,上述执行主体可以生成梯度矩阵。其中,上述梯度矩阵中梯度元素的大小可以表征特征图上对应的特征对识别结果的重要程度。
41.在一些实施例的一些可选的实现方式中,根据上述目标车辆图像,上述执行主体可以通过以下步骤生成梯度矩阵:第一步,对上述第三卷积张量进行全连接处理,得到全连接处理后的第三卷积张量作为第一全连接张量。其中,上述全连接处理可以表征对对上述目标车辆图像对应的特征进行特征收敛。上述特征收敛的程度可以表征识别的准确率。第二步,对上述第一全连接张量进行全连接处理,得到全连接处理后的第一全连接张量作为第二全连接张量。其中,上述第二全连接张量对上述目标车辆图像对应的车辆的识别准确率大于第一全连接张量。
42.第三步,对上述第二全连接张量进行全连接处理,得到全连接处理后的第二全连接张量作为第三全连接张量。其中,所述第三全连接张量可以表征对上述目标车辆图像对应的特征进行第三次的特征收敛。上述第三全连接张量对上述目标车辆图像对应的车辆的识别准确率大于第二全连接张量。
43.第四步,对上述第三全连接张量进行反向传播处理,得到反向传播处理后的第三全连接张量作为第三反向传播张量。
44.第五步,对上述第三反向传播张量进行反向传播处理,得到反向传播处理后的第三反向传播张量作为第二反向传播张量。
45.第六步,对上述第二反向传播张量进行反向传播处理,得到反向传播处理后的第二反向传播张量作为第一反向传播张量。
46.第七步,将上述第一反向传播张量对应的矩阵确定为梯度矩阵。
47.步骤105,根据特征图和梯度矩阵,生成贡献度矩阵。
48.在一些实施例中,根据上述特征图和上述梯度矩阵,上述执行主体可以生成贡献度矩阵。其中,上述贡献度矩阵可以表征关键特征对识别结果贡献度的矩阵。
49.在一些实施例的一些可选的实现方式中,根据上述特征图和上述梯度矩阵,上述执行主体可以通过以下步骤生成贡献度矩阵:第一步,将上述特征图对应的矩阵确定为特征矩阵。其中,上述特征图对应的矩阵可以为最终卷积张量。这里,卷积张量表征矩阵。
50.第二步,根据上述特征矩阵和上述梯度矩阵,生成贡献度矩阵。实践中,上述执行主体可以将上述特征矩阵和上述梯度矩阵的哈达玛积确定为贡献度矩阵。
51.步骤106,根据贡献度矩阵,生成可解释矩阵。
52.在一些实施例中,根据上述贡献度矩阵,上述执行主体可以生成可解释矩阵。其中,上述可解释矩阵可以为能够对关键特征对应的识别结果的贡献度进行解释的矩阵。
53.在一些实施例的一些可选的实现方式中,根据上述贡献度矩阵,上述执行主体可以通过以下步骤生成可解释矩阵:第一步,根据上述贡献度矩阵和第一预设函数,生成第一贡献度矩阵。实践中,上述执行主体可以将上述贡献度矩阵输入至上述第一预设函数,得到第一贡献度矩阵。其中,上述第一预设函数可以为能够将对识别结果不起作用的特征的贡献度转化为零的函数。上述第一预设函数可以为relu函数。
54.第二步,对上述第一贡献度矩阵进行插值处理,得到插值处理后的第一贡献度矩阵作为插值矩阵。其中,上述插值处理可以包括但不限于:双线性插值处理、牛顿插值处理、拉格朗日插值处理和泰勒插值处理。实践中,上述执行主体可以对上述第一贡献度矩阵进行双线性插值处理,得到双线性插值处理后的第一贡献度矩阵作为插值矩阵。
55.第三步,对上述插值矩阵进行反卷积处理,得到反卷积处理后的插值矩阵作为反卷积矩阵。
56.第四步,对上述反卷积矩阵进行反池化处理,得到反池化处理后的反卷积矩阵作为可解释矩阵。其中,上述反池化处理可以包括但不限于:反最大池化处理和反平均池化处理。实践中,上述执行主体可以对上述反卷积矩阵进行反平均池化处理,得到反平均池化处理后的反卷积矩阵作为可解释矩阵。
57.步骤107,根据可解释矩阵和目标车辆图像,生成特征占比图。
58.在一些实施例中,根据上述可解释矩阵和上述目标车辆图像,上述执行主体可以生成特征占比图。其中,上述特征占比图可以表征关键特征对应的关键特征部位。上述关键特征部位可以为对识别结果起作用的部位。例如,上述关键特征部位可以为车辆的车头部
位。
59.在一些实施例的一些可选的实现方式中,根据上述可解释矩阵和上述目标车辆图像,上述执行主体可以通过以下步骤生成特征占比图:第一步,将上述可解释矩阵对应的图像确定为可解释图像,其中,上述可解释图像与上述目标车辆图像的大小相同。
60.第二步,对上述可解释图像和上述目标车辆图像进行叠加处理,以生成叠加对比图。实践中,上述执行主体可以将上述可解释图像对应的特征位置与上述目标车辆图像对应的特征位置进行重叠处理,以生成叠加对比图。
61.第三步,根据上述叠加对比图,生成特征占比图。实践中,上述执行主体可以通过类激活图接口生成特征占比图。上述类激活图接口可以为预先封装好的类激活图生成器函数。
62.步骤108,根据可解释矩阵、预测指标结果、识别结果和预设真值区域集合,生成特征调试信息。
63.在一些实施例中,根据上述可解释矩阵、上述预测指标结果、上述识别结果和预设真值区域集合,上述执行主体可以生成特征调试信息。其中,上述预设真值区域集合可以为人工标注的目标车辆图像包括的各个车辆对应的区域的集合。上述特征调试信息可以表征对识别结果起作用的关键特征像素占比值、上述预测指标结果和上述识别结果。
64.在一些实施例的一些可选地的实现方式中,根据上述可解释矩阵、上述预测指标结果、上述识别结果和预设真值区域集合,上述执行主体可以通过以下步骤生成特征调试信息:第四步,根据上述可解释矩阵,确定上述可解释矩阵对应的关键特征区域集合。其中,上述关键特征区域集合中的关键特征区域对应预设真值区域集合中的预设真值区域。上述关键特征区域集合可以为对识别结果起作用的各个关键特征所构成的各个区域的集合。
65.实践中,上述执行主体可以将上述可解释矩阵中满足第一预设阈值条件的各个元素所组成的各个对应特征区域确定为关键特征区域集合。上述第一预设阈值条件可以为可解释矩阵中对应元素的值大于零。
66.第五步,对于上述关键特征区域集合中的每个关键特征区域,上述执行主体可以执行以下步骤:第一步骤,根据上述关键特征区域,确定上述关键特征区域对应的关键特征像素总数。其中,上述关键特征像素总数可以为关键特征区域内的各个像素的数量。实践中,上述执行主体可以将上述关键特征区域对应的像素总数确定为上述关键特征区域对应的关键特征像素总数。
67.第二步骤,根据上述预设真值区域,确定上述预设真值区域对应的真值像素总数。其中,上述真值像素总数可以为上述预设真值区域内的各个像素的和。实践中,上述执行主体可以将上述预设真值区域对应的像素总数确定为上述预设真值区域对应的真值像素总数。
68.第三步骤,根据上述关键特征像素总数和上述真值像素总数,确定关键特征像素占比值。实践中,上述执行主体可以将上述关键特征像素总数和上述真值像素总数的比值
确定为关键特征像素占比值。
69.第四步骤,响应于确定上述关键特征像素占比值大于等于预设目标阈值,上述执行主体可以执行以下子步骤:第一子步骤,响应于确定预测识别结果表征正确,且上述预测指标结果大于等于预设指标阈值,生成第一特征调试信息。其中,上述预设目标阈值可以为预先设定的阈值。这里预设目标阈值可以为0.85。上述第一特征调试信息可以表征上述关键特征区域对应的关键特征信息满足预设完整性条件且正确。上述预设完整性条件可以为关键特征信息与总特征信息的比值满足预设信息阈值。这里预设信息阈值可以为0.85。上述预设指标阈值可以为预先设定的指标阈值。例如,预设指标阈值可以为准确率阈值。上述准确率阈值可以为0.9。上述关键特征信息可以为对识别结果起作用的特征信息。上述总特征信息可以为上述关键特征对应的识别对象的所有的特征信息。
70.实践中,上述执行主体可以将第一预设信息确定为第一特征调试信息。上述第一特征调试信息可以表征预测识别结果正确、关键特征像素占比值大于等于预设目标阈值且上述预测指标结果大于等于预设指标阈值。例如,上述第一特征调试信息可以为预测识别结果为轿车,识别结果正确,关键特征像素占比值为0.9,预测指标结果准确率为0.9。
71.第二子步骤,响应于确定识别结果表征错误,且上述预测指标结果大于等于上述预设指标阈值,生成第二特征调试信息。其中,上述第二特征调试信息可以表征上述关键特征区域对应的关键特征信息满足上述预设完整性条件且错误。
72.实践中,上述执行主体可以将第二预设信息确定为第二特征调试信息。上述第二特征调试信息可以表征预测识别结果错误、关键特征像素占比值大于等于预设目标阈值且上述预测指标结果大于等于预设指标阈值。例如,上述第二特征调试信息可以为预测识别结果为卡车,识别结果错误,关键特征像素占比值为0.9,预测指标结果准确率为0.9。
73.第五步骤,响应于确定上述关键特征像素占比值小于预设目标阈值,上述执行主体可以执行以下步骤:第一子步骤,响应于确定预测识别结果表征正确,且上述预测指标结果大于等于预设指标阈值,生成第三特征调试信息。其中,上述第三特征调试信息可以表征上述关键特征区域对应的关键特征信息正确且不满足上述预设完整性条件。
74.实践中,上述执行主体可以将第三预设信息确定为第三特征调试信息。上述第三特征调试信息可以表征预测识别结果正确、关键特征像素占比值小于预设目标阈值且上述预测指标结果大于等于预设指标阈值。例如,上述第三特征调试信息可以为预测识别结果为轿车,识别结果正确,关键特征像素占比值为0.2,预测指标结果准确率为0.9。
75.第二子步骤,响应于确定识别结果表征错误,且上述预测指标结果大于等于预设指标阈值,生成第四特征调试信息。其中,上述第四特征调试信息可以表征上述关键特征区域对应的关键特征信息不满足预设完整性条件且错误。
76.实践中,上述执行主体可以将第四预设信息确定为第四特征调试信息。上述第四特征调试信息可以表征预测识别结果错误、关键特征像素占比值小于预设目标阈值且上述预测指标结果大于等于预设指标阈值。例如,上述第四特征调试信息可以为预测识别结果为卡车,识别结果错误,关键特征像素占比值为0.2,预测指标结果准确率为0.9。
77.上述第一步至第五步及其相关内容作为本公开的实施例的一个发明点,解决了背
景技术提及的技术问题二“未对识别结果起作用的各个特征做进一步可解释性细分处理以及做相关的细分特征处理,导致车辆识别模型的泛化能力较弱,车辆识别的正确率较低,进而导致车辆行驶的安全性较低”。导致车辆识别模型的泛化能力较弱,车辆识别的正确率较低,进而导致车辆行驶的安全性较低的因素往往如下:未对识别结果起作用的各个特征做进一步可解释性细分处理以及做相关的细分特征处理,导致车辆识别模型的泛化能力较弱,车辆识别的正确率较低,进而导致车辆行驶的安全性较低。如果解决了上述因素,就能达到提高车辆识别模型的泛化能力、车辆识别的正确率,从而提高车辆行驶的安全性的效果。为了达到这一效果,首先,将上述可解释矩阵对应的图像确定为可解释图像。对上述可解释图像和上述目标车辆图像进行叠加处理,以生成叠加对比图。根据上述叠加对比图,生成特征占比图。由此,可以得到表征关键特征部位的特征占比图,从而可以用于对识别结果起作用的关键特征进行可视化和可解释性分析。然后,根据上述可解释矩阵,确定上述可解释矩阵对应的关键特征区域集合。其中,上述关键特征区域集合中的关键特征区域对应预设真值区域集合中的预设真值区域。由此,可以得到对识别结果起作用的关键特征区域集合,从而可以用于对关键特征区域集合中的各个关键特征区域做相关的特征细分处理。之后,对于上述关键特征区域集合中的每个关键特征区域,执行以下步骤:根据上述关键特征区域,确定上述关键特征区域对应的关键特征像素总数。根据上述预设真值区域,确定上述预设真值区域对应的真值像素总数。根据上述关键特征像素总数和上述真值像素总数,确定关键特征像素占比值。由此,可以得到对识别结果起作用的关键特征像素占比值,从而可以用于衡量目标车辆识别模型的鲁棒性。其次,响应于确定上述关键特征像素占比值大于等于预设目标阈值,执行以下步骤:响应于确定预测识别结果表征正确,且上述预测指标结果大于等于预设指标阈值,生成第一特征调试信息。其中,上述第一特征调试信息表征上述关键特征区域对应的关键特征信息满足预设完整性条件且正确。由此,可以得到表征目标车辆识别模型的泛化能力较强的第一特征调试信息。然后,响应于确定识别结果表征错误,且上述预测指标结果大于等于上述预设指标阈值,生成第二特征调试信息。其中,上述第二特征调试信息表征上述关键特征区域对应的关键特征信息满足上述预设完整性条件且错误。由此,可以得到表征识别结果错误且提取关键特征较多的第二特征调试信息,从而可以针对性对识别结果相关的标签问题和相关的特征数据进行对应的分析调整。之后,响应于确定上述关键特征像素占比值小于预设目标阈值,执行以下步骤:响应于确定预测识别结果表征正确,且上述预测指标结果大于等于预设指标阈值,生成第三特征调试信息。其中,上述第三特征调试信息表征上述关键特征区域对应的关键特征信息正确且不满足上述预设完整性条件。由此,可以得到表征识别结果正确但提取关键特征不足的第三特征调试信息,从而可以针对性的扩大对关键特征的提取。最后,响应于确定识别结果表征错误,且上述预测指标结果大于等于预设指标阈值,生成第四特征调试信息。其中,上述第四特征调试信息表征上述关键特征区域对应的关键特征信息不满足上述预设完整性条件且错误。由此,可以得到表征提取关键特征信息较少,且识别结果信息错误的第四特征调试信息,从而可以针对性增加对关键特征的特征训练和提取,以及对识别结果有影响作用的标签问题的分析调整。也因为通过表征关键特征部位的特征占比图,可以对关键特征部位进行可视化分析。还因为通过关键特征像素占比值、预测识别结果和预测指标结果,可以对识别结果起作用的各个特征做进一步可解释性细分处理以及做相关的细分特征处理。从而提高了车辆
识别模型的泛化能力,提高了车辆识别的正确率,进而提高了车辆行驶的安全性。
78.步骤109,将特征占比图和特征调试信息发送至目标用户对应的终端设备,使得目标用户根据对应的应用场景对目标识别模型进行优化调整,得到优化调整处理后的目标车辆识别模型作为优化目标车辆识别模型。
79.在一些实施例中,上述执行主体可以将特征占比图和特征调试信息发送至目标用户对应的终端设备,使得目标用户根据对应的应用场景对目标识别模型进行优化调整,得到优化调整处理后的目标车辆识别模型作为优化目标车辆识别模型。其中,上述目标用户可以为能够根据上述特征占比图和上述特征调试信息对目标车辆识别模型进行模型优化的人员。这里,上述目标用户可以为算法研究员。上述应用场景可以为目标车辆识别模型所适用的场景。例如,上述应用场景可以为自动驾驶车辆对周围的车辆进行车辆识别的场景。
80.步骤110,响应于接收到终端设备发送的优化目标车辆识别模型的模型数据,将模型数据发送至相关联的车载终端,使得车载终端根据模型数据对应的优化目标车辆识别模型对采集的车辆图像进行车辆识别。
81.在一些实施例中,响应于接收到终端设备发送的优化目标车辆识别模型的模型数据,上述执行主体可以将模型数据发送至相关联的车载终端,使得车载终端根据模型数据对应的优化目标车辆识别模型对采集的车辆图像进行车辆识别。其中,上述车载终端可以为装载有图像采集设备,且能够对采集的车辆图像进行车辆识别的车辆。
82.本公开的上述各个实施例具有如下有益效果:通过本公开的一些实施例的数据发送方法,提高了车辆识别模型的泛化能力,提高了车辆识别的正确率,从而提高了车辆行驶的安全性。具体来说,导致车辆识别模型的泛化能力较弱,车辆识别的正确率较低,进而导致车辆行驶的安全性较低的原因在于:仅重视识别效果和识别速度,未对识别结果起作用的各个特征做可解释性分析以及做相关的特征处理,导致车辆识别模型的泛化能力较弱,车辆识别的正确率较低,进而导致车辆行驶的安全性较低。基于此,本公开的一些实施例的数据发送方法,首先,获取目标车辆图像。根据上述目标车辆图像和预先训练的目标车辆识别模型,确定预测结果。其中,上述预测结果包括预测指标结果和识别结果。由此,可以得到预测结果,从而可以从识别效果和识别速度上衡量模型的泛化能力。然后,根据上述目标车辆图像,生成特征图。由此,可以得到特征图,从而可以用于获取关键特征区域。之后,根据上述目标车辆图像,生成梯度矩阵。由此,可以得到表征特征对识别结果重要程度的梯度矩阵。接着,根据上述特征图和上述梯度矩阵,生成贡献度矩阵。由此,可以得到表征各个特征对识别结果的贡献度的矩阵。其次,根据上述贡献度矩阵,生成可解释矩阵。由此,可以得到可解释矩阵,从而可以用于生成具有可视化效果的表征关键特征占比的特征占比图。然后,根据上述可解释矩阵和上述目标车辆图像,生成特征占比图。由此,可以得到表征关键特征部位的可视化效果的特征占比图。之后,根据上述可解释矩阵、上述预测指标结果、上述识别结果和预设真值区域集合,生成特征调试信息。由此,可以得到对识别结果起作用的各个特征的可解释性分析信息。从而,可以用于对目标车辆识别模型进行模型优化。接着,将上述特征占比图和上述特征调试信息发送至目标用户对应的终端设备,使得上述目标用户根据对应的应用场景对上述目标识别模型进行优化调整,得到优化调整处理后的目标车辆识别模型作为优化目标车辆识别模型。由此,可以基于可解释分析结果对相关的特征做针对性的特征细分处理,从而可以获取泛化能力较强的目标车辆识别模型。最后,响应于接收到
上述终端设备发送的优化目标车辆识别模型的模型数据,将上述模型数据发送至相关联的车载终端,使得上述车载终端根据上述模型数据对应的优化目标车辆识别模型对采集的车辆图像进行车辆识别。由此,可以利用鲁棒性较好的优化目标车辆识别模型对采集的车辆图像进行车辆识别,从而可以提高车辆的感知能力。也因为通过特征占比图,可以将关键特征可视化以及确定关键特征部位。还因为通过特征占比图和上述特征调试信息,可以对目标车辆识别模型进行优化调整,从而提高了目标车辆识别模型的泛化能力,提高了车辆识别的正确率。进而提高了车辆行驶的安全性。
83.进一步参考图2,作为对上述各图所示方法的实现,本公开提供了一种数据发送装置的一些实施例,这些装置实施例与图1所示的那些方法实施例相对应,该装置具体可以应用于各种电子设备中。
84.如图2所示,一些实施例的数据发送装置200包括:获取单元201、确定单元202、第一生成单元203、第二生成单元204、第三生成单元205、第四生成单元206、第五生成单元207、第六生成单元208、第一发送单元209和第二发送单元210。其中,获取单元201被配置成获取目标车辆图像;确定单元202被配置成根据上述目标车辆图像和预先训练的目标车辆识别模型,确定预测结果,其中,上述预测结果包括预测指标结果和识别结果;第一生成单元203被配置成根据上述目标车辆图像,生成特征图;第二生成单元204被配置成根据上述目标车辆图像,生成梯度矩阵;第三生成单元205被配置成根据上述特征图和上述梯度矩阵,生成贡献度矩阵;第四生成单元206被配置成根据上述贡献度矩阵,生成可解释矩阵;第五生成单元207被配置成根据上述可解释矩阵和上述目标车辆图像,生成特征占比图;第六生成单元208被配置成根据上述可解释矩阵、上述预测指标结果、上述识别结果和预设真值区域集合,生成特征调试信息;第一发送单元209被配置成将上述特征占比图和上述特征调试信息发送至目标用户对应的终端设备,使得上述目标用户根据对应的应用场景对上述目标识别模型进行优化调整,得到优化调整处理后的目标车辆识别模型作为优化目标车辆识别模型;第二发送单元210被配置成响应于接收到上述终端设备发送的优化目标车辆识别模型的模型数据,将上述模型数据发送至相关联的车载终端,使得上述车载终端根据上述模型数据对应的优化目标车辆识别模型对采集的车辆图像进行车辆识别。
85.可以理解的是,该装置200中记载的诸单元与参考图1描述的方法中的各个步骤相对应。由此,上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置200及其中包含的单元,在此不再赘述。
86.下面参考图3,其示出了适于用来实现本公开的一些实施例的电子设备300(例如计算设备)的结构示意图。图3示出的电子设备仅仅是一个示例,不应对本公开的实施例的功能和使用范围带来任何限制。
87.如图3所示,电子设备300可以包括处理装置301(例如中央处理器、图形处理器等),其可以根据存储在只读存储器(rom)302中的程序或者从存储装置308加载到随机访问存储器(ram)303中的程序而执行各种适当的动作和处理。在ram 303中,还存储有电子设备300操作所需的各种程序和数据。处理装置301、rom 302以及ram 303通过总线304彼此相连。输入/输出(i/o)接口305也连接至总线304。
88.通常,以下装置可以连接至i/o接口305:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置306;包括例如液晶显示器(lcd)、扬声器、振
动器等的输出装置307;包括例如磁带、硬盘等的存储装置308;以及通信装置309。通信装置309可以允许电子设备300与其他设备进行无线或有线通信以交换数据。虽然图3示出了具有各种装置的电子设备300,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图3中示出的每个方框可以代表一个装置,也可以根据需要代表多个装置。
89.特别地,根据本公开的一些实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的一些实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的一些实施例中,该计算机程序可以通过通信装置309从网络上被下载和安装,或者从存储装置308被安装,或者从rom 302被安装。在该计算机程序被处理装置301执行时,执行本公开的一些实施例的方法中限定的上述功能。
90.需要说明的是,本公开的一些实施例中记载的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的一些实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的一些实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、rf(射频)等等,或者上述的任意合适的组合。
91.在一些实施方式中,客户端、服务器可以利用诸如http(hyper text transfer protocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“lan”),广域网(“wan”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
92.上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:获取目标车辆图像;根据上述目标车辆图像和预先训练的目标车辆识别模型,确定预测结果,其中,上述预测结果包括预测指标结果和识别结果;根据上述目标车辆图像,生成特征图;根据上述目标车辆图像,生成梯度矩阵;根据上述特征图和上述梯度矩阵,生成贡献度矩阵;根据上述贡献度矩阵,生成可解释矩阵;根据上述可解释矩阵和上述目标车辆图像,生成特征占比图;根据上述可解释矩阵、上述预测指标结果、上述识别结果和预设真值区域集合,生成特征调试信息;将上述特征占比图和
上述特征调试信息发送至目标用户对应的终端设备,使得上述目标用户根据对应的应用场景对上述目标识别模型进行优化调整,得到优化调整处理后的目标车辆识别模型作为优化目标车辆识别模型;响应于接收到上述终端设备发送的优化目标车辆识别模型的模型数据,将上述模型数据发送至相关联的车载终端,使得上述车载终端根据上述模型数据对应的优化目标车辆识别模型对采集的车辆图像进行车辆识别。
93.可以以一种或多种程序设计语言或其组合来编写用于执行本公开的一些实施例的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c ,还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)——连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
94.附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
95.描述于本公开的一些实施例中的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括获取单元、确定单元、第一生成单元、第二生成单元、第三生成单元、第四生成单元、第五生成单元、第六生成单元、第一发送单元和第二发送单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,获取单元还可以被描述为“获取目标车辆图像的单元”。
96.本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、片上系统(soc)、复杂可编程逻辑设备(cpld)等等。
97.以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开的实施例中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献